Le problème d'optimisation d'hyperparamètres peut être défini comme un problème d'optimisation de boîte noire discrète.
Il existe de nombreux algorithmes conçus à cet effet tels que les algorithmes évolutionnaires ou
les algorithmes d'apprentissage par renforcement. Ces méthodes permettent d'obtenir de bons
résultats cependant elles sont très coûteuses à mettre en place. Il faut 2000 GPU jours pour l'apprentissage par renforcement (RL) ou 3150 GPU jours pour les algorithmes génétiques. 

Afin d'éviter ce processus coûteux, Liu et al (2019) a proposé de transformer le problème
d'optimisation discret en un problème d'optimisation continu. Cette approche permet de trouver une solution en 1 GPU jour cependant elle a tendance à converger vers des topologies de réseau peu profondes.

L'objectif de cette publication porte sur l'étude de ces limites et des améliorations possibles.