Els hiperparàmetres de l'aprenentatge automàtic són aquells paràmetres que l'usuari defineix explícitament per controlar el procés d'aprenentatge. Aquests hiperparàmetres s'utilitzen per millorar l'aprenentatge del model, i els seus valors s'estableixen abans d'iniciar el procés d'aprenentatge del model.

En aquest tema, parlarem d'un dels conceptes més importants de l'aprenentatge automàtic, és a dir, els hiperparàmetres, els seus exemples, l'ajustament d'hiperparàmetres, categories d'hiperparàmetres, com és diferent l'hiperparàmetre del paràmetre en l'aprenentatge automàtic? Però abans de començar, primer entenem l'Hiperparàmetre.

Què són els hiperparàmetres?

A Machine Learning/Deep Learning, un model està representat pels seus paràmetres. En canvi, un procés d'entrenament implica seleccionar els hiperparàmetres millors/òptims que utilitzen els algorismes d'aprenentatge per proporcionar el millor resultat. Aleshores, quins són aquests hiperparàmetres? La resposta és, ' Els hiperparàmetres es defineixen com els paràmetres que l'usuari defineix explícitament per controlar el procés d'aprenentatge.'

Aquí el prefix 'hiper' suggereix que els paràmetres són paràmetres de primer nivell que s'utilitzen per controlar el procés d'aprenentatge. L'enginyer d'aprenentatge automàtic selecciona i defineix el valor de l'hiperparàmetre abans que l'algorisme d'aprenentatge comenci a entrenar el model. Per tant, aquests són externs al model i els seus valors no es poden canviar durant el procés d'entrenament .

java té el següent

Alguns exemples d'hiperparàmetres en aprenentatge automàtic

• L'algorisme k en kNN o K-Nearest Neighbor
• Taxa d'aprenentatge per entrenar una xarxa neuronal
• Relació de divisió tren-prova
• Mida del lot
• Nombre d'Èpoques
• Branques a l'arbre de decisions
• Nombre de clústers en l'algoritme de clúster

Diferència entre paràmetre i hiperparàmetre?

Sempre hi ha una gran confusió entre els paràmetres i els hiperparàmetres o els hiperparàmetres del model. Així doncs, per tal d'aclarir aquesta confusió, entenem la diferència entre tots dos i com es relacionen entre ells.

Paràmetres del model:

Els paràmetres del model són variables de configuració internes al model i un model les aprèn per si mateix. Per exemple , W Pesos o coeficients de variables independents en el model de regressió lineal . o Pesos o coeficients de variables independents en SVM, pes i biaixos d'una xarxa neuronal, centroide de clúster en agrupació. Alguns punts clau per als paràmetres del model són els següents:

• Són utilitzats pel model per fer prediccions.
• S'aprenen pel model a partir de les dades mateixes
• Normalment no es configuren manualment.
• Aquestes són la part del model i la clau d'un algorisme d'aprenentatge automàtic.

Hiperparàmetres del model:

Els hiperparàmetres són aquells paràmetres que l'usuari defineix explícitament per controlar el procés d'aprenentatge. Alguns punts clau per als paràmetres del model són els següents:

• Aquests solen ser definits manualment per l'enginyer d'aprenentatge automàtic.
• No es pot saber el millor valor exacte dels hiperparàmetres per al problema donat. El millor valor es pot determinar per la regla general o per assaig i error.
• Alguns exemples d'hiperparàmetres són la taxa d'aprenentatge per entrenar una xarxa neuronal, K a l'algorisme KNN,

Categories d'hiperparàmetres

A grans trets, els hiperparàmetres es poden dividir en dues categories, que es donen a continuació:

Hiperparàmetre per a l'optimització Hiperparàmetre per a models específics

Hiperparàmetre per a l'optimització

El procés de selecció dels millors hiperparàmetres per utilitzar es coneix com a sintonització d'hiperparàmetres, i el procés d'ajust també es coneix com a optimització d'hiperparàmetres. Els paràmetres d'optimització s'utilitzen per optimitzar el model.

Alguns dels paràmetres d'optimització populars es donen a continuació:

Taxa d'aprenentatge:La taxa d'aprenentatge és l'hiperparàmetre dels algorismes d'optimització que controla quant ha de canviar el model en resposta a l'error estimat per cada cop que s'actualitzen els pesos del model. És un dels paràmetres crucials a l'hora de construir una xarxa neuronal i també determina la freqüència de la comprovació creuada amb els paràmetres del model. Seleccionar la taxa d'aprenentatge optimitzada és una tasca difícil perquè si la taxa d'aprenentatge és molt menor, pot alentir el procés d'entrenament. D'altra banda, si la taxa d'aprenentatge és massa gran, és possible que no optimitzi correctament el model.

Nota: la taxa d'aprenentatge és un hiperparàmetre crucial per optimitzar el model, de manera que si hi ha un requisit d'ajustar només un hiperparàmetre, es recomana ajustar la velocitat d'aprenentatge.

Mida del lot:Per millorar la velocitat del procés d'aprenentatge, el conjunt d'entrenament es divideix en diferents subconjunts, que es coneixen com a lot. Nombre d'èpoques: Una època es pot definir com el cicle complet d'entrenament del model d'aprenentatge automàtic. L'època representa un procés d'aprenentatge iteratiu. El nombre d'èpoques varia d'un model a un altre, i es creen diversos models amb més d'una època. Per determinar el nombre correcte d'èpoques, es té en compte un error de validació. El nombre d'èpoques s'incrementa fins que hi ha una reducció d'un error de validació. Si no hi ha cap millora en l'error de reducció per a les èpoques consecutives, indica que s'ha de deixar d'augmentar el nombre d'èpoques.

Hiperparàmetre per a models específics

Els hiperparàmetres implicats en l'estructura del model es coneixen com a hiperparàmetres per a models específics. Aquestes es donen a continuació:

Diverses unitats ocultes:Les unitats ocultes formen part de les xarxes neuronals, que fan referència als components que comprenen les capes de processadors entre les unitats d'entrada i de sortida d'una xarxa neuronal.

És important especificar el nombre d'hiperparàmetres d'unitats ocultes per a la xarxa neuronal. Hauria d'estar entre la mida de la capa d'entrada i la mida de la capa de sortida. Més concretament, el nombre d'unitats ocultes hauria de ser 2/3 de la mida de la capa d'entrada, més la mida de la capa de sortida.

Per a funcions complexes, cal especificar el nombre d'unitats ocultes, però no s'ha d'ajustar al model.

Nombre de capes:Una xarxa neuronal està formada per components disposats verticalment, que s'anomenen capes. N'hi ha principalment capes d'entrada, capes ocultes i capes de sortida . Una xarxa neuronal de 3 capes ofereix un millor rendiment que una xarxa de 2 capes. Per a una xarxa neuronal convolucional, un nombre més gran de capes fan un model millor.

Conclusió

Els hiperparàmetres són els paràmetres que es defineixen explícitament per controlar el procés d'aprenentatge abans d'aplicar un algorisme d'aprenentatge automàtic a un conjunt de dades. S'utilitzen per especificar la capacitat d'aprenentatge i la complexitat del model. Alguns dels hiperparàmetres s'utilitzen per a l'optimització dels models, com ara la mida del lot, la taxa d'aprenentatge, etc., i alguns són específics dels models, com el nombre de capes ocultes, etc.