Wer hat Relu erfunden

Die Aktivierungsfunktion für behobene lineare Einheit (Relu) wurde von Nair und Hinton 2010 vorgeschlagen und war seitdem die am häufigsten verwendete Aktivierungsfunktion für Deep-Learning-Anwendungen mit bisherigen neuesten Ergebnissen [57].

1. Wer führte die Relu -Aktivierung ein?
2. Warum wurde Relu eingeführt??
3. Warum ist Relu berühmt??
4. Warum Relu Relu genannt wird?

Wer führte die Relu -Aktivierung ein?

Fukushima veröffentlichte 1975 das ursprüngliche Cognitron -Papier. Das war die erste Instanz von Relu. Es ist in Gleichung 2 hier definiert: fukushima, k.

Warum wurde Relu eingeführt??

Derzeit wird RELU als Standardaktivierung in der Entwicklung von Multilayer -Netzwerken der Neural- und Perceptron -Netzwerke verwendet. Die Relu -Aktivierungsfunktion löst dieses Problem, mit dem Modelle besser abschneiden und schneller lernen können. Es gibt keine richtigen oder falschen Arten, KI- und ML -Technologien zu lernen - desto besser, desto besser!

Warum ist Relu berühmt??

Relus sind beliebt, weil es einfach und schnell ist. Wenn andererseits das einzige Problem, das Sie bei Relu finden, ist, dass die Optimierung langsam ist, das Training des Netzwerks länger ist eine vernünftige Lösung. Es ist jedoch häufiger, dass hochmoderne Papiere komplexere Aktivierungen verwenden.

Warum Relu Relu genannt wird?

Relu ist zur Darling -Aktivierungsfunktion der neuronalen Netzwerkwelt geworden. Kurz gesagt, es ist eine stückweise lineare Funktion, die für alle negativen Werte von x und gleich A × x ist, da A ein lernbarer Parameter ist, als 0 für alle negativen Werte von x und gleich A × X.