Yang menemukan Relu

Fungsi aktivasi unit linear (RelU) yang diperbaiki diusulkan oleh Nair dan Hinton 2010, dan sejak itu, telah menjadi fungsi aktivasi yang paling banyak digunakan untuk aplikasi pembelajaran yang mendalam dengan hasil canggih hingga saat ini [57].

1. Yang memperkenalkan aktivasi relu?
2. Mengapa Relu Diperkenalkan?
3. Mengapa Relu Terkenal?
4. Mengapa Relu Disebut Relu?

Yang memperkenalkan aktivasi relu?

Fukushima menerbitkan makalah Cognitron asli pada tahun 1975. Itu adalah contoh pertama dari Relu. Itu didefinisikan dalam Persamaan 2 di sini: Fukushima, k.

Mengapa Relu Diperkenalkan?

Saat ini, Relu digunakan sebagai aktivasi default dalam pengembangan jaringan saraf dan perseptron multilayer konvolusional. Fungsi aktivasi relu memecahkan masalah ini memungkinkan model untuk melakukan lebih baik dan belajar lebih cepat. Tidak ada cara yang benar atau salah untuk mempelajari teknologi AI dan ML - semakin banyak, semakin baik!

Mengapa Relu Terkenal?

Relus populer karena sederhana dan cepat. Di sisi lain, jika satu -satunya masalah yang Anda temukan dengan Relu adalah bahwa optimalisasi lambat, melatih jaringan lebih lama adalah solusi yang masuk akal. Namun, lebih umum bagi makalah canggih untuk menggunakan aktivasi yang lebih kompleks.

Mengapa Relu Disebut Relu?

Relu telah menjadi fungsi aktivasi kesayangan dari dunia jaringan saraf. Pendek untuk unit linier yang diperbaiki, ini adalah fungsi linier piecewise yang didefinisikan sebagai 0 untuk semua nilai negatif x dan sama dengan × x sebaliknya, di mana a adalah parameter yang dapat dipelajari.