Bibliografia publikacji pracowników
Państwowej Szkoły Wyższej w Białej Podlaskiej
Baza tworzona przez Bibliotekę Akademii Bialskiej im. Jana Pawła II.
Zapytanie: RELU
Liczba odnalezionych rekordów: 1
Przejście do opcji zmiany formatu | Wyświetl/ukryj etykiety | Wyświetlenie wyników w wersji do druku | Pobranie pliku do edytora | Nowe wyszukiwanie
Streszczenie: Unsupervised learning based on restricted Boltzmann machine or autoencoders has become an important research domain in the area of neural networks. In this paper mathematical expressions to adaptive learning step calculation for RBM with ReLU transfer function are proposed. As a result, we can automatically estimate the step size that minimizes the loss function of the neural network and correspondingly update the learning step in every iteration. We give a theoretical justification for the proposed adaptive learning rate approach, which is based on the steepest descent method. The proposed technique for adaptive learning rate estimation is compared with the existing constant step and Adam methods in terms of generalization ability and loss function. We demonstrate that the proposed approach provides better performance.
Wyświetl ponownie stosując format: Wyświetl/ukryj etykiety | Wyświetlenie wyników w wersji do druku | Pobranie pliku do edytora | Nowe wyszukiwanie | Biblioteka AB