AB

Bibliografia publikacji pracowników
Państwowej Szkoły Wyższej w Białej Podlaskiej

Baza tworzona przez Bibliotekę Akademii Bialskiej im. Jana Pawła II.


Zapytanie: ADAPTIVE TRAINING STEP
Liczba odnalezionych rekordów: 2



Przejście do opcji zmiany formatu | Wyświetl/ukryj etykiety | Wyświetlenie wyników w wersji do druku | Pobranie pliku do edytora | Nowe wyszukiwanie
1/2
Nr opisu: 0000047399
Autorzy: Chaoxiang Chen, Vladimir Golovko, Aliaksandr Kroshchanka, Egor Mikhno, Marta Chodyka, Piotr Lichograj.
Tytuł pracy: An analytical approach for unsupervised learning rate estimation using rectified linear units
Tytuł czasopisma:
Szczegóły: 2024, Vol. 18, article number 1362510
p-ISSN: 1662-453X
Charakterystyka formalna: artykuł w czasopiśmie zagranicznym
Charakterystyka merytoryczna: artykuł oryginalny naukowy
Charakterystyka wg MNiSW: artykuł w czasopiśmie z IF (wykaz MEiN)
Język publikacji: ENG
Wskaźnik Impact Factor ISI: 4.300
Punktacja ministerstwa: 100.000
Słowa kluczowe ang.: activation function ; Adam ; adaptive training step ; deep learning ; RBM ; ReLU ; unsupervised learning
https://www.frontiersin.org/journals/neuroscience/articles/10.3389/fnins.2024.1362510/full
DOI: 10.3389/fnins.2024.1362510
Streszczenie: Unsupervised learning based on restricted Boltzmann machine or autoencoders has become an important research domain in the area of neural networks. In this paper mathematical expressions to adaptive learning step calculation for RBM with ReLU transfer function are proposed. As a result, we can automatically estimate the step size that minimizes the loss function of the neural network and correspondingly update the learning step in every iteration. We give a theoretical justification for the proposed adaptive learning rate approach, which is based on the steepest descent method. The proposed technique for adaptive learning rate estimation is compared with the existing constant step and Adam methods in terms of generalization ability and loss function. We demonstrate that the proposed approach provides better performance.

2/2
Nr opisu: 0000046270
Autorzy: Vladimir Golovko, Egor Mikhno, Aliaksandr Kroshchanka, Marta Chodyka, Piotr Lichograj.
Tytuł pracy: Adaptive Learning Rate for Unsupervised Learning of Deep Neural Networks
Tytuł całości: W: 2023 International Joint Conference on Neural Networks (IJCNN) Proceedings, 18-23 June 2023, Gold Coast, Australia
Miejsce wydania: [Piscataway]
Wydawca: Institute of Electrical and Electronics Engineers Inc.
Rok wydania: 2023
Strony zajęte przez pracę: P. 1-6
ISBN: 978-1-6654-8867-9
Charakterystyka formalna: referat w materiałach pokonferencyjnych zagranicznych
Charakterystyka merytoryczna: konferencja naukowa międzynarodowa
Charakterystyka wg MNiSW: publikacja w recenzowanych mat. konf. międzynar. z wykazu
Język publikacji: ENG
Punktacja ministerstwa: 70.000
Słowa kluczowe ang.: adaptive training step ; deep learning ; unsupervised learning
https://ieeexplore.ieee.org/document/10191642
DOI: 10.1109/IJCNN54540.2023.10191642
Streszczenie: In this paper an approach for adaptive learning step calculation using ReLU transfer function in neural network is proposed. This adaptive learning rate aims to automatically choose the step size that minimizes the objective function of neural network. We give a theoretical justification for the proposed adaptive learning rate approach, which is based on the steepest descent method. The main contribution of this paper is a novel technique for adaptive learning rate calculation, if we use ReLU transfer function. The experiments in data compression datasets show that proposed approach provides better generalization capability (test set accuracy) and permits to choose the learning rate automatically.

  Wyświetl ponownie stosując format:
Wyświetl/ukryj etykiety | Wyświetlenie wyników w wersji do druku | Pobranie pliku do edytora | Nowe wyszukiwanie | Biblioteka AB