ORTHOGONALIZATION OF THE SEQUENCE VECTORS LEARNING ALGORITHMS
Abstract
Effective relaxation subgradient optimization methods for nonsmooth functions are based on algorithms for solving systems of inequalities, which are focused on computing the descent direction for the next iteration of the main algorithm. Iterative algorithms, called learning algorithms, can be used to find the solution of such inequality systems. In this paper we propose and study multi-step methods which use orthogonalization of sequential directions to accelerate learning process convergence.
About the Authors
Yaroslav Nikolaevich Vershinin
KemSU
Russian Federation
Russian Federation
Vladimir Nicolaevich Krutikov
KemSU
Russian Federation
Russian Federation
References
1. Kaczmarz, S. Approximate solution of systems of linear equations / S. Kaczmarz // Internat. J. Control. - 1993. - V. 54. - № 3.
2. Цыпкин, Я. З. Основы теории обучающихся систем / Я. З. Цыпкин. - М.: Наука, 1981. - 251 с.
3. Аведьян, Э. Д. Обобщенный алгоритм Качмажа / Э. Д. Аведьян, Я. З. Цыпкин // Автоматика и телемеханика. - 1949. - № 1.
4. Крутиков, В. Н. Релаксационный метод минимизации с растяжением пространства в направлении субградиента / В. Н. Крутиков, Т. В. Петрова // Экономика и мат. методы. - 2003. - Т. 39. - Вып. 1.
5. Крутиков, В. Н. Семейство релаксационных субградиентных методов с двухранговой коррекцией матриц метрики / В. Н. Крутиков, Т. А. Горская // Экономика и мат. методы. - 2009. - Т. 45. - № 4.
6. Крутиков, В. Н. Обучающие методы безусловной оптимизации и их применение / В. Н. Крутиков. - Томск: Изд-во ТГПУ, 2008. - 234 с.
Review
For citations:
Vershinin Ya.N., Krutikov V.N. ORTHOGONALIZATION OF THE SEQUENCE VECTORS LEARNING ALGORITHMS. The Bulletin of Kemerovo State University. 2012;(2):37-42. (In Russ.)
Views:
193
Email this article 