kemsuСибСкриптSibScript2949-21222949-2092Kemerovo State Universitykemsu-642Research ArticleМатематикаMATHEMATICSСУБГРАДИЕНТНЫЙ МЕТОД МИНИМИЗАЦИИ С КОРРЕКЦИЕЙ ВЕКТОРОВ СПУСКА НА ОСНОВЕ ПАР ОБУЧАЮЩИХ СООТНОШЕНИЙSUBGRADIENT MINIMIZATION METHOD WITH DESCENT VECTORS CORRECTION BY MEANS OF TRAINING RELATIONS PAIRSКрутиковВ. Н.KrutikovV. N.

Крутиков Владимир Николаевич – доктор технических наук, профессор кафедры математической кибернетики КемГУ.8-905-077-53-48, krutikovvn@gmail.com

Vladimir N. Krutikov – Doctor of Techniocal Science, Professor at the Department of Mathematical Cybernetics

krutikovvn@gmail.comВершининЯ. Н.VershininYa. N.

Вершинин Ярослав Николаевич – аспирант кафедры математической кибернетики КемГУ.8-960-919-74-13, Azimus88@gmail.com

Yaroslav N. Vershinin – post-gradiuate student at the Department of Mathematical Cybernetics

Azimus88@gmail.comКемеровский государственный университетРоссияKemerovo State UniversityRussian Federation20141103201601-14654Copyright © Крутиков В.Н., Вершинин Я.Н., 20142014Крутиков В.Н., Вершинин Я.Н.Krutikov V.N., Vershinin Y.N.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.sibscript.ru/jour/article/view/642

Предложен релаксационный метод сопряженных субградиентов, направление спуска которого корректируется на основе пары текущих обучающих соотношений. Доказана сходимость метода на строго выпуклых функциях. Как показывает численный эксперимент, метод эффективен в задачах минимизации негладких функций высокой размерности. По затратам памяти на хранение информации алгоритм сходен с методом сопряженных градиентов. На гладких функциях большой размерности с высокой степенью вытянутости поверхностей уровня он соизмерим с последним в скорости сходимости.

The paper introduces a conjugate subgradient method whose descent is corrected by a pair of current training relations. The convergence of the method is proved on strictly convex functions. According to the numerical experiment, the method is effective at non-smooth high-dimensional minimization problems. By memory cost, theproposed method is similar to the conjugate gradient method, and at smooth high-dimensional singular functions its convergence rate is not inferior to tha of the conjugate gradient method.

метод минимизациирелаксационный субградиентный методметод сопряженных субградиентовалгоритм Качмажаminimization methodrelaxation conjugate subgradients methodKaczmarz algorithmReferencesГилл, Ф. Практическая оптимизация / Ф. Гилл, У. Мюррей, М. Райт. – М.: Мир, 1985. – 509 с.Гилл, Ф. Практическая оптимизация / Ф. Гилл, У. Мюррей, М. Райт. – М.: Мир, 1985. – 509 с.Поляк, Б. Т. Введение в оптимизацию / Б. Т. Поляк. – М.: Наука. – 1983. –384 с.Поляк, Б. Т. Введение в оптимизацию / Б. Т. Поляк. – М.: Наука. – 1983. –384 с.Крутиков, В. Н. Новый релаксационный метод недифференцируемой минимизации / В. Н. Крутиков, Т. В. Петрова // Математические заметки ЯГУ. – 2001. – Т. 8. – Вып. 1. – С. 50 – 60.Крутиков, В. Н. Новый релаксационный метод недифференцируемой минимизации / В. Н. Крутиков, Т. В. Петрова // Математические заметки ЯГУ. – 2001. – Т. 8. – Вып. 1. – С. 50 – 60.Крутиков, В. Н. Релаксационный метод минимизации с растяжением пространства в направлении субградиента / В. Н. Крутиков, Т. В. Петрова // Экономика и мат. методы. – 2003. – Т. 39. – Вып. 1. – С. 33 – 49.Крутиков, В. Н. Релаксационный метод минимизации с растяжением пространства в направлении субградиента / В. Н. Крутиков, Т. В. Петрова // Экономика и мат. методы. – 2003. – Т. 39. – Вып. 1. – С. 33 – 49.Крутиков, В. Н. Семейство релаксационных субградиентных методов с двухранговой коррекцией матриц метрики / В. Н. Крутиков, Т. А. Горская // Экономика и мат. методы. – 2009. – Т. 45. – № 4. – С. 37 – 80.Крутиков, В. Н. Семейство релаксационных субградиентных методов с двухранговой коррекцией матриц метрики / В. Н. Крутиков, Т. А. Горская // Экономика и мат. методы. – 2009. – Т. 45. – № 4. – С. 37 – 80.Крутиков, В. Н. Релаксационные методы безусловной оптимизации, основанные на принципах обучения: учебное пособие / В. Н. Крутиков. – Кемерово: Кузбассвузиздат, 2004. – 171 с.Крутиков, В. Н. Релаксационные методы безусловной оптимизации, основанные на принципах обучения: учебное пособие / В. Н. Крутиков. – Кемерово: Кузбассвузиздат, 2004. – 171 с.Крутиков, В. Н. Обучающиеся методы безусловной оптимизации и их применение / В. Н. Крутиков. – Томск: Изд-во Том. гос. пед. ун-та, 2008. – 264 с.Крутиков, В. Н. Обучающиеся методы безусловной оптимизации и их применение / В. Н. Крутиков. – Томск: Изд-во Том. гос. пед. ун-та, 2008. – 264 с.Wolfe, P. Note on a method of conjugate subgradients for minimizing nondifferentiable functions / P. Wolfe // Math. Programming. – 1974. – V. 7. – № 3. – P. 380 – 383.Wolfe, P. Note on a method of conjugate subgradients for minimizing nondifferentiable functions / P. Wolfe // Math. Programming. – 1974. – V. 7. – № 3. – P. 380 – 383.Демьянов, В. Ф. Недифференцируемая оптимизация / В. Ф. Демьянов, Л. В. Васильев. – М.: Наука, 1972. – 368 с.Демьянов, В. Ф. Недифференцируемая оптимизация / В. Ф. Демьянов, Л. В. Васильев. – М.: Наука, 1972. – 368 с.Шор, Н. З. Методы минимизации недифференцируемых функций и их приложения / Н. З. Шор. – Киев: Наукова думка, 1979. – 199 с.Шор, Н. З. Методы минимизации недифференцируемых функций и их приложения / Н. З. Шор. – Киев: Наукова думка, 1979. – 199 с.Kaczmarz, S. Approximate solution of systems of linear equations / S. Kaczmarz // Internat. J. Control. – 1993. – V. 54. – № 3. – P. 1239 – 1241.Kaczmarz, S. Approximate solution of systems of linear equations / S. Kaczmarz // Internat. J. Control. – 1993. – V. 54. – № 3. – P. 1239 – 1241.Цыпкин, Я. З. Основы теории обучающихся систем / Я. З. Цыпкин. – М.: Наука, 1981. – 251 с.Цыпкин, Я. З. Основы теории обучающихся систем / Я. З. Цыпкин. – М.: Наука, 1981. – 251 с.Крутиков, В. Н. Алгоритмы обучения на основе ортогонализации последовательных векторов / В. Н. Крутиков, Я. Н. Вершинин // Вестник КемГУ. – 2012. – Вып. 2(50). – С. 37 – 42.Крутиков, В. Н. Алгоритмы обучения на основе ортогонализации последовательных векторов / В. Н. Крутиков, Я. Н. Вершинин // Вестник КемГУ. – 2012. – Вып. 2(50). – С. 37 – 42.Скоков, В. А. Варианты метода уровней для минимизации негладких выпуклых функций и их численное исследование / В. А. Скоков // Экономика и математические методы. – 1997. – Т. 33. – № 1.Скоков, В. А. Варианты метода уровней для минимизации негладких выпуклых функций и их численное исследование / В. А. Скоков // Экономика и математические методы. – 1997. – Т. 33. – № 1.Банди, Б. Методы оптимизации. Вводный курс / Б. Банди; пер. с англ. – М.: Радио и связь, 1968. – 128 с.Банди, Б. Методы оптимизации. Вводный курс / Б. Банди; пер. с англ. – М.: Радио и связь, 1968. – 128 с.

The authors declare that there are no conflicts of interest present.