СУБГРАДИЕНТНЫЙ МЕТОД МИНИМИЗАЦИИ С КОРРЕКЦИЕЙ ВЕКТОРОВ СПУСКА НА ОСНОВЕ ПАР ОБУЧАЮЩИХ СООТНОШЕНИЙ
Аннотация
Предложен релаксационный метод сопряженных субградиентов, направление спуска которого корректируется на основе пары текущих обучающих соотношений. Доказана сходимость метода на строго выпуклых функциях. Как показывает численный эксперимент, метод эффективен в задачах минимизации негладких функций высокой размерности. По затратам памяти на хранение информации алгоритм сходен с методом сопряженных градиентов. На гладких функциях большой размерности с высокой степенью вытянутости поверхностей уровня он соизмерим с последним в скорости сходимости.
Об авторах
В. Н. Крутиков
Кемеровский государственный университет
Россия
Россия
Крутиков Владимир Николаевич – доктор технических наук, профессор кафедры математической кибернетики КемГУ.
8-905-077-53-48, krutikovvn@gmail.com
Я. Н. Вершинин
Кемеровский государственный университет
Россия
Россия
Вершинин Ярослав Николаевич – аспирант кафедры математической кибернетики КемГУ.
8-960-919-74-13, Azimus88@gmail.com
Список литературы
1. Гилл, Ф. Практическая оптимизация / Ф. Гилл, У. Мюррей, М. Райт. – М.: Мир, 1985. – 509 с.
2. Поляк, Б. Т. Введение в оптимизацию / Б. Т. Поляк. – М.: Наука. – 1983. –384 с.
3. Крутиков, В. Н. Новый релаксационный метод недифференцируемой минимизации / В. Н. Крутиков, Т. В. Петрова // Математические заметки ЯГУ. – 2001. – Т. 8. – Вып. 1. – С. 50 – 60.
4. Крутиков, В. Н. Релаксационный метод минимизации с растяжением пространства в направлении субградиента / В. Н. Крутиков, Т. В. Петрова // Экономика и мат. методы. – 2003. – Т. 39. – Вып. 1. – С. 33 – 49.
5. Крутиков, В. Н. Семейство релаксационных субградиентных методов с двухранговой коррекцией матриц метрики / В. Н. Крутиков, Т. А. Горская // Экономика и мат. методы. – 2009. – Т. 45. – № 4. – С. 37 – 80.
6. Крутиков, В. Н. Релаксационные методы безусловной оптимизации, основанные на принципах обучения: учебное пособие / В. Н. Крутиков. – Кемерово: Кузбассвузиздат, 2004. – 171 с.
7. Крутиков, В. Н. Обучающиеся методы безусловной оптимизации и их применение / В. Н. Крутиков. – Томск: Изд-во Том. гос. пед. ун-та, 2008. – 264 с.
8. Wolfe, P. Note on a method of conjugate subgradients for minimizing nondifferentiable functions / P. Wolfe // Math. Programming. – 1974. – V. 7. – № 3. – P. 380 – 383.
9. Демьянов, В. Ф. Недифференцируемая оптимизация / В. Ф. Демьянов, Л. В. Васильев. – М.: Наука, 1972. – 368 с.
10. Шор, Н. З. Методы минимизации недифференцируемых функций и их приложения / Н. З. Шор. – Киев: Наукова думка, 1979. – 199 с.
11. Kaczmarz, S. Approximate solution of systems of linear equations / S. Kaczmarz // Internat. J. Control. – 1993. – V. 54. – № 3. – P. 1239 – 1241.
12. Цыпкин, Я. З. Основы теории обучающихся систем / Я. З. Цыпкин. – М.: Наука, 1981. – 251 с.
13. Крутиков, В. Н. Алгоритмы обучения на основе ортогонализации последовательных векторов / В. Н. Крутиков, Я. Н. Вершинин // Вестник КемГУ. – 2012. – Вып. 2(50). – С. 37 – 42.
14. Скоков, В. А. Варианты метода уровней для минимизации негладких выпуклых функций и их численное исследование / В. А. Скоков // Экономика и математические методы. – 1997. – Т. 33. – № 1.
15. Банди, Б. Методы оптимизации. Вводный курс / Б. Банди; пер. с англ. – М.: Радио и связь, 1968. – 128 с.
Рецензия
Для цитирования:
Крутиков В.Н., Вершинин Я.Н. СУБГРАДИЕНТНЫЙ МЕТОД МИНИМИЗАЦИИ С КОРРЕКЦИЕЙ ВЕКТОРОВ СПУСКА НА ОСНОВЕ ПАР ОБУЧАЮЩИХ СООТНОШЕНИЙ. Вестник Кемеровского государственного университета. 2014;(1-1):46-54.
For citation:
Krutikov V.N., Vershinin Ya.N. SUBGRADIENT MINIMIZATION METHOD WITH DESCENT VECTORS CORRECTION BY MEANS OF TRAINING RELATIONS PAIRS. SibScript. 2014;(1-1):46-54. (In Russ.)
Просмотров:
432
Послать статью по эл. почте 