Отрывок: Обучающие выборки для каждого набора данных были разбиты на подвыбор- ки для обучения и контроля на основе 5-fold CV. Обучение сети выполнялось при nитераций = 1 000 и nпакетов = 25 для реализации метода стохастического градиента, оптимизация гиперпараметров – с помо- щью случайного поиска [22] со случайным выбором 15 % возможных сочетаний...
Полная запись метаданных
Поле DC | Значение | Язык |
---|---|---|
dc.contributor.author | Куликовских, И.М. | - |
dc.date.accessioned | 2020-04-30 20:07:01 | - |
dc.date.available | 2020-04-30 20:07:01 | - |
dc.date.issued | 2020-04 | - |
dc.identifier | Dspace\SGAU\20200429\83073 | ru |
dc.identifier.citation | Куликовских, И.М. Снижение вычислительных затрат в глубоком обучении при почти идеальной линейной разделимости обучающей выборки / И.М. Куликовских // Компьютерная оптика. – 2020. – Т. 44, № 2. – С. 282-289. – DOI: 10.18287/2412-6179-CO-645. | ru |
dc.identifier.uri | https://dx.doi.org/10.18287/2412-6179-CO-645 | - |
dc.identifier.uri | http://repo.ssau.ru/handle/Zhurnal-Komputernaya-optika/Snizhenie-vychislitelnyh-zatrat-v-glubokom-obuchenii-pri-pochti-idealnoi-lineinoi-razdelimosti-obuchaushei-vyborki-83073 | - |
dc.description.abstract | Последние исследования в области глубокого обучения показали, что метод градиентного спуска при условии почти идеальной разделимости обучающей выборки сходится к оптимальному решению, обеспечивающему максимальный зазор между классами. Даже без введения явной регуляризации положение разделяющей гиперплоскости продолжает изменяться, несмотря на то, что ошибка классификации на обучении стремится к нулю. Данное свойство так называемой «неявной» регуляризации позволяет использовать градиентный метод с более агрессивным шагом обучения, что гарантирует более низкие вычислительные затраты. Однако, хотя метод градиентного спуска обеспечивает хорошую обобщающую способность при стремлении к оптимальному решению, скорость сходимости к данному решению в условиях почти идеальной линейной разделимости значительно ниже, чем скорость сходимости, определяемая самой функцей потерь с заданным шагом обучения. В данной работе предлагается расширенная логарифмическая функция потерь, оптимизация параметров которой повышает скорость сходимости, обеспечивая границу погрешности, эквивалентную границе метода градиентного спуска. Результаты вычислительных экспериментов при классификации изображений на эталонных наборах MNIST и Fashion MNIST подтвердили эффективность предложенного подхода к снижению вычислительных затрат в условиях почти идеальной линейной разделимости обучающей выборки и обозначили направления дальнейших исследований. | ru |
dc.description.sponsorship | Автор выражает признательность рецензенту за замечания и рекомендации, которые привели к повышению качества представления материалов исследования. Работа выполнена при поддержке грантов Президента РФ (проект № MK-6218.2018.9), Минобрнауки РФ (проект № 074-U01), РФФИ (№ 18-37-00219), а также проекта DATACROSS Центра Превосходства, финансируемого Правительством Хорватии и Европейским Союзом через Европейский фонд регионального развития – Операционная программа конкурентоспособности и сплочения (KK.01.1.1.01.0009). | ru |
dc.language.iso | rus | ru |
dc.publisher | Самарский национальный исследовательский университет | ru |
dc.relation.ispartofseries | 44;2 | - |
dc.subject | неявная регуляризация | ru |
dc.subject | градиентный метод | ru |
dc.subject | скорость сходимости | ru |
dc.subject | линейная разделимость | ru |
dc.subject | классификация изображений | ru |
dc.title | Снижение вычислительных затрат в глубоком обучении при почти идеальной линейной разделимости обучающей выборки | ru |
dc.title.alternative | Reducing computational costs in deep learning on almost linearly separable training data | ru |
dc.type | Article | ru |
dc.textpart | Обучающие выборки для каждого набора данных были разбиты на подвыбор- ки для обучения и контроля на основе 5-fold CV. Обучение сети выполнялось при nитераций = 1 000 и nпакетов = 25 для реализации метода стохастического градиента, оптимизация гиперпараметров – с помо- щью случайного поиска [22] со случайным выбором 15 % возможных сочетаний... | - |
dc.classindex.scsti | 28.23.25 | - |
Располагается в коллекциях: | Журнал "Компьютерная оптика" |
Файлы этого ресурса:
Файл | Описание | Размер | Формат | |
---|---|---|---|---|
440219.pdf | Основная статья | 1.29 MB | Adobe PDF | Просмотреть/Открыть |
Показать базовое описание ресурса
Просмотр статистики
Поделиться:
Все ресурсы в архиве электронных ресурсов защищены авторским правом, все права сохранены.