ОПТИМИЗАЦИЯ НЕЙРОННЫХ СЕТЕЙ: МЕТОДЫ И ИХ СРАВНЕНИЕ НА ПРИМЕРЕ ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА ТЕКСТА

  • Julia V. Torkunova Казанский государственный энергетический университет; Сочинский государственный университет https://orcid.org/0000-0001-7642-6663
  • Danila V. Milovanov Казанский государственный энергетический университет
Ключевые слова: искусственные нейронные сети, оптимизация, сжатие и ускорение нейронных сетей, классификация текста, квантование, разложение Такера, дистилляция

Аннотация

В результате исследования было разработано программное обеспечение, реализующее различные алгоритмы оптимизации нейронных сетей, позволившее провести их сравнительный анализ по качеству оптимизации. В статье подробно рассматриваются искусственные нейронные сети и методы их оптимизации: квантование, обрезка, дистилляция, разложение Такера. Описаны алгоритмы и инструменты оптимизации нейронных сетей, проведен сравнительный анализ различных методов, преимущества и недостатки, приведены расчетные значения и даны рекомендации по использованию каждого из методов. Оптимизация рассматривается на задаче классификации текстов, которые были предварительно подготовлены к обработке: извлечены признаки, выбраны и обучены модели, настроены параметры. Поставленная задача реализована при помощи технологий: языка программирования Python, фреймворка Pytorch, среды разработки Jupyter Notebook. Полученные результаты могут быть использованы в целях экономия вычислительных мощностей при сохранении качества распознавания и классификации.

Скачивания

Данные скачивания пока не доступны.

Биографии авторов

Julia V. Torkunova, Казанский государственный энергетический университет; Сочинский государственный университет

профессор кафедры «Информационные технологии и интеллектуальные системы», доктор педагогических наук

Danila V. Milovanov, Казанский государственный энергетический университет

магистр

Литература

Список литературы

Аветисян Т. В., Львович Я. Е., Преображенский А. П. Разработка подсистемы распознания сигналов сложной формы // International Journal of Advanced Studies. 2023. Т. 13, № 1. С. 102-114. https://doi.org/10.12731/2227-930X-2023-13-1-102-114

Акжолов Р.К., Верига А.В. Предобработка текста для решения задач NLP // Вестник науки. 2020. № 3 (24). C. 66-68.

Ахметзянова К.Р., Тур. А.И., Кокоулин А.Н. Оптимизация вычислений нейронной сети // Вестник Пермского национального исследовательского политехнического университета. Электротехника, информационные технологии, системы управления. 2020. № 36. С. 117-130. https://doi.org/10.15593/2224-9397/2020.4.07

Каширина И. Л., Демченко М. В. Исследование и сравнительный анализ методов оптимизации, используемых при обучении нейронных сетей // Вестник ВГУ, серия: Системный анализ и информационные технологии, 2018, № 4. С.123-132.

Копырин А. С., Макарова И. Л. Алгоритм препроцессинга и унификации временных рядов на основе машинного обучения для структурирования данных // Программные системы и вычислительные методы. 2020. № 3. С. 40-50. https://doi.org/10.7256/2454-0714.2020.3.33958

Осовский С. Нейронные сети для обработки информации. М.: Горячая линия. Телеком. 2019. 448 с.

Романов Д.Е. Нейронные сети обратного распространения ошибки // Инженерный вестник Дона. 2009. № 3 . С. 19-24.

Созыкин А.В. Обзор методов обучения глубоких нейронных сетей // Вестник ЮУрГУ. Серия: Вычислительная математика и информатика. 2017. № 3 (6). С. 28-59.

Торкунова Ю.В., Коростелева Д.М., Кривоногова А.Е. Формирование цифровых навыков в электронной информационно-образовательной среде с использованием нейросетевых технологий // Современное педагогическое образование. 2020. №5. С. 107-110.

Черкасова И.С. Оптимизация гиперпараметров нейронной сети и снижение вычислительных затрат // E-Scio. 2022. https://e-scio.ru/wp-content/uploads/2022/03/%D0%A7%D0%B5%D1%80%D0%BA%D0%B0%D1%81%D0%BE%D0%B2%D0%B0-%D0%98.-%D0%A1.pdf (дата обращения: 13.04.2023).

Ященко А.В., Беликов А.В., Петерсон М.В. Дистилляция нейросетевых моделей для детектирования и описания ключевых точек изображений // Научно-технический вестник информационных технологий, механики и оптики. 2020. № 3. С. 402-409.

A White Paper on Neural Network Quantization. https://doi.org/10.48550/arXiv.2106.08295

Distilling Task-Specific Knowledge from BERT into Simple Neural Networks. https://doi.org/10.48550/arXiv.1903.12136

Majid Janzamin, Rong Ge, Jean Kossaifi and Anima Anandkumar. Spectral Learning on Matrices and Tensors // Foundations and Trends R in Machine Learning, 2019. Vol. 12, No. 5-6. P. 393–536. https://doi.org/10.1561/2200000057

Tensor Networks for Latent Variable Analysis. Part I: Algorithms for Tensor Train Decomposition. https://arxiv.org/pdf/1609.09230.pdf (дата обращения: 20.05.2023)

References

Avetisyan T. V., L’vovich Ya. E. International Journal of Advanced Studies, 2023, vol. 13, no. 1, pp. 102-114. https://doi.org/10.12731/2227-930X-2023-13-1-102-114

Akzholov R.K., Veriga A.V. Vestnik nauki, 2020, no. 3 (24), pp. 66-68.

Akhmetzyanova K.R., Tur. A.I., Kokoulin A.N. Vestnik Permskogo natsional’nogo issledovatel’skogo politekhnicheskogo universiteta. Elektrotekhnika, informatsionnye tekhnologii, sistemy upravleniya, 2020, no. 36, pp. 117-130. https://doi.org/10.15593/2224-9397/2020.4.07

Kashirina I. L., Demchenko M. V. Vestnik VGU, seriya: Sistemnyy analiz i informatsionnye tekhnologii, 2018, no. 4, pp. 123-132.

Kopyrin A. S., Makarova I. L. Programmnye sistemy i vychislitel’nye metody, 2020, no. 3, pp. 40-50. https://doi.org/10.7256/2454-0714.2020.3.33958

Osovskiy S. Neyronnye seti dlya obrabotki informatsii [Neural networks for information processing]. Moscow: Hot Line. Telecom. 2019, 448 p.

Romanov D.E. Inzhenernyy vestnik Dona, 2009, no. 3, pp. 19-24.

Sozykin A.V. Vestnik YuUrGU. Seriya: Vychislitel’naya matematika i informatika, 2017, no. 3 (6), pp. 28-59.

Torkunova Yu.V., Korosteleva D.M., Krivonogova A.E. Sovremennoe pedagogicheskoe obrazovanie, 2020, no. 5, pp. 107-110.

Cherkasova I.S. E-Scio, 2022. https://e-scio.ru/wp-content/uploads/2022/03/%D0%A7%D0%B5%D1%80%D0%BA%D0%B0%D1%81%D0%BE%D0%B2%D0%B0-%D0%98.-%D0%A1.pdf

Yashchenko A.V., Belikov A.V., Peterson M.V. Nauchno-tekhnicheskiy vestnik informatsionnykh tekhnologiy, mekhaniki i optiki, 2020, no. 3, pp. 402-409.

A White Paper on Neural Network Quantization. https://doi.org/10.48550/arXiv.2106.08295

Distilling Task-Specific Knowledge from BERT into Simple Neural Networks. https://doi.org/10.48550/arXiv.1903.12136

Majid Janzamin, Rong Ge, Jean Kossaifi and Anima Anandkumar. Spectral Learning on Matrices and Tensors. Foundations and Trends R in Machine Learning, 2019, vol. 12, no. 5-6, pp. 393–536. https://doi.org/10.1561/2200000057

Tensor Networks for Latent Variable Analysis. Part I: Algorithms for Tensor Train Decomposition. https://arxiv.org/pdf/1609.09230.pdf


Просмотров аннотации: 136
Загрузок PDF: 77
Опубликован
2023-12-30
Как цитировать
Torkunova, J., & Milovanov, D. (2023). ОПТИМИЗАЦИЯ НЕЙРОННЫХ СЕТЕЙ: МЕТОДЫ И ИХ СРАВНЕНИЕ НА ПРИМЕРЕ ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА ТЕКСТА. International Journal of Advanced Studies, 13(4), 142-158. https://doi.org/10.12731/2227-930X-2023-13-4-142-158
Раздел
Оригинальные статьи