vestifmИзвестия Национальной академии наук Беларуси. Серия физико-математических наукProceedings of the National Academy of Sciences of Belarus. Physics and Mathematics Series1561-24302524-2415The Republican Unitary Enterprise Publishing House "Belaruskaya Navuka"10.29235/1561-2430-2025-61-2-159-174vestifm-841Research ArticleИНФОРМАТИКАINFORMATICSКлассификация займа с использованием глубокой нейронной сети прямого распространенияLoan classification using a deep feed-forward neural networkБегунковВ. И.BehunkouU. I.

Бегунков Владимир Иванович – магистр технических наук

ул. Сурганова, 6, Минск, 220012

Uladzimir I. Behunkou – Master of Engineering

6, Surganov Str., 220012, Minsk

vbegunkov@gmail.comКовалевМ. Я.KovalyovM. Y.

Ковалев Михаил Яковлевич – доктор физико-математических наук, профессор

ул. Сурганова, 6, Минск, 220012

Mikhail Y. Kovalyov – Dr. Sc. (Physics and Mathematics), Professor

6, Surganov Str., 220012, Minsk

kovalyov_my@newman.bas-net.byОбъединенный институт проблем информатики Национальной академии наук БеларусиUnited Institute of Informatics Problems of the National Academy of Sciences of Belarus202511072025612159174Copyright © Бегунков В.И., Ковалев М.Я., 20252025Бегунков В.И., Ковалев М.Я.Behunkou U.I., Kovalyov M.Y.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://vestifm.belnauka.by/jour/article/view/841

Разработана и проанализирована модель глубокой нейронной сети прямого распространения для решения задачи классификации финансового займа. С помощью этой модели на основе исторических данных по выданным ранее займам вычисляются значения следующих традиционных для машинного обучения метрик, которые определяют качество прогнозирования: стоимостная функция, истинность, точность, полнота и мера F1. Для получения большей точности прогнозирования использованы оптимизационные методы мини-пакетного градиентного спуска, градиентного спуска с импульсом, адаптивной оценки момента, а также метод исключения на нулевом уровне. Определена улучшенная структура предложенной нейронной сети, проанализировано воздействие использования так называемой инициализации He на итоговый результат, а также целесообразность применения конкретных алгоритмов оптимизации. Исследование показало, что использование глубокой нейронной сети прямого распространения целесообразно при разработке классификаторов займов.

A deep feed-forward neural network model is developed and analyzed in this article to solve the financial loan classification problem. Using this model, based on historical data on previously issued loans, the values of the following traditional machine learning metrics that determine the quality of forecasting are calculated: cost function, truth, accuracy, completeness and F1 measure. In order to obtain greater forecasting accuracy, optimization methods of mini-batch gradient descent, gradient descent with momentum, adaptive momentum estimation, and zero-level elimination method were used. An improved structure of the proposed neural network was determined, the impact of the so-called He initialization on the final result was analyzed, as well as the efficiency of using specific optimization algorithms. The study showed that the use of deep feed-forward neural network is reasonable in developing loan classifiers.

классификация займаскорингглубокая нейронная сетьмашинное обучениеloan classificationscoringdeep neural networkmachine learningReferencesБегунков, В. И. Классификация займов c использованием логистической регрессии / В. И. Бегунков, М. Я. Ковалев // Информатика. – 2023. − Т. 20, № 1. – С. 55–74. https://doi.org/10.37661/1816-0301-2023-20-1-55-74Behunkou U. I., Kovalyov M. Y. Loan classification using logistic regression. Informatics, 2023, vol. 20, no. 1, pp. 55–74 (in Russian). https://doi.org/10.37661/1816-0301-2023-20-1-55-74Бегунков, В. И. Классификация займа с использованием нейронной сети прямого распространения / В. И. Бегунков // Информатика. – 2024. − Т. 21, № 1. – С. 55–74. https://doi.org/10.37661/1816-0301-2024-21-1-83-104Behunkou U. I. Loan classification using a feed-forward neural network. Informatics, 2024, vol. 21, no. 1, pp. 83–104 (in Russian). https://doi.org/10.37661/1816-0301-2024-21-1-83-104Benchmarking state-of-the-art classification algorithms for credit scoring: An update of research / S. Lessmann, B. Baesens, H.-V. Seow, L. C. Thomas // European Journal of Operational Research. – 2015. – Vol. 247, № 1. – P. 124–136. https://doi.org/10.1016/j.ejor.2015.05.030Lessmann S., Baesens B., Seow H.-V., Thomas L. C. Benchmarking state-of-the-art classification algorithms for credit scoring: An update of research. European Journal of Operational Research, 2015, vol. 247, no. 1, pp. 124–136. https://doi.org/10.1016/j.ejor.2015.05.030Shalev-Shwartz, S. Understanding Machine Learning: From Theory to Algorithms / S. Shalev-Shwartz, S. Ben- David. – Cambridge University Press, 2014. – 397 p. https://doi.org/10.1017/CBO9781107298019Shalev-Shwartz S., Ben-David S. Understanding Machine Learning: From Theory to Algorithms. Cambridge University Press, 2014. 397 p. https://doi.org/10.1017/CBO9781107298019.Rumelhart, D. Learning representations by back-propagating errors / D. Rumelhart, G. Hinton, R. Williams // Nature. – 1986. – Vol. 323. – P. 533–536. https://doi.org/10.1038/323533a0Rumelhart D., Hinton G., Williams R. Learning representations by back-propagating errors. Nature, 1986, vol. 323, pp. 533–536. https://doi.org/10.1038/323533a0Geron, A. Hands-on Machine Learning with Scikit-Learn, Keras, and TensorFlow / A. Geron. – 2nd ed. – O’Reilly Media, 2019. – 483 p.Geron A. Hands-on Machine Learning with Scikit-Learn, Keras, and TensorFlow. 2nd ed. O’Reilly Media, 2019. 483 p.Goodfellow, I. Deep Learning / I. Goodfellow, Y. Bengio, A. Courville. – MIT Press, 2016. – 800 p.Goodfellow I., Bengio Y., Courville A. Deep Learning. MIT Press, 2016. 800 p.Glorot, X. Understanding the difficulty of training deep feedforward neural networks / X. Glorot, Y. Bengio // Proceedings of the 13th International Conference on Artificial Intelligence and Statistics (AISTATS), 2010, Chia Laguna Resort, Sardinia, Italy. – 2010. – Vol. 9. – P. 249–256.Glorot X., Bengio Y. Understanding the difficulty of training deep feedforward neural networks. Proceedings of the 13th International Conference on Artificial Intelligence and Statistics (AISTATS) 2010, Chia Laguna Resort, Sardinia, Italy. Vol. 9. 2010, pp. 249–256.Delving deep into rectifiers: Surpassing human-level performance on ImageNet classification / K. He, X. Zhang, S. Ren, J. Sun // Proceedings of the IEEE International Conference on Computer Vision (ICCV). – 2015. – P. 1026–1034. https://doi.org/10.1109/iccv.2015.123He K., Zhang X., Ren S., Sun J. Delving deep into rectifiers: Surpassing human-level performance on ImageNet classification. In Proceedings of the IEEE International Conference on Computer Vision (ICCV), 2015, pp. 1026–1034. https://doi.org/10.1109/iccv.2015.123Efficient BackProp / Y. LeCun, L. Bottou, G. B. Orr, K.-R. Müller // Neural Networks: Tricks of the Trade. – Berlin; He idelberg: Springer, 1998. – P. 9–50. – (Lecture Notes in Computer Science; vol 1524). https://doi.org/10.1007/3-540-49430-8_2LeCun Y., Bottou L., Orr G. B., Müller K.-R. Efficient BackProp. Neural Networks: Tricks of the Trade. Lecture Notes in Computer Science, vol 1524. Berlin, Heidelberg, Springer, 1998, pp. 9–50. https://doi.org/10.1007/3-540-49430-8_2Roberts, S. W. Control chart tests based on geometric moving averages / S. W. Roberts // Technometrics. – 1958. – Vol. 1, № 3. – P. 239–250. https://doi.org/10.1080/00401706.1959.10489860Roberts S. W. Control chart tests based on geometric moving averages. Technometrics, 1958, vol. 1, no. 3, pp. 239– 250. https://doi.org/10.1080/00401706.1959.10489860Kingma, D. P. Adam: A Method for Stochastic Optimization / D. P. Kingma, J. Ba // Arxiv [Preprint]. – 2014. – URL: https://arxiv.org/abs/1412.6980; https://doi.org/10.48550/arXiv.1412.6980Kingma D. P., Ba J. Adam: A Method for Stochastic Optimization. Arxiv [Preprint], 2010. Available at: https://arxiv.org/abs/1412.6980; https://doi.org/10.48550/arXiv.1412.6980Dropout: A simple way to prevent neural networks from overfitting / N. Srivastava, G. Hinton, A. Krizhevsky [et al.] // Journal of Machine Learning Research. – 2014. – Vol. 15, № 1. – P. 1929–1958.Srivastava N., Hinton G., Krizhevsky A., Sutskever I., Salakhutdinov R. Dropout: A simple way to prevent neural networks from overfitting. Journal of Machine Learning Research, 2014, vol. 15, no. 1, pp. 1929–1958.

The authors declare that there are no conflicts of interest present.