Обучение языковых моделей RNN на основе гипотез автоматического распознавания речи
Обучение языковых моделей RNN на основе гипотез автоматического распознавания речи
Abstract
Абстракт. Для обучения систем автоматического распознавания речи (АРР) требуется
соответствующий объем данных. В некоторых работах предпринимались попытки обучения n-
грамм языковых моделей (ЯМ) из списков и решеток N-лучших ASR, но обучение и адаптация ЯМ
рекуррентной нейронной сети (RNN) из транскриптов АРР не привлекли внимания. В этой работе
изучается обучение и адаптацию RNN. Вычислительные эксперименты показывают, что метод
выборки для обучения RNN ЯМ в сетях АРР работает лучше и приводит к относительному
снижению ошибок в наборе данных до 14%.
References
Bacchiani, M., Riley, M., Roark, B., Sproat, R., 2006. MAP adaptation of stochastic grammars. Comput. Speech Lang. 20 (1), 41-68.
Chen, S.F., Goodman, J., 1996. An empirical study of smoothing techniques for language modeling. In: Proceedings of the 34th Annual Meeting of the Association for Computational Linguistics (ACL). pp. 310-318.
Zhang, R., Kikui, G., 2006. Integration of speech recognition and machine translation: Speech recognition word lattice translation. Speech Commun. 48 (3), 321-334.
