論文の概要: Poly-Dialectal Neural Machine Translation System for Bangla Regional Dialects
- arxiv url: http://arxiv.org/abs/2608.12018v1
- Date: Wed, 12 Aug 2026 12:55:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.58681
- Title: Poly-Dialectal Neural Machine Translation System for Bangla Regional Dialects
- Title（参考訳）: バングラ地域方言のための多次元ニューラルネットワーク翻訳システム
- Abstract要約: 地域の方言の変化は、バングラの自然言語処理(NLP)に根本的な課題をもたらす。
4億4000万人以上の話者が、スタンダード・コロクィアル・バングラと大きく異なる様々な地域でコミュニケーションしている。
本稿では,12のバングラ方言にまたがる多方向翻訳が可能な統合多言語ニューラルマシン翻訳システムを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Regional dialectal variation poses a fundamental challenge to natural language processing (NLP) in Bangla, where over 240 million speakers communicate across diverse regional variants that diverge significantly from Standard Colloquial Bangla (SCB) in phonology, morphology, and lexicon. Contemporary neural machine trans- lation (NMT) architectures and large language models (LLMs) predominantly as- sume a homogeneous language distribution, resulting in severe performance degra- dation when translating low-resource regional dialects. In this work, we present a unified Poly-Dialectal Neural Machine Translation System capable of multi-directional translation across 12 Bangla regional dialects without routing through an inter- mediary standard pivot. We compile the largest multi-dialect parallel corpus for Bangla to date, comprising 51,531 non-null parallel sentence pairs across 12 di- alects, incorporating 2,500 expert-verified, bidirectional parallel sentence pairs for five previously unaddressed dialects. Evaluating sequence-to-sequence architec- tures under Weight-Decomposed Low-Rank Adaptation (DoRA), our fine-tuned BanglaT5 model achieves state-of-the-art translation performance (29.26 BLEU, 57.26 chrF++), outperforming NLLB-200 (615M) and mBART-50 (611M) while preserving morphological coherence. Furthermore, we conduct a systematic cross- dialectal transfer analysis and dataset scaling study, establishing empirical thresh- olds for low-resource dialect adaptation. Finally, we deploy the optimized INT8- quantized model as an open-access web application to promote digital inclusion for marginalized dialect communities. The complete dataset is publicly available at Mendeley Data (https://data.mendeley.com/datasets/v9cf66fk2t/2).
- Abstract（参考訳）: 地域方言の変化はバングラの自然言語処理(NLP)に根本的な課題をもたらし、そこでは4億4000万人以上の話者が、音韻学、形態学、語彙学において標準口語バングラ(SCB)と大きく異なる様々な地域変種をまたいでコミュニケーションしている。
現代ニューラルマシントランスレーション(NMT)アーキテクチャと大規模言語モデル(LLM)は、主に均質な言語分布を和らげ、低リソースの地域方言を翻訳する際、性能が著しく低下する。
そこで本研究では,12のバングラ方言にまたがる多方向翻訳が可能な多言語ニューラルマシン翻訳システムを提案する。
これまでにBanglaにとって最大の並列コーパスをコンパイルし,12個のディレクトに51,531個の非ヌル並列文ペアをコンパイルし,さらに5つの未適応方言に対して2,500個の専門家による双方向並列文ペアを組み込んだ。
重み分解された低ランク適応(DoRA)下でのシーケンス・ツー・シーケンス・アルカイト・テクスチャの評価を行い,NLLB-200 (615M) とmBART-50 (611M) の精度を保ちながら, 最先端の翻訳性能(29.26BLEU, 57.26chrF++)を実現した。
さらに、我々は、低リソースの方言適応のための経験的スレッシュ老化を確立すべく、体系的なクロス・ダイアラル・トランスファー分析とデータセット・スケーリング研究を行っている。
最後に、最適化されたINT8量子化モデルをオープンアクセスWebアプリケーションとしてデプロイし、余分な方言コミュニティへのデジタル包摂を促進する。
完全なデータセットはMendley Data(https://data.mendeley.com/datasets/v9cf66fk2t/2)で公開されている。
関連論文リスト
- BhashaSetu: A Data-Centric Approach to Low-Resource Machine Translation [1.2546133965241097]
BhashaSetuは言語的に豊かな英語である--低リソースニューラルネットワーク翻訳(NMT)における永続的なデータ制限に対処するパラレルデータセット
我々のデータセットは, ニュース, 政治, 医療, 文学, 文化など異質な情報源からの278万の文対からなる。
論文 参考訳（メタデータ） (2026-05-26T14:03:20Z) - Context-Aware Dialectal Arabic Machine Translation with Interactive Region and Register Selection [0.0]
現在のアラビア語の機械翻訳(MT)システムは、しばしば方言の多様性を考慮するのに苦労している。
本稿では,地域・言語的変動を明示的にモデル化した方言アラビア語 MT の文脈認識フレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-07T20:54:19Z) - DialectGen: Benchmarking and Improving Dialect Robustness in Multimodal Generation [111.94720088481614]
多モーダル生成モデルは方言テキスト入力を効果的に生成できるのか?
6つの共通英語方言にまたがる大規模ベンチマークを構築した。
マルチモーダル生成モデルのための一般的なエンコーダに基づく緩和戦略を設計する。
論文 参考訳（メタデータ） (2025-10-16T17:56:55Z) - Towards Explainable Bilingual Multimodal Misinformation Detection and Localization [64.37162720126194]
BiMiは、地域レベルのローカライゼーション、言語間および言語間整合性検出、誤情報解析のための自然言語説明を共同で行うフレームワークである。
BiMiBenchは、実際のニュース画像とサブタイトルを体系的に編集するベンチマークである。
BiMiは、分類精度が+8.9で、ローカライゼーション精度が+15.9で、BERTScoreを+2.5で上回る。
論文 参考訳（メタデータ） (2025-06-28T15:43:06Z) - ANCHOLIK-NER: A Benchmark Dataset for Bangla Regional Named Entity Recognition [0.8025340896297104]
ANCHOLIK-NERはバングラ地方方言におけるNERの最初のベンチマークデータセットである。
我々は,Bangla BERT,Bangla BERT Base,BERT Base Multilingual Casedの3つのトランスフォーマーモデルを評価する。
以上の結果から,BERT Base Multilingual Casedは各領域にまたがる名前の認識に最適であることが示唆された。
論文 参考訳（メタデータ） (2025-02-16T16:59:10Z) - Bridging Dialects: Translating Standard Bangla to Regional Variants Using Neural Models [1.472830326343432]
この研究は、言語多様性を保ち、方言話者間のコミュニケーションを改善する必要性によって動機付けられている。
モデルは"Vashantor"データセットを使用して微調整され、様々な方言で32,500の文が含まれている。
BanglaT5はCERが12.3%、WERが15.7%で優れた性能を示し、方言のニュアンスを捉える効果を強調した。
論文 参考訳（メタデータ） (2025-01-10T06:50:51Z) - Voices Unheard: NLP Resources and Models for Yorùbá Regional Dialects [72.18753241750964]
Yorub'aは、約4700万人の話者を持つアフリカの言語である。
アフリカ語のためのNLP技術開発への最近の取り組みは、彼らの標準方言に焦点を当てている。
我々は、このギャップを埋めるために、新しい高品質のパラレルテキストと音声コーパスを導入する。
論文 参考訳（メタデータ） (2024-06-27T22:38:04Z) - Mitigating Data Imbalance and Representation Degeneration in
Multilingual Machine Translation [103.90963418039473]
Bi-ACLは、MNMTモデルの性能を向上させるために、ターゲット側モノリンガルデータとバイリンガル辞書のみを使用するフレームワークである。
Bi-ACLは、長い尾の言語でも、高リソースの言語でも、より効果的であることを示す。
論文 参考訳（メタデータ） (2023-05-22T07:31:08Z) - Quantifying Language Variation Acoustically with Few Resources [4.162663632560141]
ディープ・アコースティック・モデルは低リソース言語に転送する言語情報を学んだかもしれない。
4つの言語(地域)から100以上の方言に対して平均10語以上の発音差を計算する。
その結果,音響モデルは音素の書き起こしを必要とせずに(従来の)書き起こし方式よりも優れていることがわかった。
論文 参考訳（メタデータ） (2022-05-05T15:00:56Z) - Pre-training Multilingual Neural Machine Translation by Leveraging
Alignment Information [72.2412707779571]
mRASPは、汎用多言語ニューラルマシン翻訳モデルを事前訓練するためのアプローチである。
我々は,低,中,豊かな資源を含む多種多様な環境における42の翻訳方向の実験を行い,エキゾチックな言語対への変換を行った。
論文 参考訳（メタデータ） (2020-10-07T03:57:54Z) - Improving Massively Multilingual Neural Machine Translation and
Zero-Shot Translation [81.7786241489002]
ニューラルネットワーク翻訳(NMT)の多言語モデルは理論的には魅力的であるが、しばしばバイリンガルモデルに劣る。
我々は,多言語NMTが言語ペアをサポートするためにより強力なモデリング能力を必要とすることを論じる。
未知のトレーニング言語ペアの翻訳を強制するために,ランダムなオンライン翻訳を提案する。
論文 参考訳（メタデータ） (2020-04-24T17:21:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。