論文の概要: Cross-Dialect NER for Bangla Regional Dialects Using Leave-One-Dialect-Out Cross-Validation and Explainable AI
- arxiv url: http://arxiv.org/abs/2609.22536v1
- Date: Fri, 18 Sep 2026 19:47:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:00.445112
- Title: Cross-Dialect NER for Bangla Regional Dialects Using Leave-One-Dialect-Out Cross-Validation and Explainable AI
- Title（参考訳）: ワン・ワン・ディレクト・アウト・クロスバリデーションと説明可能なAIを用いたバングラ地域方言のクロスディレクトNER
- Abstract要約: バングラ語は世界で7番目に話される言語であり、地域の方言の多様性が顕著である。
これらのバリエーションは、名前付きエンティティ認識(NER)に重大な課題をもたらす。
本稿では,ANCHOLIK-NERデータセットを用いたクロスダイアレクトBangla NERフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 0.36174624070659095
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bangla, the seventh most spoken language in the world, exhibits significant regional dialectal diversity, with dialects such as Barishal, Chattogram, Sylhet, Noakhali, and Mymensingh differing in lexical, morphological, and syntactic characteristics. These variations pose substantial challenges for Named Entity Recognition (NER), limiting the generalization of models trained on Standard Bangla or a single regional dialect. This paper presents a cross-dialect Bangla NER framework using the publicly available ANCHOLIK-NER dataset, comprising 17,405 annotated sentences and 101,817 tokens across five major Bangla regional dialects. A Leave-One-Dialect-Out Cross-Validation (LODOCV) strategy is adopted, training models on four dialects and evaluating on the remaining unseen dialect. Eight pretrained transformer-based models, including BanglaBERT, MuRIL, XLM-RoBERTa, and Multilingual-E5, are evaluated under identical experimental settings. Multilingual-E5 Large achieves the highest F1-score in every fold, peaking at 97.26% on Mymensingh and reaching its lowest, 82.38%, on Chattogram, the most challenging target dialect. To improve interpretability, Local Interpretable Model-agnostic Explanations (LIME) are applied to word-level predictions, revealing that the model's decisions are driven primarily by the surface form of the target entity word itself rather than by surrounding sentence context. These findings establish a benchmark for cross-dialect Bangla NER and demonstrate the effectiveness of transformer-based transfer learning for low-resource regional dialects, while highlighting the surface-form dependence of current models as a direction for future work.
- Abstract（参考訳）: 世界で7番目に話される言語であるバングラ語は、バリシャル語、チャトグラム語、シルヘット語、ノアハリ語、マイメンシング語などの方言が語彙的、形態的、統語的特徴によって異なるなど、地域の方言の多様性が顕著である。
これらのバリエーションは、標準バングラ語または単一地域方言で訓練されたモデルの一般化を制限する、名前付きエンティティ認識(NER)に重大な課題をもたらす。
本稿では,ANCHOLIK-NERデータセットを用いて,5つの主要バングラ方言にまたがる17,405の注釈文と101,817のトークンからなるクロスダイアレクトBangla NERフレームワークを提案する。
LODOCV(Leave-One-Dialect-Out Cross-Validation)戦略が採用され、4つの方言のトレーニングモデルが採用され、残りの未確認方言が評価される。
また,BanglaBERT,MuRIL,XLM-RoBERTa,Multilingual-E5を含む8つの事前学習型トランスフォーマーモデルについて,同じ実験条件下で評価した。
マルチリンガル-E5 大型のF1スコアは毎回最高であり、ミメンシンでは97.26%、チャトグラムでは82.38%に達している。
解釈性を向上させるために,局所解釈可能なモデル非依存記述(LIME)を単語レベルの予測に適用し,そのモデルの決定は文の周囲の文脈ではなく,目的のエンティティワード自体の表面形式によって駆動されることを示した。
これらの結果は, クロスダイアレクトBangla NERのベンチマークを確立し, 低リソース地域方言に対するトランスファーラーニングの有効性を実証するとともに, 今後の研究の方向性として, 現行モデルの表面形状依存性を強調した。
関連論文リスト
- Poly-Dialectal Neural Machine Translation System for Bangla Regional Dialects [0.0]
地域の方言の変化は、バングラの自然言語処理(NLP)に根本的な課題をもたらす。
4億4000万人以上の話者が、スタンダード・コロクィアル・バングラと大きく異なる様々な地域でコミュニケーションしている。
本稿では,12のバングラ方言にまたがる多方向翻訳が可能な統合多言語ニューラルマシン翻訳システムを提案する。
論文 参考訳（メタデータ） (2026-08-12T12:55:54Z) - Can Dialects Be Steered Like Languages? Sparse Neurons and Distributed Directions in Arabic LLMs [60.9510933247844]
アラビア語NLPの主な課題は、現代標準アラビア語(MSA)と比較して方言データの不足である。
解釈可能性の観点からすると、これは基本的な疑問を提起する。
本研究では,解釈可能性プローブと制御機構を兼ね備えた2つの相補的推論時間アプローチについて検討した。
論文 参考訳（メタデータ） (2026-07-04T16:04:44Z) - On the Fallacy of Global Token Perplexity in Spoken Language Model Evaluation [88.77441715819366]
大規模生音声で事前訓練された生成音声言語モデルは、適切な内容で音声プロンプトを継続することができる。
本稿では,グローバルトークンの難易度に代えて,多種多様な可能性・生成的評価手法を提案する。
論文 参考訳（メタデータ） (2026-01-09T22:01:56Z) - DialectGen: Benchmarking and Improving Dialect Robustness in Multimodal Generation [111.94720088481614]
多モーダル生成モデルは方言テキスト入力を効果的に生成できるのか?
6つの共通英語方言にまたがる大規模ベンチマークを構築した。
マルチモーダル生成モデルのための一般的なエンコーダに基づく緩和戦略を設計する。
論文 参考訳（メタデータ） (2025-10-16T17:56:55Z) - ANCHOLIK-NER: A Benchmark Dataset for Bangla Regional Named Entity Recognition [0.8025340896297104]
ANCHOLIK-NERはバングラ地方方言におけるNERの最初のベンチマークデータセットである。
我々は,Bangla BERT,Bangla BERT Base,BERT Base Multilingual Casedの3つのトランスフォーマーモデルを評価する。
以上の結果から,BERT Base Multilingual Casedは各領域にまたがる名前の認識に最適であることが示唆された。
論文 参考訳（メタデータ） (2025-02-16T16:59:10Z) - Bridging Dialects: Translating Standard Bangla to Regional Variants Using Neural Models [1.472830326343432]
この研究は、言語多様性を保ち、方言話者間のコミュニケーションを改善する必要性によって動機付けられている。
モデルは"Vashantor"データセットを使用して微調整され、様々な方言で32,500の文が含まれている。
BanglaT5はCERが12.3%、WERが15.7%で優れた性能を示し、方言のニュアンスを捉える効果を強調した。
論文 参考訳（メタデータ） (2025-01-10T06:50:51Z) - BanglaDialecto: An End-to-End AI-Powered Regional Speech Standardization [7.059964549363294]
本研究は、方言のNoakhali音声を標準のBangla音声に変換するためのエンドツーエンドパイプラインを提案する。
約55の異なる方言が1億6000万人が話しており、バングラ方言に対処することは包括的コミュニケーションツールの開発に不可欠である。
実験の結果,Whisper ASRモデルが0.8%,WERが1.5%,BanglaT5モデルが41.6%,BLEUが41.6%であった。
論文 参考訳（メタデータ） (2024-11-16T20:20:15Z) - Modeling Orthographic Variation in Occitan's Dialects [3.038642416291856]
大規模多言語モデルは、前処理時のスペル正規化の必要性を最小限に抑える。
以上の結果から,複数言語モデルでは,前処理時のスペル正規化の必要性が最小限に抑えられていることが示唆された。
論文 参考訳（メタデータ） (2024-04-30T07:33:51Z) - Quantifying the Dialect Gap and its Correlates Across Languages [69.18461982439031]
この研究は、明らかな相違を明らかにし、マインドフルなデータ収集を通じてそれらに対処する可能性のある経路を特定することによって、方言NLPの分野を強化する基盤となる。
論文 参考訳（メタデータ） (2023-10-23T17:42:01Z) - VALUE: Understanding Dialect Disparity in NLU [50.35526025326337]
アフリカ・アメリカン・バーナクラ・イングリッシュ(AAVE)の11つの特徴に関するルールを構築した。
言語的アクセプタビリティ判断により,各特徴変換の検証を行うために,流線型AAVE話者を募集する。
実験により、これらの新しい方言の特徴がモデル性能の低下につながることが示された。
論文 参考訳（メタデータ） (2022-04-06T18:30:56Z) - Unsupervised Cross-lingual Representation Learning for Speech
Recognition [63.85924123692923]
XLSRは、複数の言語における音声の生波形から1つのモデルを事前学習することで、言語間音声表現を学習する。
我々は、マスク付き潜在音声表現よりも対照的なタスクを解くことで訓練されたwav2vec 2.0を構築した。
実験により、言語間事前学習はモノリンガル事前訓練よりも著しく優れていることが示された。
論文 参考訳（メタデータ） (2020-06-24T18:25:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。