論文の概要: 5-Dialects-BN: Unmasking the Impact of Transliteration on Bangla Dialectal LLMs
- arxiv url: http://arxiv.org/abs/2609.09964v1
- Date: Wed, 09 Sep 2026 09:52:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.970531
- Title: 5-Dialects-BN: Unmasking the Impact of Transliteration on Bangla Dialectal LLMs
- Title（参考訳）: 5-Dialects-BN: 翻訳がバングラディクトロルLLMに与える影響を解き明かす
- Abstract要約: 5-Dialects-BNはバングラ方言の最初のマルチアノテーションベンチマークである。
データセットは5つの主要な方言にまたがる 6,000の注釈付きエントリで構成されています
- 参考スコア（独自算出の注目度）: 0.45740558095423056
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) have achieved remarkable progress across natural language processing (NLP) tasks, yet their capabilities degrade sharply for low-resource languages and dialectally diverse settings. Bangla, the world's sixth most spoken language, exemplifies this gap: existing resources overwhelmingly target Standard Bangla, leaving its regional dialects without the benchmarks needed to develop or evaluate dialect-aware systems. We address this gap with 5-Dialects-BN, the first multi-annotation Bangla dialect benchmark to align Romanized transliteration with dialectal text, Standard Bangla, English, and subjectivity labels across five regional varieties. The dataset comprises 6,000 manually annotated entries spanning five major dialects: Chittagong, Barisal, Noakhali, Sylhet, and Rangpur (Chittagong 1,900; Noakhali 1,500; Sylhet 1,200; Barisal 700; Rangpur 700), reflecting natural online availability. Each entry is enriched with five aligned annotations: the original dialectal text, a Romanized transliteration, an English translation, a Standard Bangla translation, and a subjectivity label (subjective vs. objective). Annotations were produced and cross-validated by native speakers and undergraduate linguistics students to ensure dialectal authenticity and semantic fidelity. The resulting resource supports a diverse suite of tasks, including dialect identification, dialect-to-standard normalization, machine translation, subjectivity classification, and parameter-efficient fine-tuning (e.g., LoRA) of multilingual LLMs. By providing a standardized, multi-annotation benchmark, 5-Dialects-BN enables principled evaluation of LLMs on dialectally diverse Bangla and lays a foundation for further research in low-resource, dialect-aware NLP.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語処理(NLP)タスク全体において顕著な進歩を遂げているが、低リソース言語や方言的に多様な設定において、その能力は著しく低下している。
既存の資源は標準バングラを圧倒的にターゲットとしており、方言を意識したシステムを開発し評価するために必要なベンチマークなしでその地域方言を残している。
5-Dialects-BNは,ロマン化文字を方言のテキスト,標準バングラ,英語,主観性ラベルと整合させる最初のマルチアノテーションバングラ方言ベンチマークである。
このデータセットは、Chittagong、Barisal、Noakhali、Sylhet、Rangpur(Chittagong 1,900、Noakhali 1500、Sylhet 1,200、Barisal 700、Rangpur 700)という5つの主要方言にまたがる6,000の注釈付きエントリで構成されており、自然のオンライン利用を反映している。
各項目には、原文の方言文、ローマ字訳、英訳、標準バングラ語訳、主観的ラベル(主観的対目的)の5つの注釈が添えられている。
アノテーションは、方言の真正性と意味的忠実性を確保するために、母語話者と学部の言語学者によって作成・検証された。
その結果得られたリソースは、方言識別、方言-標準正規化、機械翻訳、主観性分類、多言語LLMのパラメータ効率の高い微調整(例えばLoRA)など、多様なタスク群をサポートする。
5-Dialects-BNは、標準化されたマルチアノテーションのベンチマークを提供することにより、方言的に多様なBangla上でのLLMの原則的評価を可能にし、低リソースの方言対応NLPの研究の基盤となる。
関連論文リスト
- Poly-Dialectal Neural Machine Translation System for Bangla Regional Dialects [0.0]
地域の方言の変化は、バングラの自然言語処理(NLP)に根本的な課題をもたらす。
4億4000万人以上の話者が、スタンダード・コロクィアル・バングラと大きく異なる様々な地域でコミュニケーションしている。
本稿では,12のバングラ方言にまたがる多方向翻訳が可能な統合多言語ニューラルマシン翻訳システムを提案する。
論文 参考訳（メタデータ） (2026-08-12T12:55:54Z) - INDIC DIALECT: A Multi Task Benchmark to Evaluate and Translate in Indian Language Dialects [10.663878830823043]
インドではヒンディー語が世界で3番目に話されている言語(6億人以上の話者)であるにもかかわらず、多くの方言はいまだに表現されていない。
我々は,11の方言と2つの言語(ヒンディー語とオディア語)にまたがる13k文対の並列コーパスであるINDIC-DIALECTを紹介する。
論文 参考訳（メタデータ） (2026-01-15T13:40:27Z) - XIFBench: Evaluating Large Language Models on Multilingual Instruction Following [59.549015333755186]
大規模言語モデル(LLM)は、様々なアプリケーションにまたがる優れた命令追従機能を示している。
既存の評価には、様々な言語的文脈におけるきめ細かい制約分析が欠如している。
我々は,LLMの多言語命令追従能力を評価するための総合ベンチマークであるXIFBenchを紹介する。
論文 参考訳（メタデータ） (2025-03-10T17:07:52Z) - Bridging Dialects: Translating Standard Bangla to Regional Variants Using Neural Models [1.472830326343432]
この研究は、言語多様性を保ち、方言話者間のコミュニケーションを改善する必要性によって動機付けられている。
モデルは"Vashantor"データセットを使用して微調整され、様々な方言で32,500の文が含まれている。
BanglaT5はCERが12.3%、WERが15.7%で優れた性能を示し、方言のニュアンスを捉える効果を強調した。
論文 参考訳（メタデータ） (2025-01-10T06:50:51Z) - BanglaDialecto: An End-to-End AI-Powered Regional Speech Standardization [7.059964549363294]
本研究は、方言のNoakhali音声を標準のBangla音声に変換するためのエンドツーエンドパイプラインを提案する。
約55の異なる方言が1億6000万人が話しており、バングラ方言に対処することは包括的コミュニケーションツールの開発に不可欠である。
実験の結果,Whisper ASRモデルが0.8%,WERが1.5%,BanglaT5モデルが41.6%,BLEUが41.6%であった。
論文 参考訳（メタデータ） (2024-11-16T20:20:15Z) - BanglaLlama: LLaMA for Bangla Language [1.0710988917914002]
バングラ語は世界で5番目に大きな言語であるが、依然として「低リソース」言語である。
既存の事前訓練された言語モデルは、しばしばBangla Language Processing (BLP)タスクでうまく機能するのに苦労する。
本稿では,224kサンプルからなる2つの高品質翻訳バングラインストラクションデータセットを提案する。
論文 参考訳（メタデータ） (2024-10-28T16:44:02Z) - Voices Unheard: NLP Resources and Models for Yorùbá Regional Dialects [72.18753241750964]
Yorub'aは、約4700万人の話者を持つアフリカの言語である。
アフリカ語のためのNLP技術開発への最近の取り組みは、彼らの標準方言に焦点を当てている。
我々は、このギャップを埋めるために、新しい高品質のパラレルテキストと音声コーパスを導入する。
論文 参考訳（メタデータ） (2024-06-27T22:38:04Z) - What Do Dialect Speakers Want? A Survey of Attitudes Towards Language Technology for German Dialects [60.8361859783634]
我々はドイツ語に関連する方言と地域言語に関する話者を調査した。
回答者は特に、方言入力で動作する潜在的なNLPツールを好んでいる。
論文 参考訳（メタデータ） (2024-02-19T09:15:28Z) - Natural Language Processing for Dialects of a Language: A Survey [56.93337350526933]
最先端自然言語処理(NLP)モデルは、大規模なトレーニングコーパスでトレーニングされ、評価データセットで最上位のパフォーマンスを報告します。
この調査は、これらのデータセットの重要な属性である言語の方言を掘り下げる。
方言データセットにおけるNLPモデルの性能劣化と言語技術のエクイティへのその影響を動機として,我々はデータセットやアプローチの観点から,方言に対するNLPの過去の研究を調査した。
論文 参考訳（メタデータ） (2024-01-11T03:04:38Z) - Task-Agnostic Low-Rank Adapters for Unseen English Dialects [52.88554155235167]
LLM(Large Language Models)は、標準アメリカ英語を好んで不均等に重み付けされたコーパスで訓練される。
HyperLoRAは、方言特化情報と方言横断情報を混同することにより、タスクに依存しない方法で未確認の方言への一般化を改善する。
論文 参考訳（メタデータ） (2023-11-02T01:17:29Z) - Multi-VALUE: A Framework for Cross-Dialectal English NLP [49.55176102659081]
マルチディレクト (Multi-Dilect) は、50の英語方言にまたがる制御可能なルールベースの翻訳システムである。
ストレステストは、非標準方言の先行モデルに対する顕著な性能格差を示す。
私たちはチカノやインド英語のネイティブスピーカーと提携して、人気のあるCoQAタスクの新しいゴールドスタンダード版をリリースしています。
論文 参考訳（メタデータ） (2022-12-15T18:17:01Z) - VALUE: Understanding Dialect Disparity in NLU [50.35526025326337]
アフリカ・アメリカン・バーナクラ・イングリッシュ(AAVE)の11つの特徴に関するルールを構築した。
言語的アクセプタビリティ判断により,各特徴変換の検証を行うために,流線型AAVE話者を募集する。
実験により、これらの新しい方言の特徴がモデル性能の低下につながることが示された。
論文 参考訳（メタデータ） (2022-04-06T18:30:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。