論文の概要: DiaLLM: An Investigation into the Robustness-Generation Gap in English Dialect Adaptation

• arxiv url: http://arxiv.org/abs/2607.07669v1
• Date: Wed, 08 Jul 2026 17:24:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-09 22:50:30.474436
• Title: DiaLLM: An Investigation into the Robustness-Generation Gap in English Dialect Adaptation
• Title（参考訳）: DiaLLM:英語方言適応におけるロバストネス・ジェネレーションギャップの検討
• Authors: Jordan Painter, Dipankar Srirag, Adarsh Kappiyath, Diptesh Kanojia, Aditya Joshi, Lu Yin,
• Abstract要約: 大型の言語モデルは、方言の英語を理解しやすくするが、それでも標準のアメリカ英語のみを生産する。 我々は、国際英語コーパスにおいて、3つのオープンウェイト言語モデルファミリーを継続的に事前訓練するtextbfDiaLLMを紹介した。
• 参考スコア（独自算出の注目度）: 20.845447775728545
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models increasingly \emph{understand} dialectal English, yet still \emph{produce} only standard, US-leaning English, leaving dialectal generation, the harder half of the problem, largely unaddressed. We introduce \textbf{DiaLLM}, which continually pretrains three open-weight language model families on the International Corpus of English and applies implicit and explicit post-training paradigms, each combined with three model alignment strategies, giving the first controlled comparison of these components across Australian, Indian, and Northern British English. Our results reveal that dialectal robustness and generation are \emph{dissociated}: benchmarks are shaped by continual pretraining and SFT, while alignment visibly reshapes generation in ways benchmarks do not capture. Explicit variety-targeted adaptation produces output reliably recognised as dialectal and preferred over broad alignment, yet the method that most aggressively optimises the dialectal reward is not preferred by human evaluators. Independent linguistic analysis corroborates this reward-quality gap, most clearly on two of the three families. No single alignment method dominates, and closing the gap will require richer reward designs and continued investment in dialectal resources. We release all code, checkpoints, and preference datasets.
• Abstract（参考訳）: 大型の言語モデルでは、方言の英語はますますemph{understand}になるが、それでもなお、emph{produce}は標準のアメリカ英語のみであり、方言の生成は困難であり、問題の半分は未適応である。 我々は,国際英語コーパスで3つのオープンウェイト言語モデルファミリーを継続的に事前訓練し,暗黙的かつ明示的なポストトレーニングパラダイムを適用し,それぞれに3つのモデルアライメント戦略を組み合わせることで,これらのコンポーネントをオーストラリア,インド,イギリス北部で初めて比較した。 ベンチマークは連続的な事前学習とSFTによって形成され、ベンチマークが捉えない方法でのアライメントは可視的に再現される。 明示的な多品種適応は、方言として確実に認識され、広いアライメントよりも好まれる出力を生成するが、方言報酬を最も積極的に最適化する方法は、人間の評価者には好まれない。 独立した言語分析は、この報酬格差を、最も明確に3つのファミリーのうち2つで裏付けている。 単一アライメント法が支配的であり、ギャップを埋めるには、より豊かな報酬設計と方言資源への継続的な投資が必要である。 すべてのコード、チェックポイント、好みのデータセットをリリースします。

関連論文リスト

• Sycophancy as a Multilingual Alignment Failure: How Safety Degrades Across Languages, Topics, and Models [3.2555924024638667]
  安全に整合した大きな言語モデルでは、現実の正確性に関係なくユーザの意見を肯定する傾向がある。 テキストbf38言語とテキストbf33トピックカテゴリを対象とする,テキストbfsix命令調整モデルのベンチマークを行う。
  論文  参考訳（メタデータ） (2026-06-07T04:50:40Z)
• Which English Do LLMs Prefer? Triangulating Structural Bias Towards American English in Foundation Models [12.338320566839483]
  データキュレーション,デジタル支配,言語標準化の地政学的ヒストリーが,大規模言語モデル(LLM)開発パイプラインをどう形成するかを検討する。 我々は1,813個のAmE-BrE変異体をキュレートしたコーパスを構築し、方言のアライメントを推定するための訓練不要な方法であるDiAlignを導入する。 現代LLMの特権は、AmEを事実上の規範としており、グローバルAI展開における言語的均質化、疫学的不正、不平等に対する懸念を高めている。
  論文  参考訳（メタデータ） (2026-04-05T17:59:34Z)
• Mitigating Cross-Lingual Cultural Inconsistencies in LLMs via Consensus-Driven Preference Optimisation [58.01855677487771]
  本研究では,多言語大言語モデル (MLLM) が,プロンプトの言語変化に伴う不整合性を示すことを示す。 コンセンサス駆動型アライメントフレームワークであるC-3POを提案する。 C-3POは、非整合モデルよりも0.10ポイントの$_S$を絶対的に増加させ、強力なプロンプトと表現のステアリングベースラインを上回る。
  論文  参考訳（メタデータ） (2026-04-02T14:04:06Z)
• Beyond the Final Layer: Intermediate Representations for Better Multilingual Calibration in Large Language Models [50.34755385896279]
  大規模言語モデル(LLM)の信頼性確保には信頼度校正が不可欠である 6つのモデルファミリーと100以上の言語にまたがる多言語キャリブレーションの大規模かつ体系的な研究を行う。 非英語言語は体系的に悪い校正に苦しむ。
  論文  参考訳（メタデータ） (2025-10-03T16:07:15Z)
• CM-Align: Consistency-based Multilingual Alignment for Large Language Models [84.19366314925593]
  高品質な多言語嗜好データを構築するための一貫性に基づくデータ手法を提案する。 具体的には、一貫性のある英語参照選択と、言語間一貫性に基づく多言語嗜好データ構築の2つの部分を含む。
  論文  参考訳（メタデータ） (2025-09-10T12:40:49Z)
• Overcoming Catastrophic Forgetting in Zero-Shot Cross-Lingual Generation [48.80125962015044]
  ラベル付きデータが英語でのみ利用可能である場合、対象言語で生成タスク(すなわち要約)を実行するという問題について検討する。 パラメータ効率の低い言語間での移動において、パラメータ効率の適応は標準的な微調整よりも向上することがわかった。 提案手法はさらなる品質向上を実現し,ロバストなゼロショット・クロスランガル生成が到達範囲内であることを示唆する。
  論文  参考訳（メタデータ） (2022-05-25T10:41:34Z)
• Towards Multi-Sense Cross-Lingual Alignment of Contextual Embeddings [41.148892848434585]
  本稿では,バイリンガル辞書からのクロスリンガル信号のみを活用して,文脈埋め込みを感覚レベルで整列する新しい枠組みを提案する。 我々はまず,単語感覚を明示的にモデル化するために,新しい感覚認識型クロスエントロピー損失を提案する。 次に,言語間モデル事前学習のための感覚認識型クロスエントロピー損失と,複数の言語対に対する事前訓練型クロス言語モデルの上に,感覚アライメントの目的を提案する。
  論文  参考訳（メタデータ） (2021-03-11T04:55:35Z)
• Cross-lingual Spoken Language Understanding with Regularized Representation Alignment [71.53159402053392]
  外部リソースを使わずに言語間で単語レベルの表現と文レベルの表現を整列する正規化手法を提案する。 言語間言語理解タスクの実験により、我々のモデルは、数ショットとゼロショットの両方のシナリオにおいて、最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-30T08:56:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。