論文の概要: The Translation Barrier Hypothesis: Multilingual Generation with Large Language Models Suffers from Implicit Translation Failure

• arxiv url: http://arxiv.org/abs/2506.22724v1
• Date: Sat, 28 Jun 2025 02:09:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 21:27:53.534261
• Title: The Translation Barrier Hypothesis: Multilingual Generation with Large Language Models Suffers from Implicit Translation Failure
• Title（参考訳）: 翻訳障壁仮説:暗黙の翻訳失敗による大言語モデルによる多言語生成
• Authors: Niyati Bafna, Tianjian Li, Kenton Murray, David R. Mortensen, David Yarowsky, Hale Sirin, Daniel Khashabi,
• Abstract要約: 生成のための暗黙的なタスク解決-->翻訳パイプラインの存在を実証する。 108言語対にわたる単語翻訳タスクに対して,この仮説を検証した。 全体的な失敗のかなりの部分は、翻訳失敗に起因していることが分かりました。
• 参考スコア（独自算出の注目度）: 24.960044405878286
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multilingual generation with large language models (LLMs) is often of poor quality for mid- to low-resource languages. Building on insights from interpretability, we demonstrate the existence of an implicit task-solving-->translation pipeline for generation, whereby the model first solves the required task in a largely target-language-agnostic manner, and subsequently translates answer concepts into the intended target language. We hypothesize that the failure of the translation stage is an important culprit for the observed low quality of final outputs, and formalize this as the translation barrier hypothesis. We test this hypothesis for a word translation task across 108 language pairs, using logit lens to observe model processing in intermediate layers. We find that a significant portion of overall failures indeed stems from translation failure, or the model's inability to translate correctly solved intermediate concepts into the target language. This is especially true for low-resource target languages. Our results highlight an important hurdle for end-to-end multilingual generation, and lend guiding insights for future work seeking to improve multilinguality in LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)を用いた多言語生成は、中級から低レベルの言語では品質が劣ることが多い。 解釈可能性からの洞察に基づいて、我々は生成のための暗黙的なタスク解決パイプラインの存在を実証し、まず、モデルが要求されたタスクを主にターゲット言語に依存しない方法で解決し、その後、回答概念を意図されたターゲット言語に変換する。 最終結果の低品質化には,翻訳段階の失敗が重要な原因であると仮定し,これを翻訳障壁仮説として定式化する。 中間層におけるモデル処理を観測するために,ロジットレンズを用いて,この仮説を108言語対にわたる単語翻訳タスクとして検証した。 全体的な失敗のかなりの部分は翻訳失敗によるものか、あるいはモデルが正しく解決された中間概念を対象言語に翻訳できないことが判明した。 これは低リソースのターゲット言語には特に当てはまります。 本研究は,LLMの多言語性向上に向けた今後の研究の指針として,エンド・ツー・エンドの多言語生成における重要なハードルを浮き彫りにしている。

関連論文リスト

• Cross-lingual Collapse: How Language-Centric Foundation Models Shape Reasoning in Large Language Models [44.94287386776289]
  textbfCross-lingual Collapseは、多言語言語モデルが支配的な事前学習言語に回帰する体系的なドリフトである。 実験の結果, (i)GRPOは事前学習言語の不均衡を急速に増幅し, わずか数百回の更新で低リソース言語が侵食され, (ii) 言語整合性報酬はこのドリフトを緩和するが, ほぼ5～10ppの精度の低下を犠牲にしていることがわかった。
  論文  参考訳（メタデータ） (2025-06-06T08:08:48Z)
• Scaling Test-time Compute for Low-resource Languages: Multilingual Reasoning in LLMs [3.9530780161144667]
  本稿では,大規模言語モデルが潜在空間で内部的に操作する多言語メカニズムについて検討する。 我々は、低リソース言語での入力を条件に、ターゲット言語で最終応答を出力しながら、英語でチェーン・オブ・ソート(CoT)を生成するモデルを訓練する。 我々の実験では、この手法は英語によるCoTトレーニングと呼ばれ、28.33%の改善で他のベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-04-02T16:58:36Z)
• Transcending Language Boundaries: Harnessing LLMs for Low-Resource Language Translation [38.81102126876936]
  本稿では,キーワードに着目して,低リソース言語における翻訳品質を向上させる新しい検索手法を提案する。 本手法の有効性を評価するため,北米の絶滅危惧種であるチェロキー語,アジアにおける歴史的・文化的に重要な言語であるチベット語,話者がほとんどいない満州語という3つの低資源言語に英語から翻訳した実験を行った。 GPT-4oとLLaMA 3.1 405Bのゼロショット性能と比較すると、低リソース言語への変換において、これらのモデルが直面する重要な課題が浮き彫りになっている。
  論文  参考訳（メタデータ） (2024-11-18T05:41:27Z)
• The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights [108.40766216456413]
  大規模言語モデルの英語と非英語のパフォーマンスのギャップを埋めるための質問アライメントフレームワークを提案する。 実験結果から、さまざまな推論シナリオ、モデルファミリー、サイズにわたって、多言語のパフォーマンスを向上できることが示された。 我々は、表現空間、生成された応答とデータスケールを分析し、質問翻訳訓練がLLM内の言語アライメントをどのように強化するかを明らかにする。
  論文  参考訳（メタデータ） (2024-05-02T14:49:50Z)
• Fine-Tuning Large Language Models to Translate: Will a Touch of Noisy Data in Misaligned Languages Suffice? [33.376648335299116]
  大きな言語モデル(LLM)は、32のパラレル文で微調整された後、強い翻訳能力を示す。 英語のみを対象とするLLMは、非英語への翻訳を妨げるタスクの誤解釈につながる可能性がある。 未表現言語で合成されたデータは、顕著な効果が低い。
  論文  参考訳（メタデータ） (2024-04-22T12:21:12Z)
• Zero-shot Cross-lingual Transfer is Under-specified Optimization [49.3779328255767]
  ソース言語単言語モデルとソース+ターゲットバイリンガルモデルとの間の線形補間モデルは、等しく低いソース言語一般化誤差を持つことを示す。 また、ゼロショット解は対象言語誤り一般化曲面の非平坦領域にあり、高い分散を引き起こすことを示した。
  論文  参考訳（メタデータ） (2022-07-12T16:49:28Z)
• Delving Deeper into Cross-lingual Visual Question Answering [115.16614806717341]
  標準学習装置に簡単な修正を加えることで、モノリンガル英語のパフォーマンスへの移行ギャップを大幅に減らすことができることを示す。 多言語マルチモーダル変換器の多言語間VQAを多言語間VQAで解析する。
  論文  参考訳（メタデータ） (2022-02-15T18:22:18Z)
• Modelling Latent Translations for Cross-Lingual Transfer [47.61502999819699]
  従来のパイプラインの2つのステップ(翻訳と分類)を1つのモデルに統合する新しい手法を提案する。 我々は,多言語NLUタスクにおける新しい潜時翻訳モデルの評価を行った。 ゼロショットと数ショットの学習設定の両方で、平均2.7の精度ポイントのゲインを報告します。
  論文  参考訳（メタデータ） (2021-07-23T17:11:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。