論文の概要: Paths Not Taken: Understanding and Mending the Multilingual Factual Recall Pipeline

• arxiv url: http://arxiv.org/abs/2505.20546v1
• Date: Mon, 26 May 2025 22:20:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.305674
• Title: Paths Not Taken: Understanding and Mending the Multilingual Factual Recall Pipeline
• Title（参考訳）: パスを取らない:多言語 Factual Recall Pipeline の理解と修正
• Authors: Meng Lu, Ruochen Zhang, Ellie Pavlick, Carsten Eickhoff,
• Abstract要約: その結果,多言語大言語モデル (LLM) は,他の言語に比べて,実際のリコールタスクにおいて有意に優れた性能を示すことがわかった。 事実的リコールのための信頼性の高い英語中心のメカニズムの関与が不十分なことと、ターゲット言語への英語からの誤った翻訳である。 我々の介入によって、最低パフォーマンス言語では、リコール精度が35%以上向上しました。
• 参考スコア（独自算出の注目度）: 36.2731426595852
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multilingual large language models (LLMs) often exhibit factual inconsistencies across languages, with significantly better performance in factual recall tasks in English than in other languages. The causes of these failures, however, remain poorly understood. Using mechanistic analysis techniques, we uncover the underlying pipeline that LLMs employ, which involves using the English-centric factual recall mechanism to process multilingual queries and then translating English answers back into the target language. We identify two primary sources of error: insufficient engagement of the reliable English-centric mechanism for factual recall, and incorrect translation from English back into the target language for the final answer. To address these vulnerabilities, we introduce two vector interventions, both independent of languages and datasets, to redirect the model toward better internal paths for higher factual consistency. Our interventions combined increase the recall accuracy by over 35 percent for the lowest-performing language. Our findings demonstrate how mechanistic insights can be used to unlock latent multilingual capabilities in LLMs.
• Abstract（参考訳）: 多言語大言語モデル(LLM)は、言語間での現実的不整合を示すことが多く、他の言語よりも英語での事実的リコールタスクのパフォーマンスが大幅に向上する。 しかし、これらの失敗の原因はよく分かっていない。 メカニスティック解析技術を用いて、LLMが採用する基盤となるパイプラインを明らかにする。これは、多言語クエリの処理に英語中心のファクトリコール機構を使用して、英語の回答を対象言語に翻訳するものである。 事実的リコールのための信頼性の高い英語中心のメカニズムの関与が不十分なことと、最終回答のために英語からターゲット言語への誤った翻訳である。 これらの脆弱性に対処するため、言語とデータセットに依存しない2つのベクトル介入を導入し、より高い事実整合性を実現するために、モデルをより優れた内部パスにリダイレクトする。 我々の介入によって、最低パフォーマンス言語では、リコール精度が35%以上向上しました。 本研究は,LLMにおける潜時多言語機能に対する機械的洞察の活用を実証するものである。

関連論文リスト

• Cross-Lingual Pitfalls: Automatic Probing Cross-Lingual Weakness of Multilingual Large Language Models [55.14276067678253]
  本稿では,Large Language Models (LLMs) における言語間関係の弱点を効率的に同定するための新しい手法を提案する。 この手法を用いて16言語で6,000以上のバイリンガルペアからなる新しいデータセットを構築し、最先端のモデルにおいても弱点を明らかにする効果を実証した。 さらに,言語的類似性と言語間の弱点との関係について検討し,言語的関連言語が類似した演奏パターンを共有することを明らかにした。
  論文  参考訳（メタデータ） (2025-05-24T12:31:27Z)
• Lost in Multilinguality: Dissecting Cross-lingual Factual Inconsistency in Transformer Language Models [49.16690802656554]
  複数の言語で意味論的に等価なプロンプトに対して一貫した応答を提供するのに、多言語の事実モデルでは苦労していることがわかった。 最終層での計算をバイパスし,予測精度と言語間の整合性を向上する線形ショートカット手法を提案する。
  論文  参考訳（メタデータ） (2025-04-05T19:43:10Z)
• How Do Multilingual Language Models Remember Facts? [50.13632788453612]
  これまでに同定された英語のリコール機構が多言語文脈に適用可能であることを示す。 我々は、リコール中の言語の役割をローカライズし、エンリッチメントが言語に依存しないことを発見した。 デコーダのみのLLMでは、FVは2つの異なる段階でこれらの2つの情報を構成する。
  論文  参考訳（メタデータ） (2024-10-18T11:39:34Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか? 本研究は,言語横断的タスクにおける最先端LLMの評価である。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Eliciting Better Multilingual Structured Reasoning from LLMs through Code [17.870002864331322]
  我々は6言語にまたがる4つのタスクを網羅する,xSTREETと呼ばれる多言語構造推論と説明データセットを提案する。 xSTREETは、英語と非英語の推論タスクの基本的なLLMパフォーマンスのギャップを露呈する。 このギャップを緩和する2つの方法を提案する。
  論文  参考訳（メタデータ） (2024-03-05T00:48:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。