論文の概要: Lost in Multilinguality: Dissecting Cross-lingual Factual Inconsistency in Transformer Language Models

• arxiv url: http://arxiv.org/abs/2504.04264v1
• Date: Sat, 05 Apr 2025 19:43:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:12:43.761362
• Title: Lost in Multilinguality: Dissecting Cross-lingual Factual Inconsistency in Transformer Language Models
• Title（参考訳）: 多言語性における損失:トランスフォーマー言語モデルにおける言語間相違の解消
• Authors: Mingyang Wang, Heike Adel, Lukas Lange, Yihong Liu, Ercong Nie, Jannik Strötgen, Hinrich Schütze,
• Abstract要約: 複数の言語で意味論的に等価なプロンプトに対して一貫した応答を提供するのに、多言語の事実モデルでは苦労していることがわかった。 最終層での計算をバイパスし,予測精度と言語間の整合性を向上する線形ショートカット手法を提案する。
• 参考スコア（独自算出の注目度）: 49.16690802656554
• License:
• Abstract: Multilingual language models (MLMs) store factual knowledge across languages but often struggle to provide consistent responses to semantically equivalent prompts in different languages. While previous studies point out this cross-lingual inconsistency issue, the underlying causes remain unexplored. In this work, we use mechanistic interpretability methods to investigate cross-lingual inconsistencies in MLMs. We find that MLMs encode knowledge in a language-independent concept space through most layers, and only transition to language-specific spaces in the final layers. Failures during the language transition often result in incorrect predictions in the target language, even when the answers are correct in other languages. To mitigate this inconsistency issue, we propose a linear shortcut method that bypasses computations in the final layers, enhancing both prediction accuracy and cross-lingual consistency. Our findings shed light on the internal mechanisms of MLMs and provide a lightweight, effective strategy for producing more consistent factual outputs.
• Abstract（参考訳）: MLM(Multilingual Language Model)は、言語にまたがる事実知識を格納するが、異なる言語で意味論的に等価なプロンプトに対して一貫した応答を提供するのに苦慮することが多い。 これまでの研究では、言語間不整合の問題が指摘されていたが、根本原因は未解明のままである。 本研究では,MLMにおける言語間不整合を解析するために,機械的解釈可能性法を用いる。 MLMは言語に依存しない概念空間の知識をほとんどの層を通してエンコードし、最終層における言語固有の空間にのみ移行する。 言語移行時の失敗は、たとえ他の言語で答えが正しいとしても、ターゲット言語で誤った予測をもたらすことが多い。 この不整合を緩和するため、最終層での計算を回避し、予測精度と言語間整合性を向上する線形ショートカット法を提案する。 本研究は,MLMの内部機構に光を当て,より一貫した事実出力を生成するための軽量で効果的な戦略を提供するものである。

関連論文リスト

• How Do Multilingual Language Models Remember Facts? [50.13632788453612]
  これまでに同定された英語のリコール機構が多言語文脈に適用可能であることを示す。 我々は、リコール中の言語の役割をローカライズし、エンリッチメントが言語に依存しないことを発見した。 デコーダのみのLLMでは、FVは2つの異なる段階でこれらの2つの情報を構成する。
  論文  参考訳（メタデータ） (2024-10-18T11:39:34Z)
• NatLan: Native Language Prompting Facilitates Knowledge Elicitation Through Language Trigger Provision and Domain Trigger Retention [4.051397588437236]
  我々はMLLMの主流言語を人間の母国語に類似させ、2つの認知的特徴を用いて翻訳・翻訳・解答法を解釈する。 我々は、マルチMLLMコラボレーション戦略を採用し、新たなロール強化ドメイン固有MLLMを導入するNative Language Prompting(NatLan)を提案する。
  論文  参考訳（メタデータ） (2024-08-07T04:49:38Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか? 本研究は,言語横断的タスクにおける最先端LLMの評価である。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Discovering Low-rank Subspaces for Language-agnostic Multilingual Representations [38.56175462620892]
  ML-LM(ML-LM)は,ゼロショット言語間移動の顕著な能力を示す。 多言語埋め込み空間から言語固有の要素を投影する新しい視点を提案する。 本手法を適用すれば,ML-LMよりも一貫した改善が期待できることを示す。
  論文  参考訳（メタデータ） (2024-01-11T09:54:11Z)
• Cross-Lingual Knowledge Editing in Large Language Models [73.12622532088564]
  知識編集は、スクラッチから再学習することなく、大きな言語モデルを新しい知識に適応させることが示されている。 ソース言語編集が別のターゲット言語に与える影響は、いまだ不明である。 まず、ZsREを英語から中国語に翻訳することで、大規模な言語間合成データセットを収集する。
  論文  参考訳（メタデータ） (2023-09-16T11:07:52Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。