論文の概要: Unlocking Multilingual Reasoning Capability of LLMs and LVLMs through Representation Engineering

• arxiv url: http://arxiv.org/abs/2511.23231v1
• Date: Fri, 28 Nov 2025 14:40:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-01 19:47:55.935451
• Title: Unlocking Multilingual Reasoning Capability of LLMs and LVLMs through Representation Engineering
• Title（参考訳）: 表現工学によるLLMとLVLMのアンロック多言語推論能力
• Authors: Qiming Li, Xiaocheng Feng, Yixuan Ma, Zekai Ye, Ruihan Chen, Xiachong Feng, Bing Qin,
• Abstract要約: MRRE(Representation Engineering)を用いた多言語推論機能向上のためのトレーニング不要推論時間法を提案する。 MRREは、低リソース言語(タイ語とスワヒリ語)で平均5.48%、7.54%の上昇により、英語以外の推論を継続的に強化する。
• 参考スコア（独自算出の注目度）: 44.596434537567916
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) and Large Vision-Language Models (LVLMs) demonstrate strong reasoning capabilities, yet their performance in English significantly outperforms that in low-resource languages, raising fairness concerns in multilingual applications. Existing approaches either rely on costly multilingual training or employ prompting with external translation tools, both of which are resource-intensive and sensitive to translation quality. To address these limitations, we propose a training-free inference-time method to enhance Multilingual Reasoning capabilities via Representation Engineering (MRRE) without using any additional training data or tools. MRRE sequentially injects two precomputed vectors at specific layers during inference processing: cross-lingual reasoning enhancement vectors, which steer non-English reasoning representations toward English space to unlock multilingual reasoning, and target-language output anchoring vectors, which restore the distribution of the target language to preserve input-output language consistency. Comprehensive experiments across six advanced LLMs and LVLMs on four reasoning benchmarks demonstrate that MRRE consistently enhances non-English reasoning by an average gain of 5.48% and up to 7.54% in low-resource languages (Thai and Swahili), while improving input-output language consistency by 3.78%.
• Abstract（参考訳）: LLM(Large Language Models)とLVLM(Large Vision-Language Models)は、強力な推論能力を示すが、低リソース言語では英語のパフォーマンスが著しく向上し、多言語アプリケーションにおける公平性への懸念が高まっている。 既存のアプローチは、コストのかかる多言語トレーニングに依存するか、外部翻訳ツールを使うよう促すかのいずれかで、どちらもリソース集約的で翻訳品質に敏感である。 これらの制約に対処するために,Representation Engineering (MRRE) による多言語推論機能を強化するためのトレーニングフリーな推論時手法を提案する。 MRREは、推論処理中に特定の層に2つの事前計算ベクターを順次注入する。多言語推論をアンロックするために英語空間に対して非英語推論表現を操るクロスランガル推論拡張ベクターと、ターゲット言語の分布を復元して入力出力言語一貫性を維持するターゲット言語出力アンカリングベクターである。 4つの推論ベンチマークによる6つの先進LLMとLVLMの総合的な実験により、MRREは平均5.48%、低リソース言語(タイ語とスワヒリ語)で7.54%まで、英語以外の推論を継続的に強化し、入力出力言語の一貫性は3.78%向上した。

関連論文リスト

• Code-Switching In-Context Learning for Cross-Lingual Transfer of Large Language Models [64.54005959758733]
  我々は,コードスイッチング・イン・コンテキスト・ラーニング(CSICL)を,推論中の翻訳障壁を克服するための原則的かつ堅牢なアプローチとして導入する。 4つのLLM、6つのデータセット、10の言語にわたる広範な実験を行い、知識集約型ドメインと推論指向ドメインの両方にまたがる。 その結果、CSICLはX-ICLベースラインを一貫して上回り、ターゲット言語と見当たらない言語の両方で3.1%pと1.9%pを達成した。
  論文  参考訳（メタデータ） (2025-10-07T08:35:42Z)
• When Less Language is More: Language-Reasoning Disentanglement Makes LLMs Better Multilingual Reasoners [111.50503126693444]
  言語固有のアブレーションは多言語推論性能を継続的に向上させることを示す。 トレーニング後のアブレーションと比較して、トレーニング不要のアブレーションは、計算オーバーヘッドを最小限に抑えながら、同等または優れた結果が得られる。
  論文  参考訳（メタデータ） (2025-05-21T08:35:05Z)
• PolyMath: Evaluating Mathematical Reasoning in Multilingual Contexts [85.78821098963607]
  PolyMathは18の言語と4つの難易度をカバーする多言語数学的推論ベンチマークである。 我々のベンチマークは、包括性、言語多様性、高品質な翻訳の難しさを保証する。
  論文  参考訳（メタデータ） (2025-04-25T15:39:04Z)
• EMCee: Improving Multilingual Capability of LLMs via Bridging Knowledge and Reasoning with Extracted Synthetic Multilingual Context [6.612630497074871]
  大規模言語モデル(LLM)は、広範囲のタスクで目覚ましい進歩を遂げました。 英語中心のトレーニングデータに大きく依存すると、非英語言語ではパフォーマンスが大幅に低下する。 本稿では,クエリ関連知識を明示的に抽出し,活用することにより,LLMの多言語機能を向上させるフレームワークであるEMCeeを提案する。
  論文  参考訳（メタデータ） (2025-03-07T06:05:34Z)
• MindMerger: Efficient Boosting LLM Reasoning in non-English Languages [26.334092384176518]
  推論能力は大規模言語モデル(LLM)にとって不可欠である 我々は,多言語モデルからLLMと外部言語理解機能を融合したMindMergerを提案する。 MindMergerは、特に低リソース言語において、すべてのベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2024-05-27T17:41:54Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。