論文の概要: Cross-Lingual Consistency: A Novel Inference Framework for Advancing Reasoning in Large Language Models

• arxiv url: http://arxiv.org/abs/2504.01857v1
• Date: Wed, 02 Apr 2025 16:09:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:24:57.919840
• Title: Cross-Lingual Consistency: A Novel Inference Framework for Advancing Reasoning in Large Language Models
• Title（参考訳）: 言語間整合性:大規模言語モデルにおける推論改善のための新しい推論フレームワーク
• Authors: Zhiwei Yu, Tuo Li, Changhong Wang, Hui Chen, Lang Zhou,
• Abstract要約: 大型言語モデル(LLM)における推論能力を高める重要なメカニズムとして、Chain-of-Thought(CoT)が登場した。 LLMの推論能力を高めるために,多数決による多言語推論経路を統合した言語間整合性(CLC)フレームワークを提案する。 CMATHデータセットの実証評価により、従来の自己整合性法よりもCLCの方が優れていることが明らかになった。
• 参考スコア（独自算出の注目度）: 10.231866835957538
• License:
• Abstract: Chain-of-thought (CoT) has emerged as a critical mechanism for enhancing reasoning capabilities in large language models (LLMs), with self-consistency demonstrating notable promise in boosting performance. However, inherent linguistic biases in multilingual training corpora frequently cause semantic drift and logical inconsistencies, especially in sub-10B parameter LLMs handling complex inference tasks. To overcome these constraints, we propose the Cross-Lingual Consistency (CLC) framework, an innovative inference paradigm that integrates multilingual reasoning paths through majority voting to elevate LLMs' reasoning capabilities. Empirical evaluations on the CMATH dataset reveal CLC's superiority over the conventional self-consistency method, delivering 9.5%, 6.5%, and 6.0% absolute accuracy gains for DeepSeek-Math-7B-Instruct, Qwen2.5-Math-7B-Instruct, and Gemma2-9B-Instruct respectively. Expanding CLC's linguistic scope to 11 diverse languages implies two synergistic benefits: 1) neutralizing linguistic biases in multilingual training corpora through multilingual ensemble voting, 2) escaping monolingual reasoning traps by exploring the broader multilingual solution space. This dual benefits empirically enables more globally optimal reasoning paths compared to monolingual self-consistency baselines, as evidenced by the 4.1%-18.5% accuracy gains using Gemma2-9B-Instruct on the MGSM dataset.
• Abstract（参考訳）: CoT(Chain-of-Thought)は、大規模言語モデル(LLM)における推論能力を高める重要なメカニズムとして現れており、自己整合性はパフォーマンス向上に顕著な可能性を示している。 しかし、多言語学習コーパスにおける固有の言語バイアスは、特に複雑な推論タスクを扱うサブ10BパラメータLLMにおいて、意味的ドリフトと論理的不整合を引き起こすことが多い。 これらの制約を克服するために,多言語推論を多数決によって統合し,LLMの推論能力を向上する,革新的な推論パラダイムであるCLC(Cross-Lingual Consistency)フレームワークを提案する。 CMATHデータセットの実証評価では、DeepSeek-Math-7B-Instruct、Qwen2.5-Math-7B-Instruct、Gemma2-9B-Instructそれぞれ9.5%、6.5%、および6.0%の絶対精度ゲインを提供する従来の自己整合性手法よりもCLCの方が優れていることが示された。 CLCの言語範囲を11の多言語に拡大すると、2つの相乗効果が示される。 1)多言語学習コーパスにおける言語バイアスを多言語アンサンブル投票により中和すること。 2) より広い多言語解空間を探索することにより, 単言語推論トラップを脱却する。 この二重利益は、MGSMデータセットのGemma2-9B-Instructを使って4.1%-18.5%の精度向上によって証明されたように、モノリンガルな自己整合性のベースラインと比較して、より大域的な推論パスを可能にする。

関連論文リスト

• Demystifying Multilingual Chain-of-Thought in Process Reward Modeling [71.12193680015622]
  プロセス報酬モデル(PRM)を多言語設定に拡張するという課題に対処する。 我々は、7つの言語にまたがるデータセット上で多言語PRMを訓練し、それを英語から翻訳する。 本結果は,学習言語数と英語データ量の両方に対する多言語PRMの感度を強調した。
  論文  参考訳（メタデータ） (2025-02-18T09:11:44Z)
• Balanced Multi-Factor In-Context Learning for Multilingual Large Language Models [53.38288894305388]
  MLLM(Multilingual Large Language Model)は,言語間知識伝達をパラメータ更新なしで活用することにより,文脈内学習(ICL)を活用して高い性能を実現する。 1) 意味的類似性,(2) 言語的アライメント,(3) 言語固有のパフォーマンスの3つの要因が多言語ICLに影響を与える。 我々は,これらの因子を定量化し,最適にバランスをとる手法として,バランスの取れた多要素ICL(textbfBMF-ICL)を提案する。
  論文  参考訳（メタデータ） (2025-02-17T06:56:33Z)
• AdaCoT: Rethinking Cross-Lingual Factual Reasoning through Adaptive Chain-of-Thought [19.692743208974296]
  我々は多言語推論を強化するフレームワークであるAdaCoT(Adaptive Chain-of-Thought)を紹介する。 AdaCoTは、ターゲット言語応答を生成する前に、中間的な"思考言語"を通して思考プロセスを動的にルーティングする。
  論文  参考訳（メタデータ） (2025-01-27T15:48:57Z)
• SLAM: Towards Efficient Multilingual Reasoning via Selective Language Alignment [78.4550589538805]
  本稿では,多言語性を扱うレイヤを正確に識別し,微調整する,効率的な多言語推論アライメント手法を提案する。 実験の結果, SLAM法は7Bおよび13BLLMのパラメータの6.5-8%を含む6層のフィードフォワードサブ層のみをチューニングできることがわかった。
  論文  参考訳（メタデータ） (2025-01-07T10:29:43Z)
• Language Imbalance Driven Rewarding for Multilingual Self-improving [35.1576728251478]
  大規模言語モデル(LLM)は多くのタスクで最先端のパフォーマンスを達成した。 この不均衡は、より広範なアプリケーションを制限する一方で、言語間の自然な選好ランキングを生成する。 本稿では,優越型言語と非優越型言語との固有不均衡を報酬信号として活用する,$textitLanguage Im Balance Driven Rewardingを提案する。
  論文  参考訳（メタデータ） (2024-10-11T16:32:05Z)
• Evaluating Knowledge-based Cross-lingual Inconsistency in Large Language Models [16.942897938964638]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示している。 彼らの成功にもかかわらず、これらのモデルはしばしば異なる言語で同じ概念を処理する際に大きな矛盾を示す。 本研究は,LLMにおける言語間不整合の存在,これらの不整合が現れる特定の側面,LLMの言語間整合性と多言語機能との相関の3つの主要な疑問に焦点をあてる。
  論文  参考訳（メタデータ） (2024-07-01T15:11:37Z)
• The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights [108.40766216456413]
  大規模言語モデルの英語と非英語のパフォーマンスのギャップを埋めるための質問アライメントフレームワークを提案する。 実験結果から、さまざまな推論シナリオ、モデルファミリー、サイズにわたって、多言語のパフォーマンスを向上できることが示された。 我々は、表現空間、生成された応答とデータスケールを分析し、質問翻訳訓練がLLM内の言語アライメントをどのように強化するかを明らかにする。
  論文  参考訳（メタデータ） (2024-05-02T14:49:50Z)
• MAPO: Advancing Multilingual Reasoning through Multilingual Alignment-as-Preference Optimization [65.31411639849516]
  本稿では,他言語の推論過程を支配言語と整合させるために,MAPO(Multilingual-Alignment-as-Preference Optimization)フレームワークを提案する。 具体的には,非支配言語と支配言語における回答の整合性について,既成の翻訳モデルを用いて検討する。 実験により、MAPOは様々なモデルの多言語推論において、安定して大幅な改善を達成できることが示された。
  論文  参考訳（メタデータ） (2024-01-12T18:03:54Z)
• Breaking Language Barriers in Multilingual Mathematical Reasoning: Insights and Observations [59.056367787688146]
  本稿では, マルチリンガル数学推論 (xMR) LLM の探索と学習の先駆者である。 我々は10の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。 翻訳を利用して、10個の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
  論文  参考訳（メタデータ） (2023-10-31T08:09:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。