論文の概要: Cross-lingual Self-Consistency for Multilingual Reasoning with Language Models
- arxiv url: http://arxiv.org/abs/2606.01464v1
- Date: Sun, 31 May 2026 21:48:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:29.717179
- Title: Cross-lingual Self-Consistency for Multilingual Reasoning with Language Models
- Title（参考訳）: 言語モデルを用いた多言語推論のための言語間自己整合性
- Abstract要約: 本稿では,多言語推論の強化を目的とした教師なし強化学習手法を提案する。
われわれのアプローチでは、金の回答も並列データも必要とせず、10言語にわたるMGSMの平均利得は21.7%に達する。
- 参考スコア（独自算出の注目度）: 30.437905209587356
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite expanding their multilingual coverage, the advanced reasoning capabilities of LLMs remain largely confined to a few high-resource languages like English. To address this, we propose an unsupervised Reinforcement Learning (RL) approach to enhance multilingual reasoning by enforcing cross-lingual self-consistency: the principle that a model should produce the same final answer for equivalent problems in different languages. Existing methods are limited by the scarcity of multilingual reasoning data and show weak generalization to unseen languages. Our approach requires neither gold answers nor parallel data, and it achieves average gains of up to 21.7% on MGSM across 10 languages. In addition, our method demonstrates strong generalization, with an 18.2% mean improvement on MGSM languages unseen during training, and up to 6.2% gain on 3 out-of-distribution benchmarks. These results show the potential of consistency-based methods to improve the multilingual capabilities of LLMs without requiring supervised data.
- Abstract（参考訳）: LLMの高度な推論能力は多言語でのカバー範囲を広げたものの、英語のようないくつかの高リソース言語に限られている。
そこで本研究では,言語間自己整合性を強制することによって多言語推論を強化するために,教師なし強化学習(RL)アプローチを提案する。
既存の手法は多言語推論データの不足によって制限され、未知の言語への弱い一般化を示す。
われわれのアプローチでは、金の回答も並列データも必要とせず、10言語にわたるMGSMの平均利得は21.7%に達する。
さらに,3つのアウト・オブ・ディストリビューション・ベンチマークで最大6.2%向上したMGSM言語を18.2%改善した。
これらの結果は、教師付きデータを必要としないLLMの多言語機能を改善するための一貫性に基づく手法の可能性を示している。
関連論文リスト
- Bridging Linguistic Gaps: Cross-Lingual Mapping in Pre-Training and Dataset for Enhanced Multilingual LLM Performance [30.9640918372872]
大規模言語モデル(LLM)は、高リソース言語と低リソース言語の間のデータ不均衡により、言語間タスクに苦しむ。
バイリンガル微調整やコントラストアライメントといった既存の手法は、言語間性能を向上させることができる。
事前学習期間中に言語間マッピングタスクを導入し,言語間アライメントを向上させることで,単言語間の流速を損なうことなく,言語間アライメントを向上させる。
論文 参考訳（メタデータ） (2026-04-12T11:43:25Z) - Aligning Multilingual Reasoning with Verifiable Semantics from a High-Resource Expert Model [13.788758077632432]
本稿では,セマンティック検証リワードを用いたPivot-based Reinforcement Learningを紹介する。
このフレームワークは、ターゲット言語における人間の注釈付きデータの必要性を回避し、多言語推論を強化する。
提案手法は,英語と他言語のパフォーマンスギャップを著しく狭めることを示す。
論文 参考訳（メタデータ） (2025-09-29T22:03:11Z) - A method for improving multilingual quality and diversity of instruction fine-tuning datasets [29.07537849245622]
マルチリンガルデータ品質・多様性(M-DaQ)を導入し,IFT(Multilingual Instruction Fine-Tuning)の改善を図る。
M-DaQは、高品質で意味的に多様な多言語IFTサンプルを選択することで、LLMの多言語性を改善する新しい方法である。
18言語にわたる実証的な結果から、M-DaQで微調整されたモデルでは、バニラベースラインの60%の勝利率よりも大きなパフォーマンス向上が達成されている。
論文 参考訳（メタデータ） (2025-09-19T03:07:59Z) - Seed-X: Building Strong Multilingual Translation LLM with 7B Parameters [53.59868121093848]
7Bパラメータサイズを持つオープンソースの言語モデル(LLM)のファミリーであるSeed-Xを紹介する。
ベースモデルは、28言語にわたるモノリンガルコンテンツとバイリンガルコンテンツの両方を含む、多種多様な高品質データセットで事前訓練されている。
その後、インストラクションモデルは、Chain-of-Thought(CoT)推論によって翻訳され、強化学習(RL)によりさらに強化され、多様な言語対をまたいだより良い一般化が達成される。
論文 参考訳（メタデータ） (2025-07-18T03:19:43Z) - Cross-Lingual Pitfalls: Automatic Probing Cross-Lingual Weakness of Multilingual Large Language Models [55.14276067678253]
本稿では,Large Language Models (LLMs) における言語間関係の弱点を効率的に同定するための新しい手法を提案する。
この手法を用いて16言語で6,000以上のバイリンガルペアからなる新しいデータセットを構築し、最先端のモデルにおいても弱点を明らかにする効果を実証した。
さらに,言語的類似性と言語間の弱点との関係について検討し,言語的関連言語が類似した演奏パターンを共有することを明らかにした。
論文 参考訳（メタデータ） (2025-05-24T12:31:27Z) - Cross-Lingual Consistency: A Novel Inference Framework for Advancing Reasoning in Large Language Models [10.231866835957538]
大型言語モデル(LLM)における推論能力を高める重要なメカニズムとして、Chain-of-Thought(CoT)が登場した。
LLMの推論能力を高めるために,多数決による多言語推論経路を統合した言語間整合性(CLC)フレームワークを提案する。
CMATHデータセットの実証評価により、従来の自己整合性法よりもCLCの方が優れていることが明らかになった。
論文 参考訳（メタデータ） (2025-04-02T16:09:39Z) - MMLU-ProX: A Multilingual Benchmark for Advanced Large Language Model Evaluation [86.7047714187813]
MMLU-ProXは29の言語をカバーするベンチマークであり、英語のベンチマーク上に構築されている。
それぞれの言語バージョンは11,829の同一の質問で構成されており、直接言語間比較を可能にする。
効率的な評価ニーズを満たすため,言語毎の質問数は658件である。
論文 参考訳（メタデータ） (2025-03-13T15:59:20Z) - Demystifying Multilingual Chain-of-Thought in Process Reward Modeling [86.98098988779809]
プロセス報酬モデル(PRM)を多言語設定に拡張するという課題に対処する。
我々は、7つの言語にまたがるデータセット上で多言語PRMを訓練し、それを英語から翻訳する。
本結果は,学習言語数と英語データ量の両方に対する多言語PRMの感度を強調した。
論文 参考訳（メタデータ） (2025-02-18T09:11:44Z) - SLAM: Towards Efficient Multilingual Reasoning via Selective Language Alignment [78.4550589538805]
本稿では,多言語性を扱うレイヤを正確に識別し,微調整する,効率的な多言語推論アライメント手法を提案する。
実験の結果, SLAM法は7Bおよび13BLLMのパラメータの6.5-8%を含む6層のフィードフォワードサブ層のみをチューニングできることがわかった。
論文 参考訳（メタデータ） (2025-01-07T10:29:43Z) - Language Imbalance Driven Rewarding for Multilingual Self-improving [35.1576728251478]
大規模言語モデル(LLM)は多くのタスクで最先端のパフォーマンスを達成した。
この不均衡は、より広範なアプリケーションを制限する一方で、言語間の自然な選好ランキングを生成する。
本稿では,優越型言語と非優越型言語との固有不均衡を報酬信号として活用する,$textitLanguage Im Balance Driven Rewardingを提案する。
論文 参考訳（メタデータ） (2024-10-11T16:32:05Z) - Breaking Language Barriers in Multilingual Mathematical Reasoning: Insights and Observations [59.056367787688146]
本稿では, マルチリンガル数学推論 (xMR) LLM の探索と学習の先駆者である。
我々は10の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
翻訳を利用して、10個の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
論文 参考訳（メタデータ） (2023-10-31T08:09:20Z) - PolyLM: An Open Source Polyglot Large Language Model [57.64420154135178]
我々は6400億(B)トークンでトレーニングされた多言語大言語モデル(LLM)であるPolyLMについて述べる。
その多言語的能力を高めるために,1) バイリンガルデータをトレーニングデータに統合し,2) 事前学習中に英語以外のデータの比率を30%から60%に引き上げるカリキュラム学習戦略を採用する。
さらに,モデル微調整のために,132.7Kの多言語命令を自動的に生成する多言語自己指示手法を提案する。
論文 参考訳（メタデータ） (2023-07-12T09:00:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。