論文の概要: Beyond Uncertainty: Multi-Solver Disagreement Rewards for Self-Evolving Reasoning Curricula

• arxiv url: http://arxiv.org/abs/2608.30035v1
• Date: Sun, 30 Aug 2026 20:49:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.161261
• Title: Beyond Uncertainty: Multi-Solver Disagreement Rewards for Self-Evolving Reasoning Curricula
• Title（参考訳）: 不確実性を超えて: 自己進化型推論カリキュラムのためのマルチソリバー・デアグリーメント・リワード
• Abstract要約: 自己進化的推論フレームワークは、チャレンジャーに、解決者の弱点を明らかにする質問を生成するように訓練する。 既存のアプローチでは、チャレンジャーの報酬として1つのソルバのサンプリングの不確実性を用いる。 モデル容量とサンプリング温度に異なる異種アンサンブルを用いたマルチソルバ不一致報酬を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-evolving reasoning frameworks train a Challenger to generate questions exposing a Solver's weaknesses, creating adaptive curricula without human data. However, existing approaches use a single solver's sampling uncertainty as the Challenger's reward. This creates a fundamental bottleneck: as the solver grows confident on the Challenger's question distribution, all sampled answers converge identically, collapsing the reward to zero and starving the Challenger of learning signal. Critically, this single-model reward cannot distinguish genuinely easy questions from those that merely align with one solver's learned biases. We propose a multi-solver disagreement reward using a heterogeneous ensemble varying in model capacity and sampling temperature. A normalized Shannon entropy over the ensemble's per-question plurality answers explicitly rewards questions where solvers produce conflicting solutions---capturing difficulty as inter-model divergence rather than intra-model sampling variance. This richer gradient enables the Challenger to discover questions targeting true capability boundaries, producing a curriculum that forces downstream Solvers to develop robust reasoning strategies generalizing across problem types. Our approach is a drop-in reward function replacement requiring no framework modifications or additional data. Experiments with Qwen3-4B show that Solvers trained on disagreement-Challenger questions achieve +1.34 points average improvement on competition-math benchmarks (MATH-500, AMC, Olympiad), suggesting that multi-solver disagreement provides a complementary and scalable signal for curriculum generation in self-play reasoning systems.
• Abstract（参考訳）: 自己進化的推論フレームワークは、チャレンジャーにソルバーの弱点を暴露する質問を生成し、人間のデータなしで適応的なカリキュラムを作成するように訓練する。 しかし、既存の手法では、チャレンジャーの報酬として1つの解法のサンプリングの不確実性を用いる。 解法がチャレンジャーの質問分布に自信を抱くにつれて、すべてのサンプル回答が同じ収束し、0への報酬が崩壊し、チャレンジャーの学習信号が飢えてしまう。 批判的に言えば、このシングルモデル報酬は、ある解法が学習したバイアスと単に一致した問題と真に簡単な質問を区別することはできない。 モデル容量とサンプリング温度に異なる異種アンサンブルを用いたマルチソルバ不一致報酬を提案する。 アンサンブル毎の複数の問合せに対する正規化シャノンエントロピーは、解法が矛盾する解を生み出すような疑問に明示的に答える。 このよりリッチな勾配により、チャレンジャーは真の能力境界をターゲットにした質問を見つけ、下流のソルバーに問題タイプをまたいで一般化する堅牢な推論戦略を開発するよう強制するカリキュラムを作成できる。 私たちのアプローチは、フレームワークの変更や追加データを必要としない、ドロップイン報酬関数の置き換えです。 Qwen3-4Bでの実験では、Solversが不一致の問題を訓練し、競合マスベンチマーク(MATH-500、AMC、Olympiad)の平均的な改善を+1.34ポイント達成し、マルチソルバの不一致は、セルフプレイ推論システムにおけるカリキュラム生成のための補完的かつスケーラブルな信号を提供することを示している。

関連論文リスト

• Consensus as Privileged Context for Label-Free Self-Distillation [12.523025093871304]
  CANON(Consensus-Anchored Self-distillation)は、コンセンサスを密集したトークンレベルの監視に転換するラベルフリーのトレーニング手法である。 CanONはpass@1を最大12ポイント改善し、ラベルなしの強化学習を計算の7分の1で6ポイント上回る。
  論文  参考訳（メタデータ） (2026-07-15T09:39:32Z)
• R-Diverse: Mitigating Diversity Illusion in Self-Play LLM Training [65.13759782915164]
  反復的なチャレンジャーブートストラップループによる自己再生LDM推論。 R-Diverseは、より多くのイテレーション以上のゲインを持続し、常に以前のセルフプレイメソッドより優れています。
  論文  参考訳（メタデータ） (2026-02-13T17:07:42Z)
• Learning the Boundary of Solvability: Aligning LLMs to Detect Unsolvable Problems [51.62477754641947]
  本研究では,実現可能な問題を解き,固有の矛盾を検知し,能力を超えたタスクを慎重に拒否するUnsolvableQAとUnsolvableRLを提案する。 具体的には、双トラック手法を用いて導出される、ペアで解決可能かつ解決不可能なインスタンスのデータセットであるUnsolvableQAを構築する。 このデータセット上に構築されたUnsolvableRLは,精度,未解決性,難易度を考慮した3つの報酬成分を備えた強化学習フレームワークである。
  論文  参考訳（メタデータ） (2025-12-01T13:32:59Z)
• Answer-Consistent Chain-of-thought Reinforcement Learning For Multi-modal Large Langauge Models [33.398631680508814]
  本稿では,GRPOアルゴリズムを補助的整合性チェックで修正するAnswer-Consistent Reinforcement Learningを提案する。 我々は、オリジナルとポストシャッフルの両方の回答が一致して正しい場合にのみ高い報酬を与える一貫性検証報酬を設計する。 我々は、ACREを挑戦的なビデオ推論ベンチマークとマルチモーダル数学推論ベンチマークで評価し、平均2.2%と1.5%の改善を達成した。
  論文  参考訳（メタデータ） (2025-10-11T08:32:52Z)
• Boosting Process-Correct CoT Reasoning by Modeling Solvability of Multiple-Choice QA [10.122669382758122]
  モデルに対して質問が効果的に解決できない場合、思考の急激な連鎖(CoT)が出現しがちであることを示す。 結果監督型報酬モデルと強化学習をグループ相対的優位性で適用し,その目的に可解性を取り入れた。 本結果は,CoT推論における幻覚の低減と信頼性向上の鍵要因として可溶性を強調した。
  論文  参考訳（メタデータ） (2025-09-30T08:34:16Z)
• The Majority is not always right: RL training for solution aggregation [53.1050856072799]
  我々はアグリゲータモデルをトレーニングし、最終的な正解をレビューし、精査し、合成する。 重要な要素は、簡単なトレーニング例と厳しいトレーニング例のバランスを取ることだ。 我々の手法であるAggLMは、強いルールベースと報酬モデルベースラインの両方を上回ります。
  論文  参考訳（メタデータ） (2025-09-08T16:39:38Z)
• UQ: Assessing Language Models on Unsolved Questions [149.46593270027697]
  当社では,Stack Exchangeから提供された500の難解で多様な質問を対象としたテストベッドであるUQを紹介します。 未解決の質問は、人間が答えを求めるときにしばしば難しく自然に発生する。 上位モデルは15%の質問でUQ検証をパスし、予備的な人間の検証はすでに正しい答えを同定している。
  論文  参考訳（メタデータ） (2025-08-25T01:07:59Z)
• Self-Questioning Language Models [58.73276539661649]
  本稿では,提案者がトピックを与えられ,解答者に対する質問を生成する非対称なセルフプレイフレームワークを提案する。 提案者と解答者はともに強化学習を通じて訓練される。 3桁の乗算、OMEGAベンチマークの代数問題、Codeforcesのプログラミング問題である。
  論文  参考訳（メタデータ） (2025-08-05T17:51:33Z)
• A Mutual Information Maximization Approach for the Spurious Solution Problem in Weakly Supervised Question Answering [60.768146126094955]
  弱々しい教師付き質問応答は通常、最終的な答えのみを監督信号として持つ。 偶然に正解を導出する刺激的な解が多数存在するかもしれないが、そのような解の訓練はモデルの性能を損なう可能性がある。 本稿では,質問応答対と予測解間の相互情報の最大化により,このような意味的相関を明示的に活用することを提案する。
  論文  参考訳（メタデータ） (2021-06-14T05:47:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。