論文の概要: MADA-RL: Multi-Agent Debate-Aware Reinforcement Learning for Parameter-Efficient Reasoning in Compact Models
- arxiv url: http://arxiv.org/abs/2607.18006v1
- Date: Mon, 20 Jul 2026 14:38:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.662044
- Title: MADA-RL: Multi-Agent Debate-Aware Reinforcement Learning for Parameter-Efficient Reasoning in Compact Models
- Title（参考訳）: MADA-RL:コンパクトモデルにおけるパラメータ効率向上のためのマルチエージェントな議論型強化学習
- Abstract要約: 本稿では,コンパクトなモデルをジェネレータや批評家に特化させるポストトレーニングフレームワークであるMADA-RLを紹介する。
我々の中心的な貢献は、批評家の利点を再定義する反事実的批評家のアドバンテージであり、その報酬は発電機のアンサンブル当たりの精度を抑えるものである。
- 参考スコア（独自算出の注目度）: 31.136687654577475
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models achieve strong reasoning performance, but often at prohibitive training cost - a challenge that is especially acute for compact models ($\leq 4 \, \mathrm{B}$ parameters) trained under limited budgets. We introduce MADA-RL, a post-training framework that specializes compact models into generator and critic roles and trains them with a debate-aware learning signal, fine-tuning only a small subset of parameters via LoRA adapters. Our central contribution is a counterfactual critic advantage: a dynamic, role-conditioned baseline that redefines the critic's advantage as its reward minus the generator ensemble's per-instance accuracy. This explicitly optimizes critics to improve over generator consensus rather than to merely reproduce a correct answer, yielding more targeted credit assignment than static mean-reward normalization. At deployment, the specialized agents are composed in a lightweight multi-round protocol. Across five mathematical reasoning benchmarks, MADA-RL raises the accuracy of the DeepSeek-R1-Distill-Qwen-1.5B model from $39.9 \, \%$ to $41.9 \, \%$ ($+2.0$ points, $p < 0.001$) using $16$ times fewer trainable parameters than fully fine-tuned baselines, placing it on the accuracy-trainable-parameter Pareto front. It approaches, but does not surpass, the strongest baselines (DeepScaleR, STILL-3), which are trained on substantially larger datasets; we analyse this gap and the associated inference-time cost directly. A controlled study isolates the source of MADA-RL's gains: the counterfactual advantage produces the highest critic improvement rate of any model evaluated, indicating that trained critics learn to correct generator errors rather than to imitate them.
- Abstract（参考訳）: 大規模な言語モデルは、強い推論性能を達成するが、しばしば禁止的なトレーニングコスト - 特にコンパクトモデル(\leq 4 \, \mathrm{B}$パラメータ)では、限られた予算でトレーニングされる場合の課題である。
我々は,コンパクトなモデルをジェネレータや批評家の役割に特化するポストトレーニングフレームワークであるMADA-RLを紹介する。
我々の中心的な貢献は、反事実的批評家の優位性である: 動的でロール条件のベースラインは、批評家の利点を再定義し、その報酬は、ジェネレータ毎のアンサンブルの精度を低下させる。
これは、単に正しい回答を単に再現するのではなく、ジェネレータのコンセンサスよりも改善するよう批評家を明示的に最適化し、静的平均逆正規化よりもよりターゲットのクレジット代入をもたらす。
デプロイ時には、特殊エージェントは軽量なマルチラウンドプロトコルで構成される。
5つの数学的推論ベンチマークで、MADA-RLはDeepSeek-R1-Distill-Qwen-1.5Bモデルの精度を$39.9 \, \%$から$11.9 \, \%$$$+2.0$ points, $p < 0.001$) に引き上げる。
かなり大きなデータセットでトレーニングされている最強のベースライン(DeepScaleR, STILL-3)にアプローチするが、それを超えることはない。
制御された研究では、MADA-RLの利益の源泉を分離している: 反実的な優位性は、評価されたモデルに対して最も高い批判的改善率を生み出し、訓練された批評家がそれらを模倣するよりも、ジェネレータエラーの修正を学ぶことを示唆している。
関連論文リスト
- Reward Granularity in RLVR: Comparing Process and Outcome Reward Structures for Mathematical Reasoning in Small Language Models [0.0]
Reinforcement Learning with Verifiable Rewards (RLVR) は、言語モデルにおける数学的推論を改善するための有望なパラダイムとして登場した。
我々は,GSM8K上でQwen2.5-0.5B微調整を施した5つの報酬条件をGRPO(Group Relative Policy Optimization)と体系的に比較した。
以上の結果から,RLVRにおける報酬導出は1次設計決定であり,プロセスレベルの監督は小言語モデルにおける精度とトレース忠実性の両方を大幅に改善することを示した。
論文 参考訳（メタデータ） (2026-07-03T02:16:06Z) - A Regret Minimization Framework on Preference Learning in Large Language Models [33.19510618137341]
検証可能な報酬による強化学習は、タスク固有の検証に頼って推論集約的なタスクの進行を可能にした。
多くの現実的な言語タスクは信頼性の高い検証器を装備することは困難であり、人間のフィードバックからの強化学習への依存度が高まっている。
本稿では、RegretベースのPreference Optimization $(textbfRePO)$を紹介します。
論文 参考訳（メタデータ） (2026-06-08T07:18:44Z) - RationalRewards: Reasoning Rewards Scale Visual Generation Both Training and Test Time [51.256131853751754]
本研究では,多次元的批判を明示的に生成するために報酬モデルを教えることで,受動的評価器から能動的最適化ツールへ変換することを示す。
提案手法では, 嗜好データから高品質な論理を復元する原理的フレームワークであるpreference-Anchored Rationalization (PARROT) を導入する。
その結果、RationalRewards (8B) は、オープンソース報酬モデル間の最先端の好み予測を実現する。
論文 参考訳（メタデータ） (2026-04-13T15:38:09Z) - $V_{0.5}$: Generalist Value Model as a Prior for Sparse RL Rollouts [81.48669089692189]
一般値モデル(例えば$V_0.5$)は、コンテキスト内のモデル機能を明示的にエンコードすることで、事前訓練された値推定を実現する。
本稿では,このような値モデルにより予測されるベースラインと,スパースロールアウトから導出される経験的平均とを適応的に融合する$V_0.5$を提案する。
V_0.5$はGRPOとDAPOを大きく上回り、より高速な収束と約10%のパフォーマンス向上を実現している。
論文 参考訳（メタデータ） (2026-03-11T14:57:41Z) - CDRRM: Contrast-Driven Rubric Generation for Reliable and Interpretable Reward Modeling [61.75914342638658]
CDRRM(Contrast-Driven Reward Model)は、高品質なルーリック生成と優先判断のためのフレームワークである。
この作業は、報酬モデリングのためのスケーラブルで解釈可能で、データ効率のよいパスを提供する。
論文 参考訳（メタデータ） (2026-03-09T07:15:23Z) - Tiny-Critic RAG: Empowering Agentic Fallback with Parameter-Efficient Small Language Models [7.704706624419061]
Retrieval-Augmented Generations Grounds Large Language Models (LLMs) は、事実の幻覚を緩和する。
低ランク適応(LoRA)を用いたパラメータ効率小言語モデル(SLM)Tiny-Critic RAGを提案する。
Tiny-Critic RAGはGPT-4o-miniに匹敵するルーティング精度を達成し、レイテンシを桁違いに低減する。
論文 参考訳（メタデータ） (2026-03-01T00:16:31Z) - One Model to Critique Them All: Rewarding Agentic Tool-Use via Efficient Reasoning [54.580646706013965]
リワードモデル(RM)は、大きな言語モデルと人間の嗜好の整合において重要な役割を果たす。
一般的なツール使用シナリオに適した軽量な生成型RMのファミリーであるToolRMを紹介する。
これらのモデルを構築するために,ルールベースのスコアリングと多次元サンプリングを用いたペアワイズ選好データを構築するパイプラインを提案する。
論文 参考訳（メタデータ） (2025-10-30T06:08:27Z) - Steering LLM Reasoning Through Bias-Only Adaptation [12.246105935814683]
基本重みの全てを凍結しながら、強化学習による1層あたりの1d$次元ステアリングベクトルのトレーニングは、数学的推論タスクにおいて完全にRLで調整された推論モデルの精度と一致することを示す。
論文 参考訳（メタデータ） (2025-05-24T13:55:38Z) - Teaching Language Models to Critique via Reinforcement Learning [59.36253627145115]
我々は、textttCTRL$でトレーニングされた批評家が、パスレートを大幅に向上し、ベースモデルとより強力なジェネレータモデルの両方でエラーを軽減することを示した。
また、これらの批判モデルが正確な生成報酬モデルとして機能し、反復的批評・修正によるテストタイムスケーリングを可能にすることを示す。
論文 参考訳（メタデータ） (2025-02-05T02:18:46Z) - A Critical Evaluation of AI Feedback for Aligning Large Language Models [60.42291111149438]
教師が既存のRLAIFパイプラインより優れていることを示す。
より一般的には、RLAIFの利得は、ベースモデルファミリ、テスト時間評価プロトコル、批判モデルによって大きく異なることが分かる。
論文 参考訳（メタデータ） (2024-02-19T18:53:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。