論文の概要: Rewarding the Journey, Not Just the Destination: A Composite Path and Answer Self-Scoring Reward Mechanism for Test-Time Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2510.17923v1
• Date: Mon, 20 Oct 2025 07:53:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:12.353177
• Title: Rewarding the Journey, Not Just the Destination: A Composite Path and Answer Self-Scoring Reward Mechanism for Test-Time Reinforcement Learning
• Title（参考訳）: 旅の振り返り, ただの運命ではなく: テスト時間強化学習のための複合経路と自己評価メカニズム
• Authors: Chenwei Tang, Jingyu Xing, Xinyu Liu, Wei Ju, Jiancheng Lv, Deng Xiong, Ziyue Qiao,
• Abstract要約: 大規模言語モデル(LLM)の進化のための強力なパラダイムとして強化学習(RL)が登場した。 外部の監督なしに動作する新しいテストタイム報酬機構を開発した。
• 参考スコア（独自算出の注目度）: 29.2144357080404
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement Learning (RL) has emerged as a powerful paradigm for advancing Large Language Models (LLMs), achieving remarkable performance in complex reasoning domains such as mathematics and code generation. However, current RL methods face a fundamental scalability bottleneck due to their heavy reliance on human-curated preference data or labeled datasets for reward modeling. To overcome this limitation, we explore RL on unlabeled data where models learn autonomously from continuous experience streams. The core challenge in this setting lies in reliable reward estimation without ground-truth supervision. Existing approaches like Test-Time RL address this through self-consistent consensus, but risk reinforcing incorrect pseudo-labels derived from majority voting. We introduce COMPASS (Composite Path and Answer Self-Scoring), a novel test-time reward mechanism that operates without external supervision. COMPASS integrates two complementary components: the Dual-Calibration Answer Reward (DCAR), which stabilizes training by establishing trustworthy pseudo-labels through confidence and credibility calibration, and the Decisive Path Reward (DPR), which directly optimizes the reasoning process quality beyond mere outcome supervision. By jointly reinforcing trustworthy consensus answers and highly decisive reasoning chains, the COMPASS systematically enhances the model's analytical capabilities. Extensive experiments show that COMPASS achieves significant and consistent performance gains across diverse reasoning tasks and model architectures, advancing a more scalable direction for LLMs to learn from continuous experience.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は,大規模言語モデル(LLM)を進化させる強力なパラダイムとして登場し,数学やコード生成といった複雑な推論領域において顕著なパフォーマンスを実現している。 しかしながら、現在のRL手法は、報酬モデリングのための人為的な選好データやラベル付きデータセットに大きく依存しているため、基本的なスケーラビリティのボトルネックに直面している。 この制限を克服するために、モデルが継続的エクスペリエンスストリームから自律的に学習するラベルのないデータについてRLを探索する。 この設定における中核的な課題は、地道な監督なしに信頼性の高い報酬を見積もることである。 Test-Time RLのような既存のアプローチは、自己一貫性のあるコンセンサスを通じてこの問題に対処するが、多数決から導かれる誤った偽ラベルのリスクを補強する。 テスト時間報酬機構であるComposite Path and Answer Self-Scoringを導入する。 CompASSは、信頼と信頼性の校正を通じて信頼できる疑似ラベルを確立することによってトレーニングを安定化するDual-Calibration Answer Reward (DCAR)と、単なる成果管理以上の推論プロセス品質を直接最適化するDecisive Path Reward (DPR)という2つの補完的なコンポーネントを統合している。 信頼できるコンセンサス回答と極めて決定的な推論チェーンを共同で強化することにより、CompASSはモデルの分析能力を体系的に強化する。 大規模な実験により、CompASSは様々な推論タスクやモデルアーキテクチャにおいて、顕著で一貫したパフォーマンス向上を実現し、LLMが継続的な経験から学ぶためのよりスケーラブルな方向を推し進めている。

関連論文リスト

• LaSeR: Reinforcement Learning with Last-Token Self-Rewarding [54.72617309922891]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、Large Language Models(LLM)の推論能力を高めるためのコアパラダイムとして登場した。 従来、LLMは2つの異なるプロンプトテンプレートを使用してソリューションと自己検証をシーケンシャルに生成し、効率を大幅に低下させる必要があった。 本稿では,従来のRLVR損失をMSE損失で増大させるアルゴリズムであるLaSeR(Reinforcement Learning with Last-Token Self-Rewarding)を提案する。
  論文  参考訳（メタデータ） (2025-10-16T17:55:11Z)
• Confidence as a Reward: Transforming LLMs into Reward Models [54.98336080630691]
  Confidence-as-a-Reward (CRew) は、モデルの最終回答に対するトークンレベルの信頼を報酬のプロキシとして利用する、トレーニング不要の手法である。 CRew は MATH500 および RewardMATH ベンチマークにおいて,既存のトレーニングフリー報酬手法よりも優れていることを示す。 本稿では,信頼度スコアと正当性信号を組み合わせた選好データを構成する訓練戦略であるCRew-DPOを提案する。
  論文  参考訳（メタデータ） (2025-10-15T12:51:47Z)
• ConfClip: Confidence-Weighted and Clipped Reward for Reinforcement Learning in LLMs [32.13266235550995]
  強化学習(RL)は、大規模言語モデル(LLM)の標準化の標準パラダイムとなっている。 人間の学習から得られた観察から着想を得て、検証可能な結果とモデル自身の信頼度推定を統合するRL手法を導入する。
  論文  参考訳（メタデータ） (2025-09-22T13:00:35Z)
• Post-Training Large Language Models via Reinforcement Learning from Self-Feedback [3.73824942136665]
  大規模言語モデル(LLM)は、しばしば可算だが校正が不十分な回答を生成する。 本稿では,自己フィードバックによる強化学習(RLSF)について紹介する。
  論文  参考訳（メタデータ） (2025-07-29T15:46:26Z)
• Consistent Paths Lead to Truth: Self-Rewarding Reinforcement Learning for LLM Reasoning [87.7836502955847]
  本稿では,Large Language Model (LLM)推論を強化するための,自己回帰型強化学習フレームワークを提案する。 私たちのキーとなる洞察は、正しい応答はモデルの可能性の観点から一貫した軌道パターンを示すことが多いということです。 本稿では,安定度とボラティリティを,頑健なベクトル空間集約戦略を通じて統合する,本質的な報酬機構であるCoVoを紹介する。
  論文  参考訳（メタデータ） (2025-06-10T12:40:39Z)
• Learning to Reason without External Rewards [100.27210579418562]
  RLVR(Reinforcement Learning with Verifiable Rewards)による複雑な推論のための大規模言語モデル(LLM)の訓練は、費用がかかるドメイン固有の監督に依存して効果的であるが制限されている。 内部フィードバックからの強化学習(Reinforcement Learning from Internal Feedback, RLIF)は、LLMが外部の報酬やラベル付きデータなしで本質的な信号から学習できるフレームワークである。 本稿では,モデル自身の信頼度を利用したRLIF手法であるIntuitorについて,その唯一の報奨信号として自己確実性(self-certainty)を提案する。
  論文  参考訳（メタデータ） (2025-05-26T07:01:06Z)
• Trust, But Verify: A Self-Verification Approach to Reinforcement Learning with Verifiable Rewards [67.86091419220816]
  大規模言語モデル(LLM)は複雑な推論において非常に有望である。 一般的な問題は表面的な自己回帰であり、モデルが自身の出力をしっかりと検証できない。 本稿では、RISE(Reinforce Reasoning with Self-Verification)という新しいオンラインRLフレームワークについて紹介する。
  論文  参考訳（メタデータ） (2025-05-19T17:59:31Z)
• Reward-Robust RLHF in LLMs [25.31456438114974]
  大規模言語モデル(LLM)は、より高度なインテリジェンスへと進化を続けている。 報酬モデルに基づく(RMに基づく)アライメント手法への依存は、大きな課題をもたらす。 本稿では,これらの課題に対処することを目的とした報酬損耗型RLHFフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-18T02:35:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。