論文の概要: AgentV-RL: Scaling Reward Modeling with Agentic Verifier

• arxiv url: http://arxiv.org/abs/2604.16004v1
• Date: Fri, 17 Apr 2026 12:27:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-20 22:00:19.909682
• Title: AgentV-RL: Scaling Reward Modeling with Agentic Verifier
• Title（参考訳）: AgentV-RL:エージェント検証器によるスケーリングリワードモデリング
• Abstract要約: 試験時間スケーリング(TTS)によるLCM推論を強化する検証器が実証されている。 本稿では,報酬モデリングを多ターンツール拡張型検討プロセスに変換するフレームワークであるエージェント検証を提案する。 Agentic Verifier は並列およびシーケンシャルTS の両方で一貫した性能向上が得られることを示す。
• 参考スコア（独自算出の注目度）: 63.55502685076245
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Verifiers have been demonstrated to enhance LLM reasoning via test-time scaling (TTS). Yet, they face significant challenges in complex domains. Error propagation from incorrect intermediate reasoning can lead to false positives for seemingly plausible solutions, while lacking external grounding makes verifiers unreliable on computation or knowledge-intensive tasks. To address these challenges, we propose Agentic Verifier, a framework that transforms reward modeling into a multi-turn, tool-augmented deliberative process. We introduce complementary forward and backward agents: one traces solutions from premises to conclusions, while the other re-checks conclusions against their underlying premises. This bidirectional process enables a comprehensive, reliable, and interpretable assessment of solutions. To facilitate practical deployment, we propose AgentV-RL. Through proactive exploration and reinforcement learning, the verifier autonomously interleaves tool-use with internal reasoning. Extensive experiments show that Agentic Verifier yields consistent performance gains under both parallel and sequential TTS. Notably, our 4B variant surpasses state-of-the-art ORMs by 25.2%, positioning it as a promising paradigm for agentic reward modeling.
• Abstract（参考訳）: 検証器はテスト時間スケーリング(TTS)によるLCM推論を強化することが実証されている。 しかし、それらは複雑な領域において重大な課題に直面している。 不正確な中間推論からの誤り伝播は、一見可算な解に対して偽陽性をもたらすが、外部基底が欠如しているため、検証は計算や知識集約的なタスクでは信頼できない。 これらの課題に対処するために,報奨モデリングを多ターンツール強化の熟考プロセスに変換するフレームワークであるAgentic Verifierを提案する。 1つは前提から結論までソリューションをトレースし、もう1つは基礎となる前提に対して結論を再確認する。 この双方向プロセスは、ソリューションの包括的で信頼性があり、解釈可能な評価を可能にする。 本稿では,AgentV-RLを提案する。 積極的な探索と強化学習により、検証者は道具使用と内部推論を自律的にインターリーブする。 拡張実験により, エージェント検証器は並列およびシーケンシャルTTSの両方で一貫した性能向上が得られることがわかった。 特に、当社の4Bバージョンは最先端のORMを25.2%上回り、エージェント報酬モデリングの有望なパラダイムとして位置づけています。

関連論文リスト

• DiffuseAgent-MI: Distributionally-Grounded,Tool-Integrated Self-Evolving Agents for Faithful Visual Reasoning [24.745715007832953]
  DiffuseAgent-MIは、以前の自己進化剤よりも最大5.1ポイント精度を向上させる。 GeoQA、SciVis、VQA-v2、および社内のマルチモーダル推論セットでは、DiffuseAgent-MIは最大5.1ポイントの精度を向上させる。
  論文  参考訳（メタデータ） (2026-08-01T08:54:44Z)
• RetroAgent: From Solving to Evolving via Retrospective Dual Intrinsic Feedback [54.39884046754265]
  RetroAgentは、エージェントが複雑なインタラクティブ環境をマスターできるオンラインRLフレームワークである。 実験の結果,RetroAgentはSOTA(State-of-the-art)の性能を達成できた。
  論文  参考訳（メタデータ） (2026-03-09T16:23:33Z)
• Search-R2: Enhancing Search-Integrated Reasoning via Actor-Refiner Collaboration [49.9937230730202]
  本稿では,新たなアクター・リファイナ・コラボレーション・フレームワークであるSearch-R2を提案する。 提案手法は,生成過程をアクターに分解し,最初の推論軌道を生成する。 本稿では,検索-R2がモデルスケール全体にわたって強力なRAGとRLベースのベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-02-03T15:32:09Z)
• Veri-Sure: A Contract-Aware Multi-Agent Framework with Temporal Tracing and Formal Verification for Correct RTL Code Generation [4.723302382132762]
  シリコングレードの正しさは、 (i) シミュレーション中心の評価の限られたカバレッジと信頼性、 (ii) 回帰と修復幻覚、 (iii) エージェントハンドオフ間で意図が再解釈される意味的ドリフトによってボトルネックが残っている。 エージェントの意図を整合させる設計契約を確立するマルチエージェントフレームワークであるVeri-Sureを提案する。
  論文  参考訳（メタデータ） (2026-01-27T16:10:23Z)
• Adversarial Yet Cooperative: Multi-Perspective Reasoning in Retrieved-Augmented Language Models [72.4149653187766]
  本稿ではAdrialversa Reasoning RAG(ARR)というReasoner-Verifierフレームワークを提案する。 ReasonerとVerifierは、回収された証拠を推論し、プロセス認識の利点によってガイドされながら、互いの論理を批判する。 複数のベンチマーク実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2026-01-08T06:57:03Z)
• Multimodal Reinforcement Learning with Agentic Verifier for AI Agents [131.46008226323423]
  Argosは、エージェントタスクの推論モデルをトレーニングするための、原則化されたマルチモーダル報酬エージェントである。 エージェント検証をSFTデータとRLトレーニングの両方で活用することにより、我々のモデルは最先端の結果を得ることができる。
  論文  参考訳（メタデータ） (2025-12-03T04:42:47Z)
• Towards Self-Evolving Benchmarks: Synthesizing Agent Trajectories via Test-Time Exploration under Validate-by-Reproduce Paradigm [60.36837655498119]
  本稿では,トラジェクトリをベースとしたエージェント・ベンチマーク・複雑度進化フレームワークを提案する。 このフレームワークは、既存のベンチマークから元のタスクを受け取り、エージェントがそれをより難しい新しいタスクに進化させるよう促す。 GAIAベンチマークの実験では、TRACEフレームワークはタスクの複雑さを継続的に向上し、正確性の信頼性を向上させる。
  論文  参考訳（メタデータ） (2025-10-01T01:52:52Z)
• SE-Agent: Self-Evolution Trajectory Optimization in Multi-Step Reasoning with LLM-Based Agents [32.76299758137446]
  大規模言語モデル(LLM)ベースのエージェントは、最近、複雑な推論とツールの使用において、環境とのマルチステップのインタラクションを通じて印象的な機能を示した。 これらの軌道にはリッチなフィードバックが含まれており、エージェントを正しい方向に誘導して問題を正しく解くことができる。 モンテカルロ木探索 (MCTS) のような一般的な手法は、探索と搾取を効果的にバランスさせることができるが、それらは様々な軌道間の相互依存を無視している。 エージェントが推論プロセスを反復的に最適化できる自己進化フレームワークSE-Agentを提案する。
  論文  参考訳（メタデータ） (2025-08-04T05:51:55Z)
• Thinking Longer, Not Larger: Enhancing Software Engineering Agents via Scaling Test-Time Compute [61.00662702026523]
  より大規模なモデルではなく、推論時間の増加を活用する統合されたテスト時間計算スケーリングフレームワークを提案する。 当社のフレームワークには,内部TTCと外部TTCの2つの補完戦略が組み込まれている。 当社の textbf32B モデルは,DeepSeek R1 671B や OpenAI o1 など,はるかに大きなモデルを上回る 46% の課題解決率を実現している。
  論文  参考訳（メタデータ） (2025-03-31T07:31:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。