論文の概要: Verify Less, Evolve More: Training Idea-Level Critics for Verification-Efficient ML Evolving Agents

• arxiv url: http://arxiv.org/abs/2610.08993v1
• Date: Tue, 06 Oct 2026 18:52:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.561154
• Title: Verify Less, Evolve More: Training Idea-Level Critics for Verification-Efficient ML Evolving Agents
• Title（参考訳）: 検証の低さ、さらに進化: 検証効率のよいML進化エージェントのための理想レベル批判のトレーニング
• Abstract要約: 提案するML修正が現在のソリューションで改善されるかどうかを予測できるアイデアレベルの批判モデルを開発する。 我々は、Gemini-3.1-Proで合成された高品質な批評を教師付き微調整することで、批評家モデルを訓練する。 経験的に、我々の批評家モデルは静的なアイデア評価においてGemini-3.1-Proより優れており、これらはエージェント推論、継続的な学習、ポリシートレーニングにまで及んでいる。
• 参考スコア（独自算出の注目度）: 19.350538598123038
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models become more powerful, self-evolving agents are able to tackle challenging tasks including AI for machine learning (AI4ML). In AI4ML, while empirical verification is available, it often requires computationally costly model training and evaluation, limiting the speed and scale of agent evolution. Yet verification efficiency remains under-explored, and frontier models provide only limited gains when used directly as idea selectors. We address this gap with specialized idea-level critic models that predict whether a proposed ML modification will improve upon the current solution, allowing agents to screen ideas and concentrate verification resources on the most promising candidates. We train the critic models through supervised fine-tuning on high-quality critiques synthesized by Gemini-3.1-Pro, followed by GRPO to further improve their predictive accuracy. Empirically, our critic models outperform Gemini-3.1-Pro in static idea evaluation, and these gains extend to agent inference, continual learning, and policy training. During inference-time evolution, they improve final solution quality under the same verification budget by selecting more promising ideas, with further gains from continual learning. During policy training, they serve as learned reward models, reserving empirical verification for uncertain cases and enabling substantially more policy updates with the same verification resources. Together, these results show that idea-level critic models help ML agents discover better solutions and learn stronger proposal policies under limited verification budgets.
• Abstract（参考訳）: 大規模言語モデルがより強力になるにつれて、自己進化型エージェントは、AI for Machine Learning(AI4ML)を含む課題に取り組むことができる。 AI4MLでは、実証的な検証が可能であるが、しばしば計算的にコストのかかるモデルトレーニングと評価を必要とし、エージェントの進化の速度とスケールを制限する。 しかし、検証効率は未探索のままであり、フロンティアモデルはアイデアセレクタとして直接使用される場合にのみ限られた利得を提供する。 提案するML修正が現在のソリューションで改善されるかどうかを予測し、エージェントがアイデアをスクリーニングし、最も有望な候補に検証リソースを集中できるようにする。 我々は、Gemini-3.1-Proによって合成された高品質な批評を教師付き微調整することで、批評家モデルを訓練し、続いてGRPOにより予測精度をさらに向上させる。 経験的に、我々の批評家モデルは静的なアイデア評価においてGemini-3.1-Proより優れており、これらはエージェント推論、継続的な学習、ポリシートレーニングにまで及んでいる。 推論時間進化の過程で、より有望なアイデアを選択し、継続的な学習からさらに利益を得ることにより、同じ検証予算の下で最終的なソリューション品質を改善する。 政策トレーニングの間、彼らは学習した報酬モデルとして機能し、不確実なケースに対する実証的な検証を維持し、同じ認証リソースで大幅に多くのポリシー更新を可能にする。 これらの結果は、アイデアレベルの批判モデルが、MLエージェントがより良いソリューションを発見し、限られた検証予算の下でより強力な提案ポリシーを学ぶのに役立つことを示している。

関連論文リスト

• Weak-Driven Learning: How Weak Agents make Strong Agents Stronger [46.50703640719333]
  WMSS(Weak Agents Can Make Strong Agents Stronger)は、弱いチェックポイントを利用して継続的な最適化を導くポストトレーニングのパラダイムである。 数学的推論とコード生成データセットの実験は、我々のアプローチで訓練されたエージェントが効果的なパフォーマンス向上を達成することを示す。
  論文  参考訳（メタデータ） (2026-02-09T02:50:40Z)
• Demystifying Reinforcement Learning in Agentic Reasoning [90.3737088727791]
  エージェント推論における強化学習のデミスティフィケーションのための包括的かつ体系的な調査を行う。 i) 縫合された合成軌道を、実際のエンドツーエンドのツール・ツー・ユース・トラジェクトリに置き換えることで、より強力なSFTが得られる。 探索フレンドリーな技術は、高いクリップ、過剰な報酬形成、適切なポリシーエントロピーの維持といったエージェントRLにとって不可欠であり、訓練効率を向上させることができる。
  論文  参考訳（メタデータ） (2025-10-13T17:57:15Z)
• Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [93.00629872970364]
  強化学習(Reinforcement Learning, RL)は, 複雑な推論タスクにおいて, 言語モデルの性能向上のための主要なパラダイムとなっている。 SPARKLE(SPARKLE)は、3つの重要な次元にわたるRLの効果を詳細に解析するフレームワークである。 我々は、RL信号と混合品質の推論トレースを産出しない難題が、依然としてトレーニングに有効であるかどうかを調査する。
  論文  参考訳（メタデータ） (2025-06-05T07:53:59Z)
• Trust, But Verify: A Self-Verification Approach to Reinforcement Learning with Verifiable Rewards [67.86091419220816]
  大規模言語モデル(LLM)は複雑な推論において非常に有望である。 一般的な問題は表面的な自己回帰であり、モデルが自身の出力をしっかりと検証できない。 本稿では、RISE(Reinforce Reasoning with Self-Verification)という新しいオンラインRLフレームワークについて紹介する。
  論文  参考訳（メタデータ） (2025-05-19T17:59:31Z)
• Enhancing Reasoning Abilities of Small LLMs with Cognitive Alignment [15.763018008675083]
  小型モデルは、より大きなモデルと比較して、推論能力と認知的軌跡が異なる。 より小型で強力なLEMを訓練するためのCRV(Critique-Rethink-Verify)システムを提案する。 また、より小さなモデルの推論能力を継続的に向上する認知的選好最適化(CogPO)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-14T02:03:54Z)
• Self-Improvement in Language Models: The Sharpening Mechanism [70.9248553790022]
  我々は、レンズを通して自己改善の能力について、新たな視点を提供する。 言語モデルは、正しい応答を生成する場合よりも、応答品質の検証が優れているという観察に感銘を受けて、後学習において、モデル自体を検証対象として、自己改善を形式化する。 SFTとRLHFに基づく自己改善アルゴリズムの2つの自然ファミリーを解析する。
  論文  参考訳（メタデータ） (2024-12-02T20:24:17Z)
• Recursive Introspection: Teaching Language Model Agents How to Self-Improve [30.086494067593268]
  RISE: Recursive IntroSpEctionは,大規模言語モデルを微調整する手法である。 実験の結果,RISEはLlama2,Llama3,Mistralの各モデルに対して,数学推論タスクのターン数を増やすことで自己改善を可能にすることがわかった。
  論文  参考訳（メタデータ） (2024-07-25T17:35:59Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。