論文の概要: SelfImprove-Bench: Evaluating Generalization in Self-Improving Agents
- arxiv url: http://arxiv.org/abs/2611.02797v1
- Date: Mon, 02 Nov 2026 09:08:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 23:36:30.584605
- Title: SelfImprove-Bench: Evaluating Generalization in Self-Improving Agents
- Title（参考訳）: Self Improve-Bench:自己改善剤の一般化評価
- Abstract要約: 再帰的自己改善(RSI)システムは、人工知能への進歩を加速する有望な手段として、ますます見なされている。
タスクを3つの主要な機能にまとめるRSI評価フレームワークであるSelfImprove-Benchを提案する。
- 参考スコア（独自算出の注目度）: 16.563271071950243
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recursively self-improving (RSI) systems are increasingly viewed as a promising means of accelerating progress toward artificial general intelligence. They aim to autonomously improve their capabilities by refining their working pipelines and recursively improving the strategies that guide subsequent refinements, with gains generalizing to unseen scenarios.However, existing evaluations lack reliable metrics to distinguish capability gains from scenario fitting, sustainable and extensible protocols for unseen tasks and difficulties, and fine-grained attribution of improvement to evolution traces. To this end, we propose SelfImprove-Bench,an RSI evaluation framework that organizes tasks into three primary capabilities (i.e., Exploring, Planning, Reasoning) as scenarios for guiding model evolution. We instantiated the tasks on games for controllability and reproducibility, and pairs them with scalable generation and orchestration driven by task templates and difficulty coefficients. Beyond task-level scores, SelfImprove-Bench organizes evaluation into generalization ladder levels G0 to G4 that measure how far gains transfer from training conditions. Experiments reveal that the evolutionary gains of existing RSI methods are inconsistent across generalization levels.
- Abstract（参考訳）: 再帰的自己改善(RSI)システムは、人工知能への進歩を加速する有望な手段として、ますます見なされている。
既存の評価では、シナリオ適合性や、見えないタスクや障害に対する持続的で拡張可能なプロトコルから能力を引き出すための信頼性の高いメトリクスが欠如しており、進化の痕跡に対する改善の微妙な貢献がある。
この目的のために、モデル進化を導くシナリオとして、タスクを3つの主要な機能(探索、計画、推論)にまとめるRSI評価フレームワークであるSelfImprove-Benchを提案する。
制御性と再現性のためにゲーム上のタスクをインスタンス化し、タスクテンプレートと難易度係数によって駆動されるスケーラブルな生成とオーケストレーションとをペアリングする。
タスクレベルのスコアの他に、SelfImprove-Benchは、トレーニング条件からの移行がどれだけ多くなったかを測定する、一般化はしごレベルG0からG4に評価を整理する。
実験により、既存のRSI手法の進化的利得は一般化レベルを越えて矛盾することが明らかとなった。
関連論文リスト
- Beyond Endpoint Performance: Process-Level Evaluation of Self-Evolving Agents [20.811638832981178]
EvoPathBenchは、アーティファクトレベルの自己進化中の個々の機能を追跡するベンチマークである。
不可解なタスクへの一般化、無関係な学習後の保持、新しいエビデンスへのルール適応の3つの機能をテストする。
論文 参考訳（メタデータ） (2026-09-21T14:28:06Z) - ARISE-RL: Agentic Rubric-Grounded Iterative Self-Evolution with Reinforcement Learning [74.19730275669227]
ARISE-RLは、オープンエンドエージェントをトレーニングするための新しいフルサイクルの自己進化フレームワークである。
Reward-Gated Self-Evolution Distillation (RG-SED)を提案する。
ECR-Benchは,シングルツールディープリサーチとマルチツールトラベルプランニングを対象とする,専門家校正型ルーリックベンチマークスイートである。
論文 参考訳（メタデータ） (2026-09-01T10:54:13Z) - From Holistic Evaluation to Structured Criteria: Rubrics Across the Evolving LLM Landscape [79.30826980815927]
ルーブリックは、複雑な品質判断を構造化され、実行可能な標準に変換する明示的な基準セットです。
我々は,既存のルーリックデザインを体系的に整理し,その構築と最適化を検証し,評価と訓練をまたいだ役割を解析する。
論文 参考訳（メタデータ） (2026-06-07T13:34:55Z) - SEA-Eval: A Benchmark for Evaluating Self-Evolving Agents Beyond Episodic Assessment [52.87618765740484]
本稿では、Self-Evolving Evolutionary Agentを定義し、SEAの評価に特化して設計された最初のベンチマークであるSEA-Evalを紹介する。
SEA-Evalは、主要な指標として$SR$と$T$を確立し、シーケンシャルなタスクストリーム設計を通じて進化的ゲイン、進化的安定性、暗黙的なアライメント収束を実現できる。
論文 参考訳（メタデータ） (2026-04-10T05:49:50Z) - Towards Self-Evolving Benchmarks: Synthesizing Agent Trajectories via Test-Time Exploration under Validate-by-Reproduce Paradigm [60.36837655498119]
本稿では,トラジェクトリをベースとしたエージェント・ベンチマーク・複雑度進化フレームワークを提案する。
このフレームワークは、既存のベンチマークから元のタスクを受け取り、エージェントがそれをより難しい新しいタスクに進化させるよう促す。
GAIAベンチマークの実験では、TRACEフレームワークはタスクの複雑さを継続的に向上し、正確性の信頼性を向上させる。
論文 参考訳（メタデータ） (2025-10-01T01:52:52Z) - Generalization vs. Memorization in Autoregressive Deep Learning: Or, Examining Temporal Decay of Gradient Coherence [0.1286280695561924]
本研究では, 自己回帰型PDEが, 多様な物理シナリオから得られる情報を同化・伝播する様子を特徴付けるために, 影響関数形式を適用した。
改良されたサロゲートの設計に関する実用的な洞察を提供する。
論文 参考訳（メタデータ） (2025-08-18T20:29:34Z) - SEEA-R1: Tree-Structured Reinforcement Fine-Tuning for Self-Evolving Embodied Agents [58.174206358223415]
自己進化型エボダイドエージェント(SeEA-R1)は、自己進化型エボダイドエージェント用に設計された最初の強化微細調整フレームワークである。
本研究は,SEEA-R1が自律適応と報酬駆動型自己進化をサポートすることを示す。
論文 参考訳（メタデータ） (2025-06-26T18:00:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。