論文の概要: Flex-RSI: Benchmarking Recursive Self-Improvement of Frontier Agents
- arxiv url: http://arxiv.org/abs/2611.08946v1
- Date: Fri, 06 Nov 2026 03:51:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-09 22:29:06.792249
- Title: Flex-RSI: Benchmarking Recursive Self-Improvement of Frontier Agents
- Title(参考訳): Flex-RSI:フロンティアエージェントの再帰的自己改善のベンチマーク
- Abstract要約: 固定予算下での視覚・ロボティクスタスクにおけるエージェントの自己改善のためのベンチマークであるFlex-RSIを紹介する。
我々は,知覚,推論,ロボット動作,3D再構成,視覚的創造,インフラといったタスクにおけるクローズドソースおよびオープンウェイトモデルの評価を行った。
エージェントが独自のソリューションを構築する際には,自己改善が最も役立ちます。
- 参考スコア(独自算出の注目度): 81.63412581903059
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Frontier language models are increasingly deployed as agents, and how well an agent performs depends not only on its model but also on its harness: the prompts, tools, memory, and control loop through which the model acts. When an agent is applied to a new problem, a natural question is whether it can use the feedback of the task to improve the way it works, and not merely its answer. Most existing benchmarks keep the agent's harness fixed and score the solution it produces, or target large-scale model training. We introduce Flex-RSI, a benchmark for the recursive self-improvement of agents on vision and robotics tasks under a fixed budget. In each round, an executor improves the task solution, which is kept only if it scores higher on held-out validation data, and an improver then revises the harness, including the executor and itself. Every run starts from the same general-purpose harness, and the final solution is scored on hidden test data. Evaluating closed-source and open-weight models on tasks spanning perception, reasoning, robot action, 3D reconstruction, visual creation, and infrastructure, we find that self-improvement helps most when the agent builds its own solution, that feedback recording only success or failure holds back open-weight models, and that open-weight models fall furthest behind where outputs must pass strict checks of physical stability or exact correctness. Paired runs further show that editing the harness itself contributes to the gains.
- Abstract(参考訳): プロンプト、ツール、メモリ、そしてモデルが機能する制御ループなど、モデルにも依存する。
エージェントが新しい問題に適用されたとき、自然な疑問は、そのタスクのフィードバックを使ってその働き方を改善することができるかどうかであり、ただの答えではない。
既存のベンチマークのほとんどは、エージェントのハーネスを固定し、生成するソリューションを評価したり、大規模なモデルトレーニングをターゲットにしています。
固定予算下での視覚・ロボティクスタスクにおけるエージェントの再帰的自己改善のためのベンチマークであるFlex-RSIを紹介する。
各ラウンドでエグゼクタはタスクソリューションを改善し、ホールドアウトされたバリデーションデータでより高いスコアを獲得した場合にのみ維持され、改良者はエグゼクタとそれ自身を含むハーネスを更新する。
すべての実行は、同じ汎用ハーネスから始まり、最終的なソリューションは、隠されたテストデータに記録される。
知覚、推論、ロボットアクション、3D再構成、視覚的創造、インフラといったタスクにまたがるクローズドソースおよびオープンウェイトモデルを評価すると、エージェントが独自のソリューションを構築する際には、自己改善が最も役立ちます。
さらにPairedは、ハーネスの編集自体が利益に寄与していることを示している。
関連論文リスト
- Pairing Matters: Performance, Failures, and Efficiency in Lightweight Coding Agents [9.713706982318447]
自己ホスト型コーディングエージェントは、プロプライエタリなコードと開発トレースを制御されたインフラストラクチャ内に保持しなければならないソフトウェアエンジニアリングチームにとって、しばしば必要である。
軽量でオープンなモデルは、ハードウェア要件を減らすことで、そのようなデプロイメントをより実現可能にする。
我々は,100のSWE-bench検証タスクを対象とした6つのオープンソースハーネスと3つの軽量コーディングモデルのフルファクター評価により,ハーネス-モデル相互作用を評価する。
論文 参考訳(メタデータ) (2026-10-23T03:57:58Z) - Can LLMs Improve Their Own Harness? A Controlled Study on ARC-AGI-3 [7.208283909718336]
ARC-AGI-3は、エージェントが未知の環境を探索しなければならない対話型ベンチマークである。
私たちは、フロンティアモデルでこのようなハーネスを独自に構築し、改善できるかどうか尋ねる。
論文 参考訳(メタデータ) (2026-10-21T22:29:47Z) - AlphaDiana: A Measurement System for Agents in Verifiable Reasoning Tasks [70.52860945958031]
我々は、データセット、エージェント、環境、スコアラーの計測システムであるAlphaDianaを紹介する。
5つの回答ベースベンチマークで3つのオープンソースモデルと3つのオープンソースハーネスについて検討する。
ハーネスは推論の精度を常に改善しないことがわかった。
論文 参考訳(メタデータ) (2026-10-14T14:04:48Z) - HarnessDev: Can LLMs Create and Evolve Their Own Agent Harness? [61.02699867449589]
評価単位をタスク出力から実行インフラストラクチャにシフトするベンチマークであるHarnessDevを紹介します。
Creationでは、エージェントは最小限のシードと少数のケースから始まり、完全な実行システムを構築する。
Evolutionでは、独自のハーネスから始まり、ベンチマークのパフォーマンス向上を目標として、下流の実行フィードバックを使用して反復的に修正する。
論文 参考訳(メタデータ) (2026-09-01T15:45:33Z) - From Failed Trajectories to Reliable LLM Agents: Diagnosing and Repairing Harness Flaws [12.757205456771295]
本稿では,エージェント故障の診断と修復を行うためのトレースガイドフレームワークであるHarnessFixを提案する。
HarnessFixは生の実行トレースをコンパイルし、コードをHarness対応のトレース中間表現に変換する。
障害の原因は、責任ある軌道ステップとレイヤの活用、繰り返し診断を実行可能な欠陥レコードに集約し、スコープ化された修復オペレータにマップすることにある。
論文 参考訳(メタデータ) (2026-06-04T15:58:30Z) - Evolving Agents in the Dark: Retrospective Harness Optimization via Self-Preference [51.55077364626896]
本稿では,過去の軌道のみを用いたエージェント・ハーネスを最適化する自己教師型手法であるRetrospective Harness Optimization (RHO)を紹介する。
RHOは、過去の軌跡から様々な課題のコアセットを選択し、それらを並列に解決する。
1回の最適化ラウンドでは、SWE-Bench Proのパスレートが59%から78%に向上する。
論文 参考訳(メタデータ) (2026-06-04T09:26:00Z) - Harness-Bench: Measuring Harness Effects across Models in Realistic Agent Workflows [18.6534256358905]
本稿では,リアルエージェントシステムにおける構成レベルのハーネス効果を評価するための診断ベンチマークであるHarness-Benchを紹介する。
ベンチマークには、実用的なエージェント使用パターンから構築された106のサンドボックス化されたオフラインタスクが含まれている。
5,194個の実行軌道にまたがって、完了、プロセス品質、効率、障害挙動のかなりの変化を観察する。
論文 参考訳(メタデータ) (2026-05-27T03:47:35Z) - Is Self-Repair a Silver Bullet for Code Generation? [68.02601393906083]
大規模な言語モデルは、コード生成において顕著な適性を示しているが、それでも複雑なタスクを実行するのに苦労している。
自己修復(Self-repair) — モデルが自身のコードをデバッグし、修復する — は、最近、パフォーマンスを向上する一般的な方法になっている。
我々は,Code Llama, GPT-3.5, GPT-4によるHumanEvalとAPPSの自己修復能力について分析した。
論文 参考訳(メタデータ) (2023-06-16T15:13:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。