論文の概要: Beyond Final Scores: A Systematic Evaluation of Agents for Long-Horizon AI Research and Development

• arxiv url: http://arxiv.org/abs/2608.13417v1
• Date: Thu, 13 Aug 2026 16:11:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.594291
• Title: Beyond Final Scores: A Systematic Evaluation of Agents for Long-Horizon AI Research and Development
• Title（参考訳）: ファイナルスコアを超えて:長期AI研究・開発のためのエージェントの体系的評価
• Abstract要約: 我々は,36の長軸タスクにおける7つのフロンティアモデルの体系的評価を行う。 結果は、現在のエージェントが完全に自律的な研究者よりもエンジニアリングのように機能していることを示している。 これらの結果から, モデルトレーニング, 推論時間戦略, 経験管理, ハーネス設計の改善に向けた具体的な方向性が示唆された。
• 参考スコア（独自算出の注目度）: 40.04439646282927
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autonomous agents are increasingly capable of improving models, systems, and other technical artifacts through long-horizon experimentation. To understand the current state of this capability, however, evaluation must go beyond final scores, which neither reveal where progress is gained or lost nor indicate whether accumulated experience improves later decisions. We therefore present a systematic evaluation of seven frontier models on 36 long-horizon tasks based on a new framework that uses rule-based metrics to characterize within-run behavior through Solution Framing, Execution, and Feedback Control and controlled comparisons to assess experience reuse within and across tasks. The results show that current agents operate more like engineering optimizers than fully autonomous researchers: they can formulate and implement practical solutions, but their performance varies substantially across runs, their strongest solutions mainly adapt or combine established techniques, and genuine methodological novelty remains rare. Detailed analysis reveals that observed performance is shaped by multiple factors, including distinct process bottlenecks behind similar final outcomes, experience reuse that can help or mislead subsequent decisions, and harness designs that affect performance stability. These findings suggest concrete directions for improving model training, inference-time strategies, experience management, and harness design.
• Abstract（参考訳）: 自律エージェントは、長期にわたる実験を通じて、モデル、システム、その他の技術的成果物を改善する能力がますます高まっている。 しかし、この能力の現在の状態を理解するためには、評価は最終スコアを超えなければならない。 そこで本研究では,36の長軸タスクにおける7つのフロンティアモデルの体系的評価を,ルールベースのメトリクスを用いて解き散らし,実行,フィードバック制御を通じて内部動作を特徴付ける新しいフレームワークを用いて行い,タスク内およびタスク間の体験再利用を評価するための比較を制御した。 その結果、現在のエージェントは、完全に自律的な研究者よりもエンジニアリングオプティマイザのように機能し、実用的なソリューションを定式化して実装することができるが、その性能は実行時間によって大きく異なり、その最強のソリューションは主に確立されたテクニックを適応または組み合わせることであり、真の方法論的ノベルティは依然としてまれである。 詳細な分析によると、観察されたパフォーマンスは、同様の最終結果の背後にあるプロセスのボトルネック、その後の決定を助けたり誤解させたりできるエクスペリエンスの再利用、パフォーマンスの安定性に影響を与える設計の活用など、複数の要因によって形成されている。 これらの結果から, モデルトレーニング, 推論時間戦略, 経験管理, ハーネス設計の改善に向けた具体的な方向性が示唆された。

関連論文リスト

• Uncertainty-Aware Generation and Decision-Making Under Ambiguity [57.15357080072861]
  本稿では,ベイズ決定理論とリスク逆決定法に基づく不確実性を考慮した意思決定アルゴリズムを提示し,評価する。 これらのアルゴリズムは世代別の有用性を向上させることができるが、あいまいさが高い場合には慎重に実装する必要があることを実証的に見出した。
  論文  参考訳（メタデータ） (2026-06-29T17:20:43Z)
• Beyond Black-Box Benchmarking: Observability, Analytics, and Optimization of Agentic Systems [1.415098516077151]
  エージェントがさまざまなタスクを実行するために協力するエージェントAIシステムの台頭は、その振る舞いを観察し、分析し、最適化する上で、新たな課題を提起する。 従来の評価とベンチマークのアプローチは、これらのシステムの非決定論的、文脈に敏感で動的な性質を扱うのに苦労する。 本稿では,エージェントシステムを開発,テスト,保守にまたがって分析・最適化する上で重要な課題と機会について考察する。
  論文  参考訳（メタデータ） (2025-03-09T20:02:04Z)
• An Innovative Data-Driven and Adaptive Reinforcement Learning Approach for Context-Aware Prescriptive Process Monitoring [3.4437362489150254]
  本稿では,Fun-Tuned Offline Reinforcement Learning Augmented Process Sequence Optimizationという新しいフレームワークを提案する。 FORLAPSは、状態依存型報酬形成機構によって強化された学習を活用して、ビジネスプロセスにおける最適な実行経路を特定することを目的としている。 また,FOLAPSは資源使用時間の31%削減,プロセス時間の23%削減を実現している。
  論文  参考訳（メタデータ） (2025-01-17T20:31:35Z)
• Imitate, Explore, and Self-Improve: A Reproduction Report on Slow-thinking Reasoning Systems [92.89673285398521]
  o1のような推論システムは、複雑な推論タスクを解く際、顕著な能力を示した。 推論モデルをトレーニングするために、模倣、探索、自己改善のフレームワークを導入します。 提案手法は,産業レベルの推論システムと比較して競争性能が向上する。
  論文  参考訳（メタデータ） (2024-12-12T16:20:36Z)
• A Tutorial on the Design, Experimentation and Application of Metaheuristic Algorithms to Real-World Optimization Problems [16.890440704820367]
  メタヒューリスティックの設計と使用に関する数十年の歴史的進歩にもかかわらず、新しい技術成果の理解可能性、アルゴリズム設計の正しさ、性能検証性に関して大きな困難が残っている。 この研究は、最適化に使用されるメタヒューリスティックス手法の研究を行う際に、受け入れるべき良いプラクティスの提案を聴衆に提供することを目的としている。
  論文  参考訳（メタデータ） (2024-10-04T07:41:23Z)
• Watch Every Step! LLM Agent Learning via Iterative Step-Level Process Refinement [50.481380478458945]
  反復的なステップレベルプロセスリファインメント(IPR)フレームワークは、エージェントトレーニングを強化するためのステップバイステップのガイダンスを提供する。 3つの複雑なエージェントタスクに関する我々の実験は、我々のフレームワークが様々な強力なベースラインより優れていることを示した。
  論文  参考訳（メタデータ） (2024-06-17T03:29:13Z)
• Better Understanding Differences in Attribution Methods via Systematic Evaluations [57.35035463793008]
  モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。 本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。 これらの評価手法を用いて、広範囲のモデルにおいて広く用いられている属性手法の長所と短所について検討する。
  論文  参考訳（メタデータ） (2023-03-21T14:24:58Z)
• Efficient Real-world Testing of Causal Decision Making via Bayesian Experimental Design for Contextual Optimisation [12.37745209793872]
  文脈的意思決定の評価と改善のためのデータ収集のためのモデルに依存しないフレームワークを提案する。 過去の治療課題の後悔をデータ効率で評価するために,本手法を用いた。
  論文  参考訳（メタデータ） (2022-07-12T01:20:11Z)
• Scaling up Search Engine Audits: Practical Insights for Algorithm Auditing [68.8204255655161]
  異なる地域に数百の仮想エージェントを配置した8つの検索エンジンの実験を行った。 複数のデータ収集にまたがる研究インフラの性能を実証する。 仮想エージェントは,アルゴリズムの性能を長時間にわたって監視するための,有望な場所である,と結論付けている。
  論文  参考訳（メタデータ） (2021-06-10T15:49:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。