論文の概要: Singularity-Bench: Can Agents Build Agents?
- arxiv url: http://arxiv.org/abs/2611.16591v1
- Date: Thu, 12 Nov 2026 10:24:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.445862
- Title: Singularity-Bench: Can Agents Build Agents?
- Title(参考訳): Singularity-Bench: エージェントはエージェントを構築することができるか?
- Abstract要約: 我々は自律型AI開発のためのオープンなベンチマークであるSingularity-Benchを紹介した。
トレーニング前、トレーニング中、トレーニング後、推論、エージェントハーネス、クラスタオーケストレーションの6つのエンドツーエンドタスクがある。
我々は、従来のHarborフレームワークに報奨ハックの脆弱性を暴露し、調査でテストされたすべての攻撃をブロックする、Harborの拡張であるBreakwaterを開発しました。
- 参考スコア(独自算出の注目度): 52.92488511590881
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Frontier AI agents increasingly succeed on realistic, long-horizon tasks and are beginning to improve the systems through which they operate. Yet existing benchmarks often restrict agents to narrow action spaces, use simplified environments, or rely on verification methods that are unreliable for evaluating arbitrary agent-generated systems. We introduce Singularity-Bench, an open-ended benchmark for autonomous AI development with six end-to-end tasks spanning pre-training, mid-training, post-training, inference, the agent harness, and cluster orchestration. Each task requires agents to implement core systems from a minimal starting point and evaluates them against mature human-engineered baselines on identical hardware. Additionally, through extensive red-teaming covering 9 of the 10 categories in the OWASP Top 10 for Agentic Applications, we expose reward-hacking vulnerabilities in the conventional Harbor framework and develop Breakwater, an extension of Harbor that blocks all attacks tested in our study. Across 11 agents built from 7 frontier models and 2 harnesses, Opus 5.5 with Claude Code matches or outperforms the human baseline on all six tasks with a Singularity-Index of 1.25, suggesting it may have the skills needed to reach the singularity. The remaining agents average only 0.58. Our vision is for Singularity-Bench to track how much of AI development agents can already automate and when they may transition from assisting to taking end-to-end responsibility for building stronger successors.
- Abstract(参考訳): Frontier AIエージェントは、現実的で長期のタスクでますます成功し、彼らが運用するシステムを改善し始めている。
しかし、既存のベンチマークでは、エージェントを狭いアクション空間に制限したり、単純化された環境を使用する場合や、任意のエージェント生成システムを評価するのに信頼性の低い検証方法に依存する場合が多い。
Singularity-Benchは、トレーニング前、トレーニング中、トレーニング後、推論後、エージェントハーネス、クラスタオーケストレーションの6つのエンドツーエンドタスクを備えた、自律AI開発のためのオープンなベンチマークである。
各タスクは、最小限の開始点からコアシステムを実装するエージェントを必要とし、同じハードウェア上で、成熟したヒューマンエンジニアリングベースラインに対してそれらを評価する。
さらに、OWASP Top 10 for Agentic Applicationsの10のカテゴリのうち9つをカバーしている広範囲なリピートを通じて、従来のHarborフレームワークの報酬ハック脆弱性を明らかにし、調査でテストされたすべての攻撃をブロックするHarborの拡張であるBreakwaterを開発します。
7つのフロンティアモデルと2つのハーネスから構築された11のエージェントのうち、Opus 5.5はクロードコードと一致し、Singularity-Indexの1.25の6つのタスクで人間のベースラインを上回っている。
残りのエージェントの平均は0.58である。
私たちのビジョンは、Singularity-Bench氏が、AI開発エージェントのどれくらいが既に自動化されているか、いつ、より強力な後継者を構築するためのエンドツーエンドの責任を負うようになるかを追跡することです。
関連論文リスト
- Securing the AI Agent: A Unified Framework for Multi-Layer Agent Red Teaming [15.069910056925492]
AI-Infra-Guardは、単一の観察を取り巻くAIレッドチームを組織する、オープンソースのフレームワークです。
我々はAI-Infra-Guardをオープンソースとしてリリースし、エージェントセキュリティの実践的な基盤として、Emphlayer-paradigmマッチングを実現する。
論文 参考訳(メタデータ) (2026-06-30T07:06:56Z) - The Emergence of Autonomous Penetration Capabilities in Large Language Model-Powered AI Systems [21.83197937022436]
AIシステムの自律的な侵入能力を評価するために、ますます多くの研究が進められている。
ターゲットサーバとエージェントスキャフォールディングの2つのコンポーネントで構成される,新たな自律的浸透評価フレームワークを構築した。
現在のモデルでは、浸透率は10.7%から69.3%に達する。
論文 参考訳(メタデータ) (2026-06-11T09:02:14Z) - The Meta-Agent Challenge: Are Current Agents Capable of Autonomous Agent Development? [80.24951682268332]
本稿では,自律エージェント開発のためのフロンティアモデルのキャパシティをテストするための評価フレームワークであるMeta-Agent Challenge(MAC)を紹介する。
評価の整合性を確保するため、このフレームワークは報奨ハッキングに対する多層防御によって確保される。
メタエージェントは人間工学的な基本方針とほとんど一致せず、その一部はプロプライエタリなフロンティアモデルに支配されている。
論文 参考訳(メタデータ) (2026-06-03T04:58:17Z) - AgentBay: A Hybrid Interaction Sandbox for Seamless Human-AI Intervention in Agentic Systems [29.451397580654316]
我々は,ハイブリッドインタラクションのためにゼロから設計された新しいサービスであるAgentBayを紹介する。
AgentBayはセキュアで独立した実行環境を提供する。Windows、Linux、Android、Webブラウザ、インタープリタ。
我々の評価は、セキュリティ、パフォーマンス、タスク完了率の強い結果を示す。
論文 参考訳(メタデータ) (2025-12-04T01:31:00Z) - Agent0: Unleashing Self-Evolving Agents from Zero Data via Tool-Integrated Reasoning [84.70211451226835]
大規模言語モデル(LLM)エージェントは、人間の計算データへの依存によって制約される。
我々は,外部データを持たない高性能エージェントを進化させる完全自律型フレームワークであるAgent0を紹介する。
Agent0は推論能力を大幅に向上させ、Qwen3-8B-Baseモデルを数学的推論で18%改善し、一般的な推論ベンチマークで24%改善した。
論文 参考訳(メタデータ) (2025-11-20T05:01:57Z) - Security Challenges in AI Agent Deployment: Insights from a Large Scale Public Competition [101.86739402748995]
44の現実的なデプロイメントシナリオを対象とした,22のフロンティアAIエージェントを対象にしています。
Agent Red Teamingベンチマークを構築し、19の最先端モデルで評価します。
私たちの発見は、今日のAIエージェントの重要かつ永続的な脆弱性を浮き彫りにしたものです。
論文 参考訳(メタデータ) (2025-07-28T05:13:04Z) - Internet of Agents: Weaving a Web of Heterogeneous Agents for Collaborative Intelligence [79.5316642687565]
既存のマルチエージェントフレームワークは、多種多様なサードパーティエージェントの統合に苦慮することが多い。
我々はこれらの制限に対処する新しいフレームワークであるInternet of Agents (IoA)を提案する。
IoAはエージェント統合プロトコル、インスタントメッセージのようなアーキテクチャ設計、エージェントのチーム化と会話フロー制御のための動的メカニズムを導入している。
論文 参考訳(メタデータ) (2024-07-09T17:33:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。