論文の概要: The Last Mile to the Real World: Agent-Native Primitives as Reusable Building Blocks for Solving Real-World Tasks

• arxiv url: http://arxiv.org/abs/2611.07461v1
• Date: Thu, 05 Nov 2026 05:15:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.552304
• Title: The Last Mile to the Real World: Agent-Native Primitives as Reusable Building Blocks for Solving Real-World Tasks
• Title（参考訳）: 現実世界への最後のマイル:現実のタスクを解くための再利用可能なビルディングブロックとしてのエージェント-Native Primitives
• Abstract要約: 既存のアプローチでは、リソースは手元に置かれるが、呼び出し元にそれを適用する能力は残されているため、それぞれがその能力を再構築する。 エージェントネイティブプリミティブと,これらのプリミティブのライブラリから各タスクのハーネスを構築するフレームワークであるHEELOを紹介する。 Dev-Primitives は Terminal-Bench 4.0 の解像度を Codex で37.3% から同じバックボーンで55.5% に引き上げている。 Claude Code と GPT-6.1 Sol with Codex の Claude Opus 5.5 は,MPP サーバ経由で HEELO に接続した場合,それぞれ 9 と 39 と 35 を完了します。
• 参考スコア（独自算出の注目度）: 29.134806292109005
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How can an agent handle a real-world task end to end? Frontier models with their own harnesses still fall short on real-world benchmarks: on Terminal-Bench 4.0, GPT-5.6 Sol with Codex resolves 37.3% of the tasks and Claude Opus 5 with Claude Code 51.8%. These tasks fail at the step from reaching a resource to applying it, which we call the last mile to the real world. Existing approaches put the resource within reach but leave the competence to apply it with the caller, so each harness rebuilds that competence. We introduce agent-native primitives, reusable units that equip a resource with a resident LLM that applies it in context and communicates with other primitives, and HEELO (Harness Engineering around Evolving Agent-Native Primitives for the Last Mile to Real-WOrld Tasks), a harness engineering framework that builds each task's harness from a library of such primitives. HEELO composes the primitives a task needs into a task-specific graph, verifies the result against evidence from the environment, revises the primitives a failure implicates, and admits new or improved primitives after validation. We instantiate HEELO with eight primitive families, each built for one kind of task, and evaluate them on more than twenty benchmarks. Dev-Primitives raise Terminal-Bench 4.0 resolution from 37.3% under Codex to 55.5% on the same backbone, Harness Primitives composed per task raise Terminal-Bench 2.0 Pass@1 from 60.0% for the seed harness to 72.2%, Tool Primitives raise ToolBench pass rate from 55.8% to 75.1%, and Navigation Primitives raise GAIA-Text-103 accuracy from 45.6% to 58.3%. On the 46 real-world tasks of our heelo.dev platform, Claude Opus 5.5 with Claude Code and GPT-6.1 Sol with Codex complete 9 each on their own and 39 and 35 when connected to HEELO through our MCP server, with 1.9$\times$ and 2.3$\times$ less time and 1.55$\times$ lower cost per completed task.
• Abstract（参考訳）: エージェントはどのようにして現実世界のタスクを終末に扱えるのか? 独自のハーネスを持つフロンティアモデルは、実世界のベンチマークでは依然として不足している: Terminal-Bench 4.0, GPT-5.6 Sol with Codex では、タスクの37.3%、Clude Code 51.8% では Claude Opus 5 である。 これらのタスクは、リソースの到達からそれを適用するまでのステップで失敗します。 既存のアプローチでは、リソースは手元に置かれるが、呼び出し元にそれを適用する能力は残されているため、それぞれがその能力を再構築する。 我々は、エージェントネイティブなプリミティブと、それをコンテキストで適用し、他のプリミティブと通信する常駐LLMとリソースを装備する再利用可能なユニットと、それらのプリミティブのライブラリから各タスクのハーネスを構築するハーネスエンジニアリングフレームワークであるHEELO(Evolving Agent-Native Primitives for the Last Mile to Real-World Tasks)を紹介する。 HEELOはタスクが必要とするプリミティブをタスク固有のグラフに構成し、環境からのエビデンスに対して結果を検証する。 HEELOを8つのプリミティブなファミリーでインスタンス化し、それぞれが1つのタスクのために構築され、20以上のベンチマークで評価します。 Dev-Primitives raise Terminal-Bench 4.0 resolution from 37.3% under Codex to 55.5% on the same backbone, Harness Primitives composed per task raise Terminal-Bench 2.0 Pass@1 from 60.0% for the seed harness to 72.2%, Tool Primitives raise ToolBench pass rate to 55.8% to 75.1%, Navigation Primitives raise GAIA-Text-103 accuracy to 45.6% to 58.3% Heelo.devプラットフォームの46の現実世界タスクでは、Claude Opus 5.5 with Claude CodeとGPT-6.1 Sol with Codexがそれぞれ9つ完了し、MSPサーバ経由でHEELOに接続した場合には39と35が完了した。

関連論文リスト

• WorkBorne: Discovering Agentic Tasks from Real-World Artifact Transitions [40.22835474278035]
  エージェントタスクのライフサイクル全体をモデル化するための中心的なプリミティブとして,アーティファクト遷移を利用する合成フレームワークであるWorkBorneを紹介する。 我々は1,061個のアーティファクトコーパスと7,882個のタスク環境を構築し、15,485個の高品質なトラジェクトリを生成し、53.6%が30個のアシスタントターンを超えた。
  論文  参考訳（メタデータ） (2026-10-10T13:37:47Z)
• Long-Horizon-Terminal-Bench 2.0: Automating Diverse Task Construction and Measuring Sustained Agent Progress [59.76726249334829]
  本稿では,LHTB 2.0(Long-Horizon-Terminal-Bench 2.0)について述べる。 LHTB 2.0は46のタスクを保存し、タスクと評価インフラの欠陥を修正し、31のタスクを拡張する。 拡張されたタスクは、体系的な再構築タスクパイプラインを通じて生成される。
  論文  参考訳（メタデータ） (2026-10-09T15:22:53Z)
• Recursive Synthesis for Long-Horizon Terminal Tasks [50.39352383646813]
  Recursive Synthetic Terminal Tasks (RST) は、大規模に長期の端末エージェントタスクを構築するためのフレームワークである。 RSTは37,484個の合成端末エージェントタスクを1タスクあたり0.05ドルで生成する。 軌道の微調整により、Qwen3.5-27BとQwen3.5-122B-A10Bはターミナルベンチ2、ターミナルベンチハード、ロングホライゾンターミナルベンチで最大10ポイント改善される。
  論文  参考訳（メタデータ） (2026-08-05T23:24:26Z)
• JobBench: Aligning Agent Work With Human Will [121.39878639038716]
  JobBenchは、専門家がデリゲートの優先度が高いと判断する上で、AIエージェントを評価する。 JobBenchは、35の職業にまたがる130のエージェントタスクをカバーしている。
  論文  参考訳（メタデータ） (2026-05-25T21:07:02Z)
• TerminalWorld: Benchmarking Agents on Real-World Terminal Tasks [23.863417507169697]
  TerminalWorldはスケーラブルなデータエンジンで、"in-the-wild"端末からの高忠実度評価タスクを自動的にリバースエンジニアリングする。 エンジンは1,530の検証されたタスクの完全なベンチマークを取得し、18の現実世界のカテゴリにまたがる。 TerminalWorldは、既存のExpert-Verifiedベンチマークとは異なる現実世界の端末機能をキャプチャする。
  論文  参考訳（メタデータ） (2026-05-21T14:24:43Z)
• Terminal-World: Scaling Terminal-Agent Environments via Agent Skills [52.39713754337834]
  エージェントスキルを中心的な合成プリミティブとして利用する完全自動化パイプラインである Terminal-World を紹介する。 我々は,5,723のトレーニング環境を構築し,端末-ワールド-8B/14B/32Bを6つのベンチマークで評価した。 Terminal-World-32B は Terminal-Bench 2.0 で Nemotron-Terminal-32B を +4.5 Pass@1 (31.5) で上回り、43.8 Pass@3 に達する。
  論文  参考訳（メタデータ） (2026-05-20T08:14:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。