論文の概要: LongHorizon-Harness: Advancing Long-Horizon Agents for Real-World Tasks
- arxiv url: http://arxiv.org/abs/2608.01964v1
- Date: Mon, 03 Aug 2026 09:32:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.470115
- Title: LongHorizon-Harness: Advancing Long-Horizon Agents for Real-World Tasks
- Title（参考訳）: LongHorizon-Harness: リアルタイムタスクのためのLongHorizon Agentsの改善
- Abstract要約: LongHorizon-Harnessはタスク状態を明示的に実行外に保持し、環境から独立して検証された事実でのみ更新する。
軽量なAgentAdapterは、ネイティブエージェントループを変更することなく、交換可能なモデルとバックエンドを使用する。
- 参考スコア（独自算出の注目度）: 22.929016343684395
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language model (LLM) agents increasingly undertake long-horizon tasks that require sustained reasoning, tool use, and revision across many interdependent steps. However, existing agent harnesses maintain task execution, task state, and completion assessment within a growing context, making the state difficult to track and allowing incorrect self-assessments to propagate into later decisions. We reformulate long-horizon execution as a task-state management problem and propose LongHorizon-Harness, which maintains the task state explicitly outside execution and updates it only with facts independently verified from the environment. Its Manage-Execute-Audit(MEA) loop uses a manager to maintain the task state and determine the next subtask, a fresh-context executor to perform it, and a read-only auditor to verify the resulting environment state before the next round. A lightweight AgentAdapter supports interchangeable model and harness backends without modifying their native agent loops. LongHorizon-Harness improves Qwen~3.7-Plus from 51.8% to 80.7% on WeaveBench, from 69.7% to 77.2% on Terminal-Bench~2.1, and from 2.8% to 8.3% on OSWorld~2.0. It also raises Claude Opus~4.7 from 20.0% to 34.3% on an OSWorld2.0 subset, demonstrating consistent gains across models, harnesses, and interaction domains.
- Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、持続的な推論、ツールの使用、多くの相互依存ステップの修正を必要とする長い水平タスクをますます実行している。
しかし、既存のエージェントは、成長するコンテキスト内でタスクの実行、タスク状態、完了の評価を維持し、状態の追跡が難しくなり、誤った自己評価が後続の判断に伝播することを可能にする。
本研究では,タスク状態管理問題として長期実行を再構築し,タスク状態を明示的に外部に保持し,環境から独立に検証した事実のみを更新するLongHorizon-Harnessを提案する。
その管理-実行-監査(MEA)ループは、マネージャを使用してタスク状態を維持し、次のサブタスクを決定する。
軽量なAgentAdapterは、ネイティブエージェントループを変更することなく、交換可能なモデルとバックエンドを使用する。
LongHorizon-Harness は Qwen~3.7-Plus を WeaveBench で51.8% から 80.7% に改善し、 Terminal-Bench~2.1 で69.7% から 77.2% に改善し、OSWorld~2.0 で 2.8% から 8.3% に改善した。
また、Claude Opus~4.7をOSWorld2.0サブセットで20.0%から34.3%に引き上げ、モデル、ハーネス、インタラクションドメイン間で一貫した利得を示す。
関連論文リスト
- OneDayAgent: Towards a Long-Horizon Harness for Autonomous Agents [52.15259607762389]
自律型エージェントのための長距離ハーネスであるOneDayAgentを紹介する。
OneDayAgentはオープンなリクエストをマネージドな実行プロセスに変換する。
我々は104のタスクでAgentIF-OneDay上でOneDayAgentを評価する。
論文 参考訳（メタデータ） (2026-08-04T17:55:41Z) - StructAgent: Harness Long-horizon Digital Agents with Unified Causal Structure [29.25570731801935]
StructAgentは、コンパクトで検証可能なタスク進捗を維持するための状態中心のフレームワークである。
明確な進捗チェックポイント、エビデンス駆動のタスク補完、ターゲットとする障害回復、ツールサポートされた実行を可能にします。
デスクトップ環境を超えてMinecraftに一般化し、私たちのデザインの汎用性を実証します。
論文 参考訳（メタデータ） (2026-07-13T10:48:25Z) - Long-Horizon-Terminal-Bench: Testing the Limits of Agents on Long-Horizon Terminal Tasks with Dense Reward-Based Grading [46.911171278867585]
Long-Horizon-Terminal-Benchは、9つのカテゴリにまたがる46の長距離タスクの終端ベンチマークである。
各タスクは、参照ソリューションまたはシミュレーションエンジンを備えたターミナルベンチスタイルのセットアップに従うが、さらにきめ細かいサブタスクに格付けされる。
我々は15のフロンティアモデルを評価し、エージェントがタスク毎に平均9.9Mトークンを消費していることを発見した。
論文 参考訳（メタデータ） (2026-07-09T21:56:37Z) - OSWorld2.0: Benchmarking Computer Use Agents on Long-Horizon Real-World Tasks [98.07146747892239]
OSWorld 2.0は、日常的および専門的なタスクにまたがる108の長い水平コンピュータ使用のベンチマークである。
各タスクは現実的なエンド・ツー・エンドのワークフローを表しており、人間のユーザーの中央値は1.6時間である。
論文 参考訳（メタデータ） (2026-06-28T17:59:17Z) - WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation [88.10947115397971]
この研究でWildClawBenchは、6つのテーマのカテゴリにまたがる60の人間によるバイリンガルなマルチモーダルタスクのネイティブランタイムベンチマークである。
各タスクは、約8分間のウォールクロック時間と20以上のツールコールで実行されます。
グラディングはハイブリッドであり、決定論的ルールベースのチェック、副作用の環境状態監査、意味的検証のためのLLM/VLM判定を組み合わせている。
論文 参考訳（メタデータ） (2026-05-11T17:49:43Z) - ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。
現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。
最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
論文 参考訳（メタデータ） (2026-04-26T16:05:02Z) - Structural Verification for Reliable EDA Code Generation without Tool-in-the-Loop Debugging [0.6843491191969066]
本稿では,ツール・イン・ザ・ループのデバッグを,実行前に構造的正しさを強制することで除去することを提案する。
シングルステップタスクでは,パスレートが73.0% (LLM+RAG) から76.4% (tool-in-loop) から82.5% に向上する。
マルチステップタスクでは、パスレートは30.0%から70.0%に改善され、さらに軌道レベルの反射で84.0%に改善される。
論文 参考訳（メタデータ） (2026-04-20T20:58:52Z) - Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces [126.23612941699565]
Terminal-Bench 2.0は、現実世界の問題に触発されたコンピュータ端末環境における89のタスクからなるベンチマークである。
ベンチマークでは、フロンティアモデルとエージェントのスコアが65%未満であることが示されています。
将来的にはhttps://www.tbench.ai/で開発者や研究者を支援するために、データセットと評価ハーネスを公開しています。
論文 参考訳（メタデータ） (2026-01-17T01:29:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。