論文の概要: Is Your Long-Horizon Benchmark Really Deep? Measuring and Synthesizing Depth in Terminal Tasks

• arxiv url: http://arxiv.org/abs/2611.01927v1
• Date: Sun, 01 Nov 2026 14:05:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-12 14:06:15.378621
• Title: Is Your Long-Horizon Benchmark Really Deep? Measuring and Synthesizing Depth in Terminal Tasks
• Title（参考訳）: あなたのロングホライゾンベンチマークは本当に深くなっているか?ターミナルタスクにおける深さの測定と合成
• Abstract要約: ロングホライゾンターミナルタスクはエージェントの評価と訓練に使用される。 本稿では,その作業,必要な操作数,深さによる端末タスクについて述べる。 生成エージェントが実際のソフトウェア環境で各タスクを1セグメントずつ書き込むDEPTHを提案する。
• 参考スコア（独自算出の注目度）: 44.16784900371115
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-horizon terminal tasks are used to evaluate and train agents. Human-curated datasets are scarce, so many synthesis methods have emerged. They usually measure the length of a task by the turns a model needs to pass it, and its difficulty by labels the LLM sets during generation. We find, however, that the turn count largely reflects the habits of the model, not only the demands of the task, and that the labels barely track how often models pass. We describe a terminal task by its work, the number of operations it requires, and its depth, the number of turns that must happen in sequence because the commands of each turn can only be chosen after reading the output of the previous one. Estimating depth as the smallest turn cap, stated to the agent, under which the task passes, we audit 734 tasks from six existing datasets. Synthesis has mostly added work, not depth: 94% of the solved synthetic tasks pass within three turns, yet depth, unlike the turn count, predicts difficulty beyond work. We propose DEPTH, in which a generation agent writes each task one segment at a time in a real software environment, carrying out each segment before writing it and starting the next from the state it leaves. Our 105 tasks exceed every audited dataset in depth and work, and none of six current models passes half of them. Fine-tuning Qwen3-8B on runs from these tasks improves it on two terminal benchmarks.
• Abstract（参考訳）: ロングホライゾンターミナルタスクはエージェントの評価と訓練に使用される。 人為的なデータセットは乏しいため、多くの合成方法が出現している。 それらは通常、モデルが通過する必要のあるターンによってタスクの長さを計測し、その困難さは世代間LSMセットにラベルを付けることで表される。 しかしながら、ターンカウントは、タスクの要求だけでなく、モデルの習慣を反映しており、ラベルはモデルの通過頻度をほとんど追跡していない。 我々は,その作業による端末タスク,必要な操作数,深度,各ターンのコマンドは,前のターンの出力を読んだ後にのみ選択できるため,順番に行う必要があるターン数について記述する。 タスクが通過するエージェントに述べられている最小のターンキャップとして深さを推定し、既存の6つのデータセットから734のタスクを監査する。 解決された合成タスクの94%は3ターン以内で通過するが、ターンカウントとは異なり、作業以上の困難を予測している。 生成エージェントが実際のソフトウェア環境で各タスクを一度に1セグメントずつ書き、各セグメントを書いてから書き出し、次に残す状態から開始するDEPTHを提案する。 私たちの105のタスクは、深さと作業で監査されたすべてのデータセットを超えています。 これらのタスクから実行するQwen3-8Bの微調整は、2つの端末ベンチマークで改善される。

関連論文リスト

• Staying on Task: Testing the Foundations of Long-Horizon Agent Reliability [38.21210288247665]
  ロングホライゾン・エージェントは、繰り返し状態依存的な行動を維持するためにモデルを必要とする。 ロングトランスダクション(Long-Transduction)は、モデルが長期にわたってタスクを継続する能力をテストする。
  論文  参考訳（メタデータ） (2026-09-30T00:49:13Z)
• Recursive Synthesis for Long-Horizon Terminal Tasks [50.39352383646813]
  Recursive Synthetic Terminal Tasks (RST) は、大規模に長期の端末エージェントタスクを構築するためのフレームワークである。 RSTは37,484個の合成端末エージェントタスクを1タスクあたり0.05ドルで生成する。 軌道の微調整により、Qwen3.5-27BとQwen3.5-122B-A10Bはターミナルベンチ2、ターミナルベンチハード、ロングホライゾンターミナルベンチで最大10ポイント改善される。
  論文  参考訳（メタデータ） (2026-08-05T23:24:26Z)
• Long-Horizon-Terminal-Bench: Testing the Limits of Agents on Long-Horizon Terminal Tasks with Dense Reward-Based Grading [46.911171278867585]
  Long-Horizon-Terminal-Benchは、9つのカテゴリにまたがる46の長距離タスクの終端ベンチマークである。 各タスクは、参照ソリューションまたはシミュレーションエンジンを備えたターミナルベンチスタイルのセットアップに従うが、さらにきめ細かいサブタスクに格付けされる。 我々は15のフロンティアモデルを評価し、エージェントがタスク毎に平均9.9Mトークンを消費していることを発見した。
  論文  参考訳（メタデータ） (2026-07-09T21:56:37Z)
• ChainWorld: Composing Long-Horizon Desktop Workloads from Atomic OSWorld Tasks [43.05751848688531]
  ChainWorldは、アトミックOSWorldタスクを長期のデスクトップワークロードに構成する。 単ターン評価では、全てのタスクが1つのプロンプトでまとめられる。 マルチターン評価では、タスクが一度にひとつ明らかにされる。
  論文  参考訳（メタデータ） (2026-06-19T18:00:14Z)
• AgentSynth: Scalable Task Generation for Generalist Computer-Use Agents [60.881609323604685]
  Agent Synthはスケーラブルで費用効率のよいパイプラインで、高品質なタスクとトラジェクトリデータセットを自動的に合成する。 我々のパイプラインは1軌道あたりの平均コストが0.60ドルで、人間のアノテーションよりも桁違いに安い。
  論文  参考訳（メタデータ） (2025-06-17T05:46:52Z)
• Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
  既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。 タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。 我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
  論文  参考訳（メタデータ） (2022-10-12T15:02:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。