論文の概要: Long-Horizon-Terminal-Bench 2.0: Automating Diverse Task Construction and Measuring Sustained Agent Progress

• arxiv url: http://arxiv.org/abs/2610.14146v1
• Date: Fri, 09 Oct 2026 15:22:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.014859
• Title: Long-Horizon-Terminal-Bench 2.0: Automating Diverse Task Construction and Measuring Sustained Agent Progress
• Title（参考訳）: Long-Horizon-Terminal-Bench 2.0:分散タスク構築の自動化と持続エージェントの進捗測定
• Abstract要約: 本稿では,LHTB 2.0(Long-Horizon-Terminal-Bench 2.0)について述べる。 LHTB 2.0は46のタスクを保存し、タスクと評価インフラの欠陥を修正し、31のタスクを拡張する。 拡張されたタスクは、体系的な再構築タスクパイプラインを通じて生成される。
• 参考スコア（独自算出の注目度）: 59.76726249334829
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-horizon terminal benchmarks measure whether an agent can sustain progress through extended workflows with process rewards, not only whether its final state passes a binary check. We present Long-Horizon-Terminal-Bench 2.0 (LHTB 2.0), an extension of Long-Horizon-Terminal-Bench that preserves its 46 original tasks while correcting task and evaluation-infrastructure defects and extending 31 tasks. LHTB 2.0 contains 77 tasks across 13 domains and eight task types. The extended tasks are produced through a systematic reconstruction-task pipeline. We start from a working scientific or engineering artifact, then use a parameterized reference implementation to generate multiple scenarios, reveal six as behavioral evidence, hold out three for evaluation, and use dense progress ladders to reward partial progress while preventing memorization of public outputs. We also extend the evaluation horizon from 90 minutes to three hours and record verifier checkpoints every 30 minutes, enabling direct measurement of sustained progress within a run. Across 1,145 scored model-task runs from 15 frontier models, GPT-6-astra leads with dense mean reward 0.69 and 37 tasks at R at least 0.95, followed by GPT-5.6-sol with dense mean reward 0.67 and 32 tasks at the same threshold. On the 30 reconstruction tasks, binary verifier scores average 0.221, whereas dense ladder scores average 0.653, showing that outcome-only evaluation discards substantial intermediate progress. LHTB 2.0 provides a broader, hardened, and process-aware testbed for studying reliable agent execution over hours.
• Abstract（参考訳）: ロングホライゾン端末ベンチマークは、最終状態がバイナリチェックをパスするだけでなく、プロセス報酬を伴う拡張ワークフローを通じて、エージェントが進捗を維持できるかどうかを測定する。 本稿では,LHTB 2.0(Long-Horizon-Terminal-Bench 2.0,Long-Horizon-Terminal-Bench 2.0,Long-Horizon-Terminal-Bench 2.0,Long-Horizon-Terminal-Bench 2.0)について述べる。 LHTB 2.0は13のドメインに77のタスクと8のタスクがある。 拡張されたタスクは、体系的な再構築タスクパイプラインを通じて生成される。 まず、科学的または工学的な成果物から始め、パラメータ化された参照実装を使用して複数のシナリオを生成し、行動証拠として6つを明らかにし、評価のために3つを保ち、部分的な進歩を報いながら、パブリックなアウトプットの記憶を防ぎながら、密集した進行ラグを使用します。 また,評価の地平線を90分から3時間に延長し,30分毎に検証器のチェックポイントを記録することにより,走行中の持続進行を直接測定する。 1,145点のモデルタスクは15のフロンティアモデルから実行され、GPT-6-astraはRで0.69点、Rで37点、GPT-5.6点のモデルタスクは0.67点、GPT-6-astraは32点である。 30の再構築作業では、バイナリ検証器が平均0.221点、高密度はしごが平均0.653点、結果のみの評価が実質的な中間的な進歩を欠いている。 LHTB 2.0は、数時間にわたって信頼できるエージェントの実行を研究するために、より広く、硬化し、プロセス対応のテストベッドを提供する。

関連論文リスト

• Recursive Synthesis for Long-Horizon Terminal Tasks [50.39352383646813]
  Recursive Synthetic Terminal Tasks (RST) は、大規模に長期の端末エージェントタスクを構築するためのフレームワークである。 RSTは37,484個の合成端末エージェントタスクを1タスクあたり0.05ドルで生成する。 軌道の微調整により、Qwen3.5-27BとQwen3.5-122B-A10Bはターミナルベンチ2、ターミナルベンチハード、ロングホライゾンターミナルベンチで最大10ポイント改善される。
  論文  参考訳（メタデータ） (2026-08-05T23:24:26Z)
• LongHorizon-Harness: Advancing Long-Horizon Agents for Real-World Tasks [22.929016343684395]
  LongHorizon-Harnessはタスク状態を明示的に実行外に保持し、環境から独立して検証された事実でのみ更新する。 軽量なAgentAdapterは、ネイティブエージェントループを変更することなく、交換可能なモデルとバックエンドを使用する。
  論文  参考訳（メタデータ） (2026-08-03T09:32:21Z)
• Long-Horizon-Terminal-Bench: Testing the Limits of Agents on Long-Horizon Terminal Tasks with Dense Reward-Based Grading [46.911171278867585]
  Long-Horizon-Terminal-Benchは、9つのカテゴリにまたがる46の長距離タスクの終端ベンチマークである。 各タスクは、参照ソリューションまたはシミュレーションエンジンを備えたターミナルベンチスタイルのセットアップに従うが、さらにきめ細かいサブタスクに格付けされる。 我々は15のフロンティアモデルを評価し、エージェントがタスク毎に平均9.9Mトークンを消費していることを発見した。
  論文  参考訳（メタデータ） (2026-07-09T21:56:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。