論文の概要: The Horizon Gap: Planning, Memory, Execution, Training, and Evaluation for Long-Horizon LLM Agents
- arxiv url: http://arxiv.org/abs/2608.06663v1
- Date: Fri, 07 Aug 2026 00:19:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.307172
- Title: The Horizon Gap: Planning, Memory, Execution, Training, and Evaluation for Long-Horizon LLM Agents
- Title(参考訳): 長期LDMエージェントの計画・記憶・実行・訓練・評価
- Abstract要約: 得られた1,547枚のarXiv紙を26.8%の血液フィルターで解析した。
我々は、長い水平、長いコンテキスト、長期記憶という、日常的に混ざった3つの特性を曖昧にしている。
結果のみの信号は、水平線が長くなるにつれて非形式的になる。
- 参考スコア(独自算出の注目度): 7.159691098846351
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Frontier language models solve reasoning problems in a single forward pass that would have been research contributions years ago, yet fail at multi-hour tasks: losing track of earlier decisions, declaring half-finished work done, or drifting from goals. We call this the horizon gap and survey 1,547 arXiv papers (2024-2026) collected via systematic seed harvest with a disclosed 26.8% bleed filter, extended by targeted supplementation. We disambiguate three routinely conflated properties: long-horizon (task property: required steps), long-context (model property: token capacity), and long-term memory (system property: persistence across steps/sessions). We organize the corpus into six categories tracking a long-horizon task's lifecycle -- planning, memory, execution, training, evaluation, and foundations/safety -- crossed with an axis capturing where horizons are carried (within-context, within-task-beyond-context, or cross-task-persistent). Across all categories, we find the same pattern: outcome-only signals grow uninformative as horizons lengthen, and the field's response -- whether process reward models, credit assignment, or trajectory-level diagnostics -- manufactures denser step-level signals. We treat critical and diagnostic literature as first-class threads throughout, arguing that segregating critique from method would routinely split single papers across chapters. We close by naming open measurement problems: decomposing model versus harness capability, managing correlated bias in process-level signals used for both training and evaluation, and whether long-horizon reliability admits general predictive theory.
- Abstract(参考訳): 最前線の言語モデルは、何年も前に研究コントリビューションがあったが、複数時間のタスクで失敗する1つのフォワードパスで推論の問題を解決する。
これを地平線ギャップと呼び、対象補充によって拡張された26.8%の出血フィルターで、系統的な種子収穫によって収集された1,547 arXiv(2024-2026)を調査した。
long-horizon(タスクプロパティ:必要なステップ)、long-context(モデルプロパティ:トークンキャパシティ)、long-term memory(システムプロパティ:ステップ/セッション間の永続性)の3つです。
コーパスを6つのカテゴリに分類し、計画、メモリ、実行、トレーニング、評価、基礎/安全といった、長期にわたるタスクのライフサイクルを追跡する。
結果のみの信号は水平線が長くなるにつれて非形式的に成長し、プロセス報酬モデル、クレジット代入、トラジェクトリレベルの診断など、フィールドの応答はより密度の高いステップレベルの信号を生成する。
批判的・診断的文献を一流のスレッドとして扱い,方法から批判を分離することで,各章に1つの論文を分割する,と論じる。
我々は、モデルとハーネス能力の分解、トレーニングと評価の両方に使用されるプロセスレベルの信号の相関バイアスの管理、長期信頼性が一般的な予測理論を許容するかどうか、といったオープンな測定問題を命名することで、解決する。
関連論文リスト
- Training and Evaluating Diffusion Policies with Long Context Lengths [19.39755600541638]
コンテクスト長が短いものから長いものへと漸進的に増加するにつれて、ポリシーのパフォーマンスを最初にベンチマークする。
本稿では,複数のコンテキスト長で協調的にポリシーを訓練するためのトレーニングアルゴリズムを提案する。
我々は、従来提案されていた長文模倣学習のソリューションを再評価する。
論文 参考訳(メタデータ) (2026-06-15T09:19:34Z) - HIPIF: Hierarchical Planning and Information Folding for Long-Horizon LLM Agent Learning [51.95194664412812]
大規模言語モデル(LLM)は、幅広いタスクにまたがる自律エージェントとして強力な能力を示している。
長期LLMエージェント学習のための階層的計画と情報フォールディング(HIPIF)を提案する。
HIPIFはエージェントをエンドツーエンドにトレーニングし、明示的なサブゴールの周りに長い水平実行を組織すると同時に、完了したサブゴール履歴を折り畳み、長いコンテキスト干渉を減らす。
論文 参考訳(メタデータ) (2026-06-09T07:35:14Z) - MINTEval: Evaluating Memory under Multi-Target Interference in Long-Horizon Agent Systems [69.06764269022925]
本研究では,現在の記憶増強剤が現実的,干渉重大,長期的設定において果たす役割について検討する。
MINTEvalは、頻繁に更新される情報を備えた、長く高度に相互接続されたコンテキストを特徴とするベンチマークである。
MINTEvalは128.8kのトークンを平均で1インスタンスあたり1.8Mのトークンに拡張し、15.6kの質問応答ペアを持つ。
論文 参考訳(メタデータ) (2026-05-18T15:43:35Z) - On Training Large Language Models for Long-Horizon Tasks: An Empirical Study of Horizon Length [62.99653688239127]
形状訓練力学におけるタスク水平長の役割について検討する。
地平線長の増大はトレーニングのボトルネックとなる。
この制限に対処する上で,地平線低減が鍵となる原理であることを実証する。
論文 参考訳(メタデータ) (2026-05-04T13:25:05Z) - The Conversations Beneath the Code: Triadic Data for Long-Horizon Software Engineering Agents [1.9097591729497536]
我々は、トリアードデータの標準的インスタンス化は、2つの相補的な製品であると主張する。
このデータは12~18ヶ月で達成可能であり、すでに隣のフィールドで成熟していると我々は主張する。
論文 参考訳(メタデータ) (2026-05-04T05:37:36Z) - Odysseys: Benchmarking Web Agents on Realistic Long Horizon Tasks [67.44219836008348]
我々はOdysseysについて紹介する。Odysseysは、ライブインターネット上で評価された実世界のブラウジングセッションから得られた200のロングホライゾンWebタスクのベンチマークである。
その結果,2進パス/フェイル評価は長距離設定では不十分であり,各Odysseysタスクに平均6.1グレードのルーリックをアノテートするルーリックに基づく評価が導入された。
最強のモデルは44.5%の成功率に達しており、将来の改善の余地は十分にある。
論文 参考訳(メタデータ) (2026-04-27T20:05:41Z) - The Long-Horizon Task Mirage? Diagnosing Where and Why Agentic Systems Break [69.91172974854422]
HORIZONは、大規模言語モデル(LLM)エージェントの長期障害挙動を解析するためのクロスドメイン診断ベンチマークである。
我々は,複数のモデルファミリーのSOTA(State-of-the-art)エージェントを評価し,水平方向依存劣化パターンについて検討した。
本研究は, 長期薬物障害の系統的, クロスドメイン解析への最初の方法論的ステップを提供する。
論文 参考訳(メタデータ) (2026-04-13T19:11:42Z) - UltraHorizon: Benchmarking Agent Capabilities in Ultra Long-Horizon Scenarios [63.67884284105684]
textbfUltraHorizonは、複雑な現実世界の課題に不可欠な基礎的能力を測定する新しいベンチマークである。
エージェントは、隠されたルールを反復的に発見しなければならない、長期にわたる発見タスクで設計されている。
実験の結果, LLM-agents はこれらの設定において常に不利な成績を示し, ヒトは高いスコアを得ることができた。
論文 参考訳(メタデータ) (2025-09-26T02:04:00Z) - Toward Generalizable Evaluation in the LLM Era: A Survey Beyond Benchmarks [229.73714829399802]
この調査は、大規模言語モデルの台頭が評価に役立っている中核的な課題を調査する。
i) タスク固有のものから能力に基づく評価へと、知識、推論、指示に従うこと、マルチモーダル理解、安全性といったコア能力に関するベンチマークを再編成する。
この問題と、上記の2つのトランジションの中核的な課題を、メソッド、データセット、評価器、メトリクスの観点から検討する。
論文 参考訳(メタデータ) (2025-04-26T07:48:52Z) - Long-horizon Embodied Planning with Implicit Logical Inference and Hallucination Mitigation [7.668848364013772]
本稿では,RelePについて紹介する。
ReLEPは、微調整を通じて暗黙的な論理的推論を学習することで、コンテキスト内の例を使わずに、幅広い長距離タスクを完了することができる。
論文 参考訳(メタデータ) (2024-09-24T01:47:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。