論文の概要: Staying on Task: Testing the Foundations of Long-Horizon Agent Reliability
- arxiv url: http://arxiv.org/abs/2609.38712v1
- Date: Wed, 30 Sep 2026 00:49:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:26.891203
- Title: Staying on Task: Testing the Foundations of Long-Horizon Agent Reliability
- Title(参考訳): タスクに留まる - 長距離エージェントの信頼性の基礎をテストする
- Abstract要約: ロングホライゾン・エージェントは、繰り返し状態依存的な行動を維持するためにモデルを必要とする。
ロングトランスダクション(Long-Transduction)は、モデルが長期にわたってタスクを継続する能力をテストする。
- 参考スコア(独自算出の注目度): 38.21210288247665
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-horizon agentic workflows require models to sustain repeated state-dependent actions all while the context grows, sub-task complexity changes, and new data arrives. Each situation represents an independent axis along which an agent may fail. An agent reconciling a long ledger, for example, must repeatedly read its state, update the correct record, and preserve alignment across thousands of outputs. A model may accept the entire ledger yet lose its place or stop applying the operation consistently as generation proceeds. We introduce Long-Transduction, a controlled diagnostic that tests a model's ability to stay on task during long generation while continuously reading, mutating, and outputting input-context dependent operations such as arithmetic, sorting, variable lookups, and table transformations. Long-Transduction evaluation independently varies local task complexity, input data formatting, and context length isolate failures along each axis. We evaluate seven open-weight models, finding a 62.8\% decrease when scaling context length from 4-128K, a 36.5\% decrease when varying input format, and a 39.9\% decrease by increasing local task complexity. Together, these failures represent critical liabilities in long-horizon agentic workflows.
- Abstract(参考訳): ロングホライズンエージェントワークフローでは、コンテキストが拡大し、サブタスクの複雑さが変化し、新しいデータが到着する間、状態依存アクションの継続をモデルに要求する。
各状況は、エージェントが失敗する可能性のある独立した軸を表す。
例えば、長い台帳を調停するエージェントは、その状態を繰り返し読み、正しいレコードを更新し、何千もの出力の整列を維持する必要がある。
モデルは、台帳全体を受け入れるが、その場所を失うか、世代が進むにつれて、操作を一貫して適用するのをやめる。
本稿では,Long-Transductionについて紹介する。Long-Transductionは,入力コンテキストに依存した演算(算術,ソート,変数ルックアップ,テーブル変換など)を連続的に読み出し,変更し,出力しながら,モデルが長時間タスクに留まる能力をテストするための制御診断である。
長期変換評価は、各軸に沿ったローカルタスクの複雑さ、入力データフォーマッティング、コンテキスト長分離障害を独立に変化させる。
7つのオープンウェイトモデルを評価し、コンテキスト長を4-128Kにスケーリングすると62.8\%、入力形式を変えると36.5\%、ローカルタスクの複雑さを増すと39.9\%減少することを示した。
これらの失敗は、長期のエージェントワークフローにおける重要な負債を表している。
関連論文リスト
- StateComp: Learning When to Compress History in Long Horizon Agents [55.84813053778976]
本研究では,現在エージェントの状態に応じて過去のインタラクションを安全に圧縮できるフレームワークであるState Conditioned Compression(StateComp)を提案する。
WorkBenchBuddyの実験では、StateCompはタスク性能を維持しながら総エージェントと要約トークンを52.27%削減し、表現抽出において12.67倍の高速化を実現している。
論文 参考訳(メタデータ) (2026-09-23T03:34:08Z) - The Unreliable Progress Bar: Can LLM Agents Reliably Report Task Progress Throughout Execution? [9.023267560784042]
最近の大規模言語モデルは、エージェントフレームワークがタスクを継続するか停止するかを決定するために使用するタスクプログレス信号を出力することができる。
我々は、この能力を、公開ベンチマーク2$-benchとStageIFで評価し、タスクのライフサイクル全体にわたってレポートチェックポイントを配置する制御されたテストベッドで評価する。
レポートの信頼性はタスクが到達した段階によって異なり、テスト対象のほぼすべてのモデルがある程度の段階で信頼性があり、他の段階では信頼性が低いことが分かっています。
論文 参考訳(メタデータ) (2026-09-08T11:25:31Z) - StructAgent: Harness Long-horizon Digital Agents with Unified Causal Structure [29.25570731801935]
StructAgentは、コンパクトで検証可能なタスク進捗を維持するための状態中心のフレームワークである。
明確な進捗チェックポイント、エビデンス駆動のタスク補完、ターゲットとする障害回復、ツールサポートされた実行を可能にします。
デスクトップ環境を超えてMinecraftに一般化し、私たちのデザインの汎用性を実証します。
論文 参考訳(メタデータ) (2026-07-13T10:48:25Z) - LongDS-Bench: On the Failure of Long-Horizon Agentic Data Analysis [29.918718173329037]
LongDSは、ロングホライズン、マルチターンデータ分析のためのベンチマークである。
エージェントは進化する分析状態を維持し、更新し、復元し、構成しなければならない。
LongDSは現実世界のKaggleノートブックから構築された68のタスクで構成されている。
論文 参考訳(メタデータ) (2026-05-28T18:00:20Z) - Agents Learn Their Runtime: Interpreter Persistence as Training-Time Semantics [4.774525456207306]
ツール拡張LDMは、自然言語推論と実行可能なPythonアクションをインターリーブするエージェントとして、ますます多くデプロイされている。
インタプリタの永続化は単に実行時の足場なのか、それともエージェントがインタープリタの使い方を学習する方法を形作るトレーニングデータの特性なのかを問う。
ワンショットソリューションを避けるために設計された、部分的に観測可能な最適化タスクの手続き的に生成されたファミリーであるOpaque Knapsackを紹介する。
論文 参考訳(メタデータ) (2026-03-01T18:08:02Z) - InfiAgent: An Infinite-Horizon Framework for General-Purpose Autonomous Agents [36.740230738304525]
InfiAgentは、タスクの持続時間に関係なく、エージェントの推論コンテキストを厳密に拘束する。
20Bのオープンソースモデルを持つInfiAgentは、より大きなプロプライエタリなシステムと競合する。
論文 参考訳(メタデータ) (2026-01-06T17:35:57Z) - LOCOST: State-Space Models for Long Document Abstractive Summarization [76.31514220737272]
長いコンテキスト入力を持つ条件付きテキスト生成のための状態空間モデルに基づくエンコーダデコーダアーキテクチャであるLOCOSTを提案する。
計算複雑性が$O(L log L)$の場合、このアーキテクチャは疎注意パターンに基づく最先端モデルよりもはるかに長いシーケンスを処理できる。
論文 参考訳(メタデータ) (2024-01-31T15:33:37Z) - Exposing and Addressing Cross-Task Inconsistency in Unified
Vision-Language Models [80.23791222509644]
一貫性のないAIモデルは、人間のユーザーによって不安定で信頼できないと見なされている。
最先端のビジョン言語モデルは、タスク間の驚くほど高い一貫性のない振る舞いに悩まされている。
本稿では,大規模で自動生成されるクロスタスクコントラスト集合上で計算されたランク相関に基づく補助訓練目標を提案する。
論文 参考訳(メタデータ) (2023-03-28T16:57:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。