論文の概要: Benchmarks Are Surprisingly Compaction-Friendly

• arxiv url: http://arxiv.org/abs/2610.31778v1
• Date: Thu, 22 Oct 2026 18:15:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.260441
• Title: Benchmarks Are Surprisingly Compaction-Friendly
• Title（参考訳）: ベンチマークは意外とコンパクト感に満ちている
• Abstract要約: ロングホライズンエージェントタスクは、エージェントをコンテキストウィンドウを越えてプッシュしています。 タスクを継続するためには、エージェントの足場がコンテキストウィンドウを解放する必要がある。 エージェントは、タスクの制約や指示、あるいは以前の決定の背後にある彼らの推論を静かに失うことができる。
• 参考スコア（独自算出の注目度）: 33.2197406196638
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long horizon agentic tasks are now pushing LLM agents past their context window. To continue the task, the agent scaffold has to free up the context window, a process known as context compaction. Compaction is generally lossy by design: agents can silently lose task constraints, instructions, or their reasoning behind earlier decisions. Although compaction is a standard component of coding agent scaffolds, it has not been studied systematically with frontier models on realistic, long horizon agentic tasks. Previous work evaluate smaller open weight models on toy or synthetic trajectories. We fix the agent scaffold (OpenCode), implement five compaction strategies inside it, and evaluate three frontier models on three long horizon benchmarks (PaperBench, ProgramBench, PostTrainBench). For the two 1M context models, the compaction threshold does not measurably affect the task performance, whereas GPT-5.3-Codex, the model with the smallest context window, performs worse at lower thresholds on PaperBench and, less clearly, on PostTrainBench. No compaction method outperforms default self-summarization, and methods that discard more content cost some models up to 20 points while leaving other models the same. Compaction can, however, silently remove task constraints: on ProgramBench, the first compaction summary already drops about one third of the task's anticheating rules on average, and this rises monotonically with the number of compactions. On real user-agent sessions from SWE-chat, instructions about how the agent should work and what it should not do are dropped around 6 times more than specifications of what to build. We argue that current benchmarks are compaction-friendly: i.e., the objective is fixed and the agent's progress stays on disk, so most of what compaction discards can be recovered, except constraints that don't exist anywhere else.
• Abstract（参考訳）: ロングホライズンエージェントタスクが、LLMエージェントをコンテキストウィンドウを越えてプッシュするようになりました。 タスクを継続するには、エージェントの足場がコンテキストウィンドウ(コンテキスト圧縮と呼ばれるプロセス)を解放する必要がある。 エージェントは、タスクの制約や指示、あるいは以前の決定の背後にある彼らの推論を静かに失うことができる。 コンパクト化はコーディングエージェントの標準的な構成要素であるが、現実的で長い水平なエージェントタスクにおいてフロンティアモデルを用いて体系的に研究されていない。 従来の研究は、おもちゃや合成軌道上のより小さなオープンウェイトモデルを評価していた。 エージェントスキャフォールド(OpenCode)を修正し、内部で5つのコンパクト化戦略を実装し、3つの長い地平線ベンチマーク(PaperBench、ProgramBench、PostTrainBench)でフロンティアモデルを評価する。 一方、最小のコンテキストウィンドウを持つモデルであるGPT-5.3-Codexは、PaperBenchやPostTrainBenchではより低いしきい値で性能が低下する。 圧縮法はデフォルトの自己サマリーよりも優れており、より多くのコンテンツを捨てる方法は、他のモデルと同じままで、最大20ポイントのコストがかかる。 プログラムベンチでは、最初のコンパクト化の要約は、タスクのアンチチーティングルールの約3分の1を平均で減少させており、これはコンパクト化の数とともに単調に上昇する。 SWE-chatの実際のユーザエージェントセッションでは、エージェントがどのように機能し、それがすべきでないかについての指示が、何を構築するかの仕様の約6倍の頻度でドロップされる。 すなわち、目的が固定され、エージェントの進捗はディスク上に留まっているので、コンパクト化の破棄のほとんどは、他のどこにも存在しない制約を除いて、回復できる。

関連論文リスト

• Trajectory-Level Speculation with Semantic Verification for Tool-Using Agents [32.90996574971153]
  SpecAgentは、強力なモデルを各ステップの著者から弱いモデルで作成されたステップのレビュアーに変換するコラボレーションプロトコルです。 検証は自動回帰復号を並列プリフィルに置き換えるため、強いモデルは全てのステップではなく短い検証と時折修正のみを復号する。
  論文  参考訳（メタデータ） (2026-10-15T08:06:32Z)
• Maximising Transparency in Context Compaction Improves Retention of Facts and Commitments for Lightweight Coding Agents [0.0]
  本稿では,オープンソースのPi符号化エージェントのための簡易な決定論的手法であるPalper-Compactを提案する。 ユーザとアシスタントのコンテキストにおける散文がモデルやアルゴリズムによって変更されることを保証し、圧縮が情報が削除された場合に明示的にフラグを付ける。 提案手法は,Piの既定のモデル記述要約圧縮と,類似した手法を用いた一般的な決定法であるpi-vccとを比較した。
  論文  参考訳（メタデータ） (2026-10-14T12:43:44Z)
• Lost in Compaction: Evaluating Side-Constraint Loss under Context Compaction [15.50071698912462]
  コンテキストウィンドウがプレッシャー下にある場合、LLMシステムは継続するタスクを継続するために事前コンテキストをコンパクトにする。 この損失を定量化するために,3つの長期コンテキストシナリオにまたがるコンパクタ評価スイートComp matterを紹介した。 3つのシナリオで90%以上の保持を達成し,プラグイン・アンド・プレイモジュールとしてコンパクタとともに動作するSC対応抽出器を提案する。
  論文  参考訳（メタデータ） (2026-07-31T16:04:00Z)
• PACT: Preserving Anchored Cores in Task-vectors for Model Merging [68.52455853496585]
  モデルマージは、複数のタスク固有の細調整されたモデルを単一のマルチタスクモデルに結合することを目的としている。 既存のモデルマージアプローチのほとんどは、Task Arithmeticパラダイムに従っています。 本研究では,タスクベクトル内の固定されたタスク固有コア(LBW次元)を,事前学習した重みのサブ空間と補間を整合させることにより保存するPACTを提案する。
  論文  参考訳（メタデータ） (2026-06-17T02:48:35Z)
• ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents [59.626170560327274]
  textbfClawForgeは、ステートコンフリクト下で実行可能なコマンドラインカテゴリのためのジェネレータベースのベンチマークフレームワークである。 私たちはこのフレームワークをClawForge-Bench(17のシナリオ、6の能力カテゴリ)としてインスタンス化します。
  論文  参考訳（メタデータ） (2026-05-13T21:34:08Z)
• Terminus-4B: Can a Smaller Model Replace Frontier LLMs at Agentic Execution Tasks? [3.636948650519796]
  スモール言語モデル(SLM)はエージェント端末実行のタスクにおいてフロンティアモデルに匹敵する性能を達成できる。 教師付ファインタニング(SFT)と強化学習(RL)による訓練後Qwen3-4BモデルであるTerminus-4Bを提案する。 Terminus-4Bは、No Subagentベースラインと比較して、メインエージェントのトークン使用量を最大30%削減できることがわかった。
  論文  参考訳（メタデータ） (2026-05-04T22:24:24Z)
• AgentFloor: How Far Up the tool use Ladder Can Small Open-Weight Models Go? [0.0]
  AgentFloorは6層機能ラグとして整理された決定論的30タスクベンチマークである。 我々は,0.27Bから32Bパラメータの16個のオープンウェイトモデルと16,542回のスコアランでGPT-5を評価した。 この結果から, 小型・中級のオープンウェイトモデルでは, 短期的, 構造的ツールの使用作業の多くに十分であることがわかった。
  論文  参考訳（メタデータ） (2026-05-01T01:25:56Z)
• GenericAgent: A Token-Efficient Self-Evolving LLM Agent via Contextual Information Density Maximization (V1.0) [56.81743709880371]
  Long-Horizon Large Language Model (LLM) エージェントは、コンテキストによって根本的に制限される。 長い水平性能は、文脈長ではなく、有限の文脈予算内で意思決定関連情報がどれだけ維持されているかによって決定される。 我々は、情報密度とコンテキストの1つの原理に基づいて構築された汎用的自己進化型LLMエージェントシステムであるGenericAgent(GA)を提案する。
  論文  参考訳（メタデータ） (2026-04-18T17:59:15Z)
• Visual Document Understanding and Question Answering: A Multi-Agent Collaboration Framework with Test-Time Scaling [83.78874399606379]
  テスト時間スケーリングを備えたマルチエージェント協調フレームワークであるMACTを提案する。 4つの異なる小規模エージェントから構成され、明確に定義された役割と効果的なコラボレーションがある。 一般および数学的タスクの能力を犠牲にすることなく、より小さなパラメータスケールで優れた性能を示す。
  論文  参考訳（メタデータ） (2025-08-05T12:52:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。