論文の概要: Compact-Bench: Measuring What Context Compaction Costs Long-Horizon Coding Agents

• arxiv url: http://arxiv.org/abs/2610.31710v2
• Date: Wed, 28 Oct 2026 07:59:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-30 22:39:27.477351
• Title: Compact-Bench: Measuring What Context Compaction Costs Long-Horizon Coding Agents
• Title（参考訳）: コンパクトベンチ:長期符号化エージェントのコンテクスト圧縮コストの測定
• Abstract要約: Compact-Benchは、共有リポジトリ状態からの完全な履歴と要約のみの継続をペアリングする。 35のSWEベンチ修理、146のエージェントセッション、106のプロダクションチェーンをカバーしている。 14個以上のサマーバックボーンの損傷は、22回のフルヒストリー成功の5-64%から安定している。
• 参考スコア（独自算出の注目度）: 77.4807734887409
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Context compaction lets long-horizon coding agents continue beyond their context windows, but can erase the state needed to finish a task. Prior evaluations measure efficiency, retained information, or end-to-end success, leaving the effect of a specific history replacement difficult to isolate. Compact-Bench pairs full-history and summary-only continuations from a shared repository state, and evaluates recurring details and successive production compactions. It covers 35 SWE-bench repairs, 146 agentic sessions, and 106 production chains. Across 14 summarizer backbones, stable damage ranges from 5-64% of 22 full-history successes: Claude Opus 4.8 preserves the most repairs, while DeepSeek-Flash damages the most. With Kimi-K3 as summarizer, the Kimi Code prompt preserves the most task continuations (19/22), whereas Claude Code retains the most recurring details (15.0%). LLM summaries retain at most 16.0% of recurring details, compared with 79.1% for mechanical extraction; production summaries retain 15.7% at the first boundary. Failures recur across methods: one repair is damaged by 13/14 backbones, and another by all 5 prompts. These results show that reliable compaction requires preserving the progress needed to complete a task, and that retaining relevant information alone does not ensure successful continuation. Code is available at https://github.com/cai-jianfeng/compact-bench and data is available at https://huggingface.co/datasets/caijanfeng/compact-bench.
• Abstract（参考訳）: コンテキスト圧縮により、長期のコーディングエージェントはコンテキストウィンドウを超えて継続できるが、タスクを終了するために必要な状態を消去することができる。 事前評価では、効率性、保持情報、エンド・ツー・エンドの成功を計測し、特定の履歴置換の効果を分離することが困難である。 Compact-Benchは、共有リポジトリ状態から完全な履歴と要約のみの継続をペアリングし、繰り返しの細部と連続した生産のコンパクト化を評価する。 35のSWEベンチ修理、146のエージェントセッション、106のプロダクションチェーンをカバーしている。 14のサマリナーバックボーンで、安定したダメージは22のフルヒストリー成功の5-64%から変化している: Claude Opus 4.8は最も修復を保ち、DeepSeek-Flashは最も損傷を受けやすい。 Kimi-K3 を要約すると、Kimi Code はタスクの継続(19/22)をプロンプトするが、Claude Code は最も頻繁な詳細(15.0%)を保っている。 LLMサマリーは、機械的抽出では79.1%、生産サマリーは15.7%である。 1つの修復は13/14のバックボーンで損傷し、もう1つは5つのプロンプトで損傷する。 これらの結果から,信頼性の高いコンパクト化にはタスク完了に必要な進捗の保存が必要であり,関連する情報の保持だけでは継続が成功しないことが示された。 コードはhttps://github.com/cai-jianfeng/compact-benchで、データはhttps://huggingface.co/datasets/caijanfeng/compact-benchで入手できる。

関連論文リスト

• SWE-Shift: Evaluating Coding Agents in Evolving Workspaces [59.99170893706881]
  ソフトウェア開発では、エージェントが動作している間、コード、依存関係、ランタイム状態、要件が変更される可能性がある。 我々は,このような中間実行変化下でのコーディングエージェント評価のベンチマークであるSWE-Shiftを紹介する。 クリーンな成功よりもシフトの少ない17のコーディングエージェントシステムを評価した。
  論文  参考訳（メタデータ） (2026-10-23T05:47:59Z)
• Last Secure Code Benchmark: Is the Code You Vibe Secure? [55.718488362738924]
  Last Secure Code Benchmarkは、コーディングエージェントによるセキュアコード生成の包括的な評価である。 450のタスクは7つの広く使われている言語と24のCWEにまたがっており、2025年のCWEトップ25の21と、上位10のKEVの弱点の8つが含まれている。 最高のモデルは、すべてのビブコーディング設定にまたがる脆弱性シナリオの12%に過ぎません。
  論文  参考訳（メタデータ） (2026-10-10T09:42:56Z)
• LexiconVLA: Learning Reusable Atomic Action Codebooks for Unseen Tasks [52.045695649147966]
  クロスタスク再利用のための検索可能な原子-作用レキシコンを提案する。 グローバルかつ詳細なコードブックは、共有インタラクション構造ときめ細かい実行のバリエーションをキャプチャする。 視覚-原子的行動アライメントは、視覚状態変化からの軌道再構成と、行動コードからの視覚的結果予測を結合する。
  論文  参考訳（メタデータ） (2026-09-29T05:45:52Z)
• Relic: From Multi-Agent Collaboration to Persistent Organizational Capability [37.80629799707573]
  繰り返し発生するコラボレーションの失敗を組織所有の実行可能なプロトコルに変えるRelicを紹介します。 メンバーは目に見える仕事を反映し、ルールを提案し、採用を管理します。 新たなメンバ転送では、動作の正確性は25.4%で、継承されたプロトコルが無く、34.6%が可読性テキストと同じルールで、41.2%が実行可能バインディングである。
  論文  参考訳（メタデータ） (2026-09-26T21:55:49Z)
• Persistent Billable State: Denial-of-Wallet Attacks and Defenses in Tool-Calling LLM Agents [4.976922673853743]
  LLMエージェントはターン間の状態を保存するためにホストランタイムに依存している。 ランタイムが外部ツールを後続のモデル入力に戻すと、プロバイダはそれを再び測定する。 我々は、保持されたコンテンツの持続的な請求可能な状態を呼び出し、それが後続の請求可能なコンテキストに入るかどうかについてのホストの決定を形式化する。
  論文  参考訳（メタデータ） (2026-09-23T13:45:26Z)
• CliffCompaction: Cost-Efficient Compaction for Long-Horizon Coding Agents [17.617116772190908]
  我々は,コンテキスト下でのコストを最大50%削減する自動演算技術であるCliffCompactionを開発した。 CliffCompactionのロールアウトあたりの節約により、テスト時間スケーリングのパフォーマンス-コストのトレードオフがより効率的になる。 CliffCompactionは、コンテンツを切り落としたり、リフレッシュしたり、書き直したりするだけで、コンパクトな情報を忠実に保ちます。
  論文  参考訳（メタデータ） (2026-09-22T17:55:59Z)
• Recursive Experiential-Working Memory Evolution for Long-Horizon Agent Harnesses [83.32611586724165]
  Recurisは、ロングホライゾンエージェントハーネスのためのExperiential-Working Memoryアーキテクチャである。 Work Memoryはタスクの進捗を追跡し、Experiential Memoryからスキル選択をガイドする。 4つのロングホライズンベンチマークと10のモデルでRecurisは37のモデルベンチマークペアのうち35のタスク成功を改善している。
  論文  参考訳（メタデータ） (2026-08-25T17:56:35Z)
• ContextSniper: AntTrail's Token-Efficient Code Memory for Repository-Level Program Repair [15.009388828577423]
  本稿では,AntTrail の Code-Repair モジュールであるContextSniper について述べる。 一致した50タスク/条件の比較では、ContextSniperはトークンの総使用量を51.5%削減し、ログのコストを36.4%削減した。 これらの結果は、ContextSniperが、修復品質の計測不能な損失を伴わずに、リポジトリレベルの修復エージェントのトークンとコストオーバーヘッドを大幅に削減できることを示唆している。
  論文  参考訳（メタデータ） (2026-07-02T09:15:28Z)
• CLOVER: A Test Case Generation Benchmark with Coverage, Long-Context, and Verification [71.34070740261072]
  本稿では,テストケースの生成と完成におけるモデルの能力を評価するためのベンチマークCLOVERを提案する。 ベンチマークはタスク間でのコード実行のためにコンテナ化されています。
  論文  参考訳（メタデータ） (2025-02-12T21:42:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。