論文の概要: Agents Don't Paginate: First-Chunk Selection for LLM Tool Responses
- arxiv url: http://arxiv.org/abs/2608.26130v1
- Date: Tue, 23 Jun 2026 19:10:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.35501
- Title: Agents Don't Paginate: First-Chunk Selection for LLM Tool Responses
- Title（参考訳）: エージェントはパジネートしない: LLMツール応答のための最初のチャンク選択
- Abstract要約: 大きな言語モデル(LLM)上に構築されたコーディングエージェントは、ターン単位のトークン予算を定期的に超過するツール応答を受け取る。
標準的な治療法は、スコアラーに4つのファイル・ミータ信号を追加することである。
2つの仮説は成り立たず,本症例は本症例であった。
- 参考スコア（独自算出の注目度）: 0.9940728137241215
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Coding agents built on large language models (LLMs), such as Claude Code, Cursor, OpenAI Codex, GitHub Copilot, and Aider, receive tool responses that routinely exceed the agent's per-turn token budget. The standard remedy, pagination, is available in every protocol that produced these responses; yet across the corpus of session logs from a public Model Context Protocol middleware we observed no agent-initiated requests for a second chunk. The first chunk is what the agent reads, so we ask how often the gold item (the one the agent needs) is placed first in it: the precision-at-1 rate $p_1$. In a controlled offline benchmark we treat first-chunk selection as a 0/1 knapsack and compare six value functions on 500 SWE-bench Verified tasks, then test whether $p_1$ matters with a single-turn file-localisation probe on five language models (4,800 LLM calls; not an end-to-end resolve-rate test). Two pre-registered hypotheses did not hold and are our main findings. The central one is negative: raising $p_1$ does not systematically raise downstream accuracy. Per-model deltas stay under three percentage points (p.p.), are not consistently signed, and no model is significant; the agent recovers the gold from anywhere in the chunk, so what reaches its answer is first-chunk inclusion, not the gold's rank within it. The second: adding four file-metadata signals to a keyword scorer hurts $p_1$ by 4.8 p.p. (paired significance test, $p = 0.001$). A parameter-free keyword scorer does raise $p_1$, from a 24.2% baseline to 35.0% (+10.8 p.p., far beyond chance; $p = 3.9 \times 10^{-8}$), and to 35.8% with a fallback to the tool's native ordering when no keyword matches. But by our central finding this is a rank-1 gain, and rank-1 is the part that does not reach the agent's answer: downstream accuracy does not move.
- Abstract（参考訳）: Claude Code、Cursor、OpenAI Codex、GitHub Copilot、Aiderなどの大きな言語モデル(LLM)上に構築されたコーディングエージェントは、エージェント毎のトークン予算を定期的に超過するツール応答を受け取る。
しかし、公開のModel Context Protocolミドルウェアからのセッションログのコーパスを通じて、第2のチャンクに対するエージェント開始要求は見られませんでした。
最初のチャンクはエージェントが読むものなので、金のアイテム(エージェントが必要とするもの)が最初に置かれる頻度を尋ねます。
制御されたオフラインベンチマークでは、最初のチャンク選択を0/1knapsackとして扱い、500のSWEベンチ検証タスクで6つの値関数を比較し、その後、5つの言語モデルで1ターンのファイルローカライゼーションプローブで$p_1$が問題かどうかをテストする(4,800 LLMコール、エンドツーエンドのリゾルバレートテストではない)。
事前登録した2つの仮説は成立せず,本症例は本邦報告例である。
p_1$の上昇は、下流の精度を体系的に上昇させるものではない。
モデル毎のデルタは3ポイント以下であり(p.p.)、一貫した署名はなく、重要なモデルはない。
第二に、キーワードスコアラーに4つのファイルメタタ信号を追加すると、$p_1$ by 4.8 p.p.(ペア付き意味テスト、$p = 0.001$)となる。
パラメータフリーのキーワードスコアラは、24.2%のベースラインから35.0% (+10.8 p.p., far far chance; $p = 3.9 \times 10^{-8}$) まで$p_1$を値上げし、キーワードが一致しない場合は35.8%まで値下げする。
しかし、我々の中心的な発見によれば、これはランク1のゲインであり、ランク1はエージェントの答えに届かない部分である:下流の精度は動かない。
関連論文リスト
- Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。
反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
論文 参考訳（メタデータ） (2026-09-02T08:10:22Z) - Test-time reasoning effort and unauthorized tool use in language-model agents: a prespecified equivalence study [1.6787220460106658]
ツールコールを通じて実行される言語モデルエージェントは、各ロールが実行する操作を制限するアクセス制御ポリシーの下で動作します。
TRIO-20の14の確認シナリオにおいて, GPT-5.6内の推論の努力(低, 最大)が異なる。
840の軌道と2つのモデル層にまたがって、認可されていないツールコールは発生しなかった。
論文 参考訳（メタデータ） (2026-08-04T06:01:14Z) - Safety, or Just Capability? A Validity Audit of Agent-Safety Benchmarks [10.839956062772792]
3つのエージェントセーフティベンチマークは同じ18モデルのランクが異なる。
AgentHarmの安全性に対するR-Judgeの特異性は、$-0.64$ at $n=7$と$+0.02$ at $n=18$と相関しており、ランダムサイズ7サブセットの4分の1は、そのほぼゼロの値の周りで$|| geq 0.5$に達する。
AgentHarmは、最強のホールトアウト・アソシエーションである$=+0.72$で、制御能力の後に3段階のジェイルブレイクの安全性を示す。
論文 参考訳（メタデータ） (2026-07-30T03:45:10Z) - Which Model Is Actually Serving You? IRIS: Budgeted Black-Box Auditing of Model Substitution and Routing Dilution in LLM Gateways [6.964275075635626]
返却されたテキストのみを必要とする監査である$mathrmIRIS$を提示します。
安価なパイロットは指数的なクエリエラーの崩壊に適合し、疑わしいクエリが発行される前にその予算を凍結する。
$mathrmIRIS$ match or beats detection on shared task, and adapt allocationss the matched-budget target-hit rate from 7,3$% to 8,7$%。
論文 参考訳（メタデータ） (2026-07-23T02:32:08Z) - Which Defense Closes Which Threat? Attributing OWASP-LLM-Top-10 Coverage and Its Brittleness Under Paraphrasing [51.56484100374058]
プロダクションLLMアプリケーションは、いくつかの防衛ファミリを積み重ねる -- 拒絶フレーズフィルタ、トークンバッジコントロール、モデル許容度リスト、レート制限、ツール登録認証 -- が、BASベンチマークでは、単一の集計カバレッジ番号を報告している。
21エージェントベースラインスキャナに4つのLLM-Top-10対応エージェントを追加し、4つの合成LDMエンドポイントの格子をターゲットとした。
論文 参考訳（メタデータ） (2026-06-01T19:39:25Z) - FineVerify: Scaling Test-Time Compute with Fine-Grained Self-Verification for Agentic Search [88.16262636915975]
FineVerifyはエージェント検索のためのきめ細かい自己検証フレームワークである。
各質問をチェック可能なサブクエストに分解し、サンプル候補を検証し、最も高い集計スコアの候補を選択する。
FineVerifyは、標準のスケーリングベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2026-05-30T10:21:20Z) - Scaling Laws for Agent Harnesses via Effective Feedback Compute [53.68149869349268]
emphEffective Feedback Compute (EFC)は、情報的、有効、非冗長な場合にのみフィードバックを信用し、その後の決定のために保持するトレースレベルのスケーリング座標である。
EFCベースの座標は、生の計算ベースラインよりも失敗率を常に予測する。
論文 参考訳（メタデータ） (2026-05-28T09:45:47Z) - LogDx-CI: Benchmarking Log Reduction Tools for LLM Root-Cause Diagnosis [7.571129923187892]
CIの障害ログは大きい(中央5k行、このコーパスで最大200k)し、ノイズがあります。
デバッグしようとするコーディングエージェントは、上流ツールに依存して、ログを管理可能なコンテキストに還元する。
11のコンテキスト推論ツールを比較するベンチマークであるLogDx-CIを紹介します。
論文 参考訳（メタデータ） (2026-05-26T06:34:47Z) - AgentPulse: A Continuous Multi-Signal Framework for Evaluating AI Agents in Deployment [1.2299000423193074]
静的ベンチマークは、AIエージェントが一定時点で何ができるかを測定するが、どのように採用され、維持され、デプロイの経験があるかは測らない。
AgentPulseは,10のワークロードカテゴリにまたがる50のエージェントを4つの要因から評価する継続的評価フレームワークである。
すべての収集信号、スコア出力、評価ハーネスをCC BY 4.0でリリースする。
論文 参考訳（メタデータ） (2026-04-27T04:48:13Z) - Transfer Q Star: Principled Decoding for LLM Alignment [105.89114186982972]
Transfer $Q*$は、ベースラインモデルを通してターゲット報酬$r$の最適値関数を推定する。
提案手法は, 従来のSoTA法で観測された準最適差を著しく低減する。
論文 参考訳（メタデータ） (2024-05-30T21:36:12Z) - Federated Combinatorial Multi-Agent Multi-Armed Bandits [79.1700188160944]
本稿では,Banditを用いたオンライン最適化に適したフェデレーション学習フレームワークを提案する。
この設定では、エージェントのアームサブセットは、個々のアーム情報にアクセスせずにこれらのサブセットに対するノイズの多い報酬を観察し、特定の間隔で協力して情報を共有することができる。
論文 参考訳（メタデータ） (2024-05-09T17:40:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。