論文の概要: Evaluating Context Compaction on the Questions That Come Later

• arxiv url: http://arxiv.org/abs/2610.27301v1
• Date: Mon, 19 Oct 2026 21:15:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.516383
• Title: Evaluating Context Compaction on the Questions That Come Later
• Title（参考訳）: 後発の質問に対する文脈圧縮の評価
• Abstract要約: 文の代わりに単語を削除することは、文をランダムに削除するよりもよい。 現在の質問に対して文を選択する方法は、文をランダムに削除するよりも、検出できるほど優れている。
• 参考スコア（独自算出の注目度）: 5.487698651599371
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language-model agents compact their context for the question at hand, but the compacted context must also serve questions that come later. We evaluate compaction on these later questions, using four corpora that annotate the evidence of several questions per text and recorded agent trajectories, and compare every method with random deletion at the same budget. On MultiRC, keeping the sentences that gpt-6-luna (through the OpenAI Decisions API) judges necessary for the current question raises its accuracy on that question by 11.4 points at 25% of the tokens. On the later questions, however, no method that selects sentences for the current question does detectably better than deleting sentences at random. Deleting words instead of sentences does better: LLMLingua-2, which ignores the question, beats random sentence deletion at the same token count by 12.5 points on the later MultiRC questions. It keeps about twice random deletion's share of the evidence's content words, and at equal content-word retention its gain shrinks to 7.3 points (exploratory). On FEVER, label accuracy can overstate what the kept text supports: the gain of sentence selection is no longer detected when answers are scored against the kept evidence, and the 21.0-point gain of LLMLingua-2 is not shown to rest on the kept text. The ranking also depends on the setting: on Evidence Inference sentence selection beats LLMLingua-2 at a nominal 25% budget, and on $τ$-bench trajectories, whose later tool calls need exact identifiers, it beats random deletion while LLMLingua-2 shows no detected gain. Scores on the question a compaction was made for do not reliably show how it serves later ones.
• Abstract（参考訳）: 言語モデルエージェントは、手元にある質問のコンテキストをコンパクトにしますが、コンパクト化されたコンテキストは、後でくる質問にも役立ちなければなりません。 テキストごとの複数の質問の証拠を注釈付けする4つのコーパスと、記録されたエージェントの軌跡を用いて、これらの後の質問のコンパクト化を評価し、同じ予算で全てのメソッドをランダムな削除と比較する。 MultiRCでは、現在の質問に必要なgpt-6-luna(OpenAI Decisions APIを通じて)が判断する文を保持することで、トークンの25%で11.4ポイントの精度が向上する。 しかし、後の質問では、現在の質問に対する文を選択する方法は、ランダムに文を削除するよりも、検出できる限り優れている。 LLMLingua-2は質問を無視し、後のMultiRCの質問で同じトークン数でランダムな文削除を12.5ポイント上回っている。 証拠のコンテンツワードのランダムな削除のシェアを約2倍に保ち、コンテンツワードの保持が等しく、利益は7.3ポイントまで減少する(探索)。 FEVERでは、保持されたテキストがサポートしているものをラベル精度でオーバーステートすることができる: 保持された証拠に対して回答が得られたとき、文選択のゲインが検出されなくなり、LLMLingua-2の21.0ポイントのゲインが保持されたテキストに残らない。 Evidence Inference文の選択は、名目上の25%の予算でLLMLingua-2を、後のツールコールが正確な識別子を必要とする$τ$-bench trajectoriesではランダムな削除を、LLMLingua-2は検出された利得を示しない。 コンパクト化の問題は、後のコンプレッションがどのように機能するかを確実に示すものではない。

関連論文リスト

• Decomposing and Predicting Annotation Disagreement in Harmful Content Across Languages [48.69228180369574]
  アノテーションの不一致は、主観的なタスクの有意義な性質として、ますます認識されている。 テキストの解釈可能な意味特性から不一致を予測することを提案する。 モデルとデータセット全体、デロゲーションに関する質問、コンテキストの欠如、決定境界が最強の予測要因として機能する。
  論文  参考訳（メタデータ） (2026-10-13T15:49:44Z)
• Query Disambiguation via Answer-Free Context: Doubling Performance on Humanity's Last Exam [6.1512837277903785]
  本研究は,モデルのコンテキストウィンドウにおける背景背景情報の質が精度に与える影響について検討する。 動的コンテキスト構築(RAG)とクエリ書き換えを組み合わせることで、問合せのあいまいさが減少し、精度が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2026-02-27T19:05:25Z)
• Controllable Evidence Selection in Retrieval-Augmented Question Answering via Deterministic Utility Gating [0.0]
  本稿では,検索強化質問応答のための決定論的エビデンス選択フレームワークを提案する。 このアプローチでは,意味-ユーティリティ推定(MUE)と多様性-ユーティリティ推定(DUE)を導入している。 プロトタイプでは、タスクが必要とする事実、ルール、条件を明確に記述している場合にのみ、ユニットが受け入れられる。
  論文  参考訳（メタデータ） (2026-02-23T18:20:15Z)
• Chaining Event Spans for Temporal Relation Grounding [25.684406002657802]
  本稿では,2段階の帰納的推論プロセスで動作するタイムライン推論ネットワーク(TRN)について紹介する。 最初のステップモデルでは、まず各質問に意味情報と統語的情報で答える。 次のステップでは、同じイベント上で複数の質問をチェーンしてタイムラインを予測する。
  論文  参考訳（メタデータ） (2025-06-17T06:06:01Z)
• QUDSELECT: Selective Decoding for Questions Under Discussion Parsing [90.92351108691014]
  Question Under Examination (QUD) は、暗黙の質問を用いて文間の会話関係を明らかにするための談話フレームワークである。 本稿では,QUD基準を考慮したQUD依存構造を選択的に復号する共同学習フレームワークであるQUDSELECTを紹介する。 提案手法は,人的評価において9%,自動評価において4%,最先端のベースラインモデルよりも優れていた。
  論文  参考訳（メタデータ） (2024-08-02T06:46:08Z)
• Answering Ambiguous Questions with a Database of Questions, Answers, and Revisions [95.92276099234344]
  ウィキペディアから生成される曖昧な質問のデータベースを利用して、あいまいな質問に答えるための新しい最先端技術を提案する。 提案手法は,リコール対策で15%,予測出力から不明瞭な質問を評価する尺度で10%向上する。
  論文  参考訳（メタデータ） (2023-08-16T20:23:16Z)
• Discourse Analysis via Questions and Answers: Parsing Dependency Structures of Questions Under Discussion [57.43781399856913]
  この研究は、談話分析にQUD(Language framework of Questions Under discussion)を採用する。 我々は、文間の関係を、徹底的なきめ細かい質問とは対照的に、自由形式の質問として特徴づける。 完全文書上の質問の依存関係構造を導出する第一種QUDを開発する。
  論文  参考訳（メタデータ） (2022-10-12T03:53:12Z)
• Tell Me How to Ask Again: Question Data Augmentation with Controllable Rewriting in Continuous Space [94.8320535537798]
  機械読解(MRC)、質問生成、質問答え自然言語推論タスクのための制御可能な書き換えベースの質問データ拡張(CRQDA)。 質問データ拡張タスクを制約付き質問書き換え問題として扱い、コンテキスト関連、高品質、多様な質問データサンプルを生成する。
  論文  参考訳（メタデータ） (2020-10-04T03:13:46Z)
• Explicit Memory Tracker with Coarse-to-Fine Reasoning for Conversational Machine Reading [177.50355465392047]
  本稿では,EMT(Explicit Memory Tracker)を用いた会話機械読取フレームワークを提案する。 我々のフレームワークは、粗大な推論戦略を採用することによって、明確化の質問を生成する。 EMTは74.6%のマイクロ平均決定精度と49.5BLEU4の新たな最先端結果を達成する。
  論文  参考訳（メタデータ） (2020-05-26T02:21:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。