論文の概要: GACC-Bench: Benchmarking Goal-Adaptive Context Compression Ability across Large Language Models

• arxiv url: http://arxiv.org/abs/2610.21893v1
• Date: Thu, 15 Oct 2026 13:51:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.09631
• Title: GACC-Bench: Benchmarking Goal-Adaptive Context Compression Ability across Large Language Models
• Title（参考訳）: GACC-Bench: 大規模言語モデル間でのゴール適応型コンテキスト圧縮能力のベンチマーク
• Abstract要約: 本稿では,Goal-Adaptive Context CompressionのベンチマークであるGACC-Benchを紹介する。 各ソースコンテキストに対して、ダウンストリームの目的の共有に応じて、ソースグラウンドの質問をグループ化することで、1つ以上のハイレベルな目標を導出する。 ベンチマークには500の目標と281のドキュメントとエージェントトレースコンテキストに関する2,571の質問が含まれている。
• 参考スコア（独自算出の注目度）: 18.33978616207333
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Context compression in long-running applications of large language models (LLMs) must preserve goal-relevant information, often before specific downstream questions are known. We introduce GACC-Bench, a benchmark for Goal-Adaptive Context Compression that evaluates how reliably LLMs adapt information retention to specified high-level goals. For each source context, we derive one or more high-level goals by grouping source-grounded questions according to shared downstream objectives. The benchmark contains 500 goals and 2,571 questions over 281 document and agent-trace contexts from seven collections spanning diverse domains, with all instances reviewed by human experts. The compressor receives a source context, a goal, and a context-length budget, with the associated evaluation questions withheld. A fixed reader answers these questions individually using the same compressed context. Our evaluation of ten LLM compressors reveals substantial gaps to full-context performance even for the best-performing model, particularly in supporting correct answers to every question associated with a goal. Compared with goal-agnostic compression, target-goal conditioning consistently improves accuracy, whereas mismatched-goal conditioning reduces it. GACC-Bench is available at https://github.com/weiting24/GACC-Bench.
• Abstract（参考訳）: 大規模言語モデル(LLM)の長期的アプリケーションにおけるコンテキスト圧縮は、しばしば特定の下流の質問が知られる前に、目標関連情報を保存しなければならない。 目標適応型コンテキスト圧縮のベンチマークであるGACC-Benchを導入し,LLMが情報保持を高レベルな目標にどの程度確実に適応するかを評価する。 各ソースコンテキストに対して、ダウンストリームの目的の共有に応じて、ソースグラウンドの質問をグループ化することで、1つ以上のハイレベルな目標を導出する。 ベンチマークには500の目標と281のドキュメントに対する2,571の質問、さまざまなドメインにまたがる7つのコレクションからのエージェントトレースコンテキストが含まれている。 圧縮機は、ソースコンテキスト、ゴール、コンテキスト長の予算を受信し、関連する評価質問を受け付けない。 固定された読者は、同じ圧縮されたコンテキストを用いて個別にこれらの質問に答える。 LLM圧縮機を10個評価したところ、最高の性能モデルであっても、特にゴールに関連する全ての質問に対する正しい回答をサポートする上で、フルコンテクスト性能にかなりのギャップがあることが判明した。 目標に依存しない圧縮と比較すると、目標目標条件の精度は一貫して向上する一方、ミスマッチゴール条件の精度は低下する。 GACC-Benchはhttps://github.com/weiting24/GACC-Benchで入手できる。

関連論文リスト

• Enhancing RAG Efficiency with Adaptive Context Compression [24.94881830262324]
  検索拡張生成は、長い検索コンテキストのためにかなりの推論コストを発生させる。 既存の手法では、固定圧縮率、単純なクエリの過剰圧縮、複雑なクエリのアンダー圧縮などを適用している。 本稿では,入力複雑性に基づいて動的に圧縮率を調整するフレームワークであるRAG(ACC-RAG)の適応文脈圧縮を提案する。
  論文  参考訳（メタデータ） (2025-07-24T13:46:51Z)
• Reinforcing Video Reasoning with Focused Thinking [65.85683941058916]
  本稿では,集中的思考と深い報酬の粒度で視覚的推論を強化する新しいフレームワークであるTW-GRPOを提案する。 具体的には,高情報密度のトークンを優先するトークン重み付け機構を用いる。 また,シングルチョイスからマルチチョイスQAタスクにシフトすることで,RLトレーニングを再構築する。
  論文  参考訳（メタデータ） (2025-05-30T15:42:19Z)
• CLAIR-A: Leveraging Large Language Models to Judge Audio Captions [73.51087998971418]
  機械生成オーディオキャプションの評価は、様々な要因を検討する必要がある複雑なタスクである。 本稿では,大規模言語モデルのゼロショット機能を活用するシンプルで柔軟なCLAIR-Aを提案する。 我々の評価では、CLAIR-Aは従来のメトリクスと比較して品質の人的判断を良く予測する。
  論文  参考訳（メタデータ） (2024-09-19T17:59:52Z)
• KILT: a Benchmark for Knowledge Intensive Language Tasks [102.33046195554886]
  知識集約型言語タスク(KILT)のベンチマークを示す。 KILTのすべてのタスクはウィキペディアのスナップショットと同じだ。 共有密度ベクトル指数とSeq2seqモデルとの結合が強いベースラインであることが分かる。
  論文  参考訳（メタデータ） (2020-09-04T15:32:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。