Fugu-MT 論文翻訳(概要): COMI: Coarse-to-fine Context Compression via Marginal Information Gain

論文の概要: COMI: Coarse-to-fine Context Compression via Marginal Information Gain

arxiv url: http://arxiv.org/abs/2602.01719v1
Date: Mon, 02 Feb 2026 06:57:22 GMT
ステータス: 翻訳完了
システム内更新日: 2026-02-03 19:28:33.964143
Title: COMI: Coarse-to-fine Context Compression via Marginal Information Gain
Title（参考訳）: COMI:Marginal Information Gainによる粗大なコンテキスト圧縮
Authors: Jiwei Tang, Shilei Liu, Zhicheng Zhang, Yujin Yuan, Libin Zheng, Wenbo Su, Bo Zheng,
Abstract要約: 大きな言語モデル(LLM)は、様々なタスクにまたがる例外的な機能を示している。コンテキスト圧縮法は、入力長を大幅に削減し、冗長性をなくすことによってこれらの課題に対処する。粗粒度適応型文脈圧縮フレームワークCOMIを提案する。
参考スコア（独自算出の注目度）: 28.75695496228666
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large Language Models (LLMs) have demonstrated exceptional capabilities across diverse tasks. However, their deployment in long context scenarios remains hindered by computational inefficiency and information redundancy. Context compression methods address these challenges by significantly reducing input length and eliminating redundancy. We propose COMI, a coarse-to-fine adaptive context compression framework that jointly optimizes for semantic relevance and diversity under high compression rates. We introduce Marginal Information Gain (MIG), a metric defined as the relevance of a unit to the input query minus its semantic redundancy with other units, guiding the compression process to prioritize information that is both relevant and low redundant. The framework operates in two stages: (1) Coarse-Grained Group Reallocation, where the context is partitioned into groups and dynamically assigned compression rates based on inter-group MIG, ensuring compression budgets align with information value distribution; and (2) Fine-Grained Token Merging, where tokens within each group are fused via an intra-group MIG-based weighting mechanism, thereby preserving key semantics while avoiding the accumulation of redundancy. Extensive experiments across question-answering (e.g., NaturalQuestions, 2WikiMQA, HotpotQA and NarrativeQA), summarization (e.g., MultiNews) with various backbones (e.g., LLaMA-2-7B, Qwen2-7B) show that COMI outperforms existing baselines by a large margin, e.g., approximately 25-point Exact Match (EM) improvement under 32x compression constraint with Qwen2-7B on NaturalQuestions.
Abstract（参考訳）: 大きな言語モデル(LLM)は、様々なタスクにまたがる例外的な機能を示している。しかし、長期のシナリオにおけるそれらの展開は、計算の非効率性と情報冗長性によって妨げられている。コンテキスト圧縮法は、入力長を大幅に削減し、冗長性をなくすことによってこれらの課題に対処する。高圧縮率で意味的関連性と多様性を協調的に最適化する粗大な適応型文脈圧縮フレームワークCOMIを提案する。入力クエリに対するユニットの関連性として定義されたメトリックであるMarginal Information Gain (MIG)を導入し、その意味的冗長性を他のユニットと減らし、関連する情報と低冗長情報の両方を優先する圧縮プロセスを導出する。本フレームワークは,(1)グループ間MIGに基づいてコンテキストを分割し,グループ間MIGに基づいて動的に圧縮率を割り当てる粗粒化グループ再配置,(2)グループ内のトークンをグループ内MIGベースの重み付け機構で融合させて,冗長性の蓄積を回避しながらキーセマンティクスを保存する微細粒化トークンマージの2段階で動作する。質問応答(例:NaturalQuestions、2WikiMQA、2HotpotQA、NarrativeQA)、様々なバックボーン(例:LLaMA-2-7B、Qwen2-7B)による要約(例:MultiNews)は、COMIがNaturalQuestionsの32倍の圧縮制約(例:Qwen2-7B)の下で、既存のベースラインよりも大きなマージン(例:LLaMA-2-7B、Qwen2-7B)でパフォーマンスを向上していることを示している。

関連論文リスト

AttnComp: Attention-Guided Adaptive Context Compression for Retrieval-Augmented Generation [27.480791258325066]
我々は適応的で効率的でコンテキスト対応の圧縮フレームワークであるAttnCompを紹介した。 AttnCompは最小限の文書を保持するためにトップP圧縮アルゴリズムを使用している。圧縮に加えて、AttnCompは、検索したコンテンツの全体的な関連性を評価することで、応答の信頼性を推定する。
論文参考訳（メタデータ） (2025-09-22T08:18:50Z)
Enhancing RAG Efficiency with Adaptive Context Compression [24.94881830262324]
検索拡張生成は、長い検索コンテキストのためにかなりの推論コストを発生させる。既存の手法では、固定圧縮率、単純なクエリの過剰圧縮、複雑なクエリのアンダー圧縮などを適用している。本稿では,入力複雑性に基づいて動的に圧縮率を調整するフレームワークであるRAG(ACC-RAG)の適応文脈圧縮を提案する。
論文参考訳（メタデータ） (2025-07-24T13:46:51Z)
DAC: A Dynamic Attention-aware Approach for Task-Agnostic Prompt Compression [63.83422894663496]
タスク非依存型プロンプト圧縮(DAC)のための動的注意認識手法を提案する。このアプローチは、エントロピー情報とアテンション情報を効果的に統合し、圧縮中のエントロピーシフトを動的に検知し、きめ細かいプロンプト圧縮を実現する。 LongBench、GSM8K、BBHを含む様々な領域にわたる大規模な実験は、DACが一貫して堅牢で実質的な改善をもたらすことを示した。
論文参考訳（メタデータ） (2025-07-16T06:16:06Z)
NDCG-Consistent Softmax Approximation with Accelerated Convergence [67.10365329542365]
本稿では,ランキングの指標と直接一致した新たな損失定式化を提案する。提案したRG損失を高効率な Alternating Least Squares (ALS) 最適化手法と統合する。実世界のデータセットに対する実証的な評価は、我々のアプローチが同等または上位のパフォーマンスを達成することを示す。
論文参考訳（メタデータ） (2025-06-11T06:59:17Z)
Compressed Feature Quality Assessment: Dataset and Baselines [89.62929964441962]
圧縮された特徴のセマンティック忠実度を評価するための最初のベンチマークデータセットを提案する。 MSE、コサイン類似性、CKA(Centered Kernel Alignment)という3つの広く使われているメトリクスを、意味的劣化を捉える能力の観点から体系的に評価する。この研究は、基礎的なベンチマークを確立し、コミュニティがCFQAを探索するための重要なリソースを提供することによって、この分野を前進させます。
論文参考訳（メタデータ） (2025-06-09T04:16:39Z)
Beyond Hard and Soft: Hybrid Context Compression for Balancing Local and Global Information Retention [30.580674811560613]
大規模言語モデル(LLM)は、計算の非効率性と冗長な処理による長周期推論において重大な課題に直面する。既存の方法は、ハードローカル圧縮や、ソフトグローバル圧縮のための遅延表現にコンテキストをエンコードするためにトークンの重要度に依存することが多い。我々は,グローバルな視点とローカルな視点を統合してコンテキスト圧縮をガイドするHyCo$を提案する。
論文参考訳（メタデータ） (2025-05-21T17:26:11Z)
GMSA: Enhancing Context Compression via Group Merging and Layer Semantic Alignment [18.256369876037883]
本稿では,エンコーダ・デコーダアーキテクチャに基づく文脈圧縮フレームワークであるGMSAを紹介する。 GMSAは入力シーケンスの長さと冗長な情報を減らす。エンドツーエンドの推論で約2倍のスピードアップを達成することができる。
論文参考訳（メタデータ） (2025-05-18T03:21:30Z)
QUITO-X: A New Perspective on Context Compression from the Information Bottleneck Theory [75.81394991657545]
問題をモデル化するために情報ボトルネック理論(IB)を導入する。 IBにおける相互情報に近似するクロスアテンションに基づく手法を提案する。提案手法は,最先端技術と比較して25%の圧縮率向上を実現している。
論文参考訳（メタデータ） (2024-08-20T02:44:45Z)
Spatial Semantic Recurrent Mining for Referring Image Segmentation [63.34997546393106]
高品質なクロスモーダリティ融合を実現するために,Stextsuperscript2RMを提案する。これは、言語特徴の分散、空間的意味的再帰的分離、パーセマンティック・セマンティック・バランシングという三部作の作業戦略に従う。提案手法は他の最先端アルゴリズムに対して好適に機能する。
論文参考訳（メタデータ） (2024-05-15T00:17:48Z)
LLMLingua-2: Data Distillation for Efficient and Faithful Task-Agnostic Prompt Compression [43.048684907893104]
本稿では, タスク非依存のプロンプト圧縮に着目し, 一般化性と効率性の向上を図る。我々は,プロンプト圧縮をトークン分類問題として定式化し,圧縮されたプロンプトが元のプロンプトに忠実であることを保証する。提案手法は, XLM-RoBERTa-large や mBERT などの小型モデルを用いて圧縮目標を明示的に学習することにより,低レイテンシを実現する。
論文参考訳（メタデータ） (2024-03-19T17:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。