論文の概要: From Similarity to Structure: Training-free LLM Context Compression with Hybrid Graph Priors

• arxiv url: http://arxiv.org/abs/2604.23277v1
• Date: Sat, 25 Apr 2026 12:40:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:07.244821
• Title: From Similarity to Structure: Training-free LLM Context Compression with Hybrid Graph Priors
• Title（参考訳）: 類似性から構造へ:ハイブリッドグラフを用いた学習不要LLMコンテキスト圧縮
• Authors: Yitian Zhou, Chaoning Zhang, Jiaquan Zhang, Zhenzhen Huang, Jinyu Guo, Sung-Ho Bae, Lik-Hang Lee, Caiyan Qin, Yang Yang,
• Abstract要約: 長いコンテキストの大規模言語モデルは実行するのに計算コストがかかるままであり、しばしば非常に長い入力を確実に処理することができない。 本稿では,構造グラフに導かれるコンパクトな文群を選択する,学習不要でモデルに依存しない圧縮フレームワークを提案する。 本手法は,k-NNセマンティックエッジと短距離シーケンシャルエッジを組み合わせたスパースハイブリッド文グラフを構築する。
• 参考スコア（独自算出の注目度）: 25.32575172623139
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-context large language models remain computationally expensive to run and often fail to reliably process very long inputs, which makes context compression an important component of many systems. Existing compression approaches typically rely on trained compressors, dense retrieval-style selection, or heuristic trimming, and they often struggle to jointly preserve task relevance, topic coverage, and cross-sentence coherence under a strict token budget. To address this, we propose a training-free and model-agnostic compression framework that selects a compact set of sentences guided by structural graph priors. Our method constructs a sparse hybrid sentence graph that combines mutual k-NN semantic edges with short-range sequential edges, extracts a topic skeleton via clustering, and ranks sentences using an interpretable score that integrates task relevance, cluster representativeness, bridge centrality, and a cycle coverage cue. A budgeted greedy selection with redundancy suppression then produces a readable compressed context in original order. Experimental results on four datasets show that our approach is competitive with strong extractive and abstractive baselines, demonstrating larger gains on long-document benchmarks.
• Abstract（参考訳）: 長期コンテキストの大規模言語モデルは、実行するのに計算コストがかかるままであり、しばしば非常に長い入力を確実に処理することができず、多くのシステムにおいてコンテキスト圧縮が重要なコンポーネントとなっている。 既存の圧縮手法は、訓練された圧縮機、密集した検索スタイルの選択、またはヒューリスティックなトリミングに依存しており、しばしば厳格なトークン予算の下でタスクの関連性、トピックのカバレッジ、およびクロス文のコヒーレンスを共同で保存するのに苦労する。 そこで本研究では,構造グラフの先行処理によって導かれるコンパクトな文群を選択する,学習自由でモデルに依存しない圧縮フレームワークを提案する。 提案手法は,k-NNセマンティックエッジと短距離連続エッジを組み合わせた疎ハイブリッド文グラフを構築し,クラスタリングによりトピックスケルトンを抽出し,タスク関連性,クラスタ代表性,ブリッジ中央性,サイクルカバレッジキューを統合した解釈可能なスコアを用いて文のランク付けを行う。 冗長性抑制を伴う予算付き欲求選択は、元の順序で読みやすい圧縮コンテキストを生成する。 4つのデータセットに対する実験結果から,提案手法は強い抽出的,抽象的ベースラインと競合し,長期文書のベンチマークでより大きな利得を示した。

関連論文リスト

• Forget, Then Recall: Learnable Compression and Selective Unfolding via Gist Sparse Attention [7.694795562178033]
  大きな言語モデルを長い文脈にスケールすることは、注意の2次計算コストのために困難である。 まず、まず文脈をgistトークンに圧縮し、次に最も関連するgistを選択する。 これにより、コンパクトなグローバル表現と、微細なリーブされた証拠へのターゲットアクセスを組み合わせた単純な粗大な機構が得られる。
  論文  参考訳（メタデータ） (2026-04-22T04:22:32Z)
• Multi-Vector Index Compression in Any Modality [73.7330345057813]
  後期の相互作用は、テキスト、画像、ビジュアルドキュメント、ビデオにおける情報検索の主要なパラダイムとして現れてきた。 インデックス圧縮には,シーケンスリサイズ,メモリトークン,階層プール,新しいアテンション誘導クラスタリング(AGC)の4つのアプローチを導入する。 AGCは、ドキュメントの最もセマンティックな領域をクラスタセントロイドとして識別し、トークンの集合を重み付けするために注意誘導機構を使用する。
  論文  参考訳（メタデータ） (2026-02-24T18:57:33Z)
• Arbitrary Ratio Feature Compression via Next Token Prediction [52.10426317889982]
  Arbitrary Ratio Feature Compression (ARFC)フレームワークは、任意の圧縮比を単一のモデルでサポートする。 ARCは、次の回帰予測によって圧縮を行う自動回帰モデルである。 MoSモジュールは複数の圧縮結果を利用して圧縮トークンを洗練する。 ERGCは、圧縮中の意味的および構造的関係を維持するために、トレーニングプロセスに統合される。
  論文  参考訳（メタデータ） (2026-02-12T02:38:57Z)
• Towards Efficient Large Language Reasoning Models via Extreme-Ratio Chain-of-Thought Compression [55.63153956934198]
  Chain-of-Thought (CoT)推論はLarge Language Models (LLMs)の推論能力をうまく向上させる 既存のCoT圧縮法は、しばしば高い圧縮比で論理的忠実度が著しく低下する。 本稿では,Extra-CoTと呼ばれる新しいEXTreme-RAtio Chain-of-Thought Compressionフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-09T06:57:15Z)
• UniGist: Towards General and Hardware-aligned Sequence-level Long Context Compression [86.33995240043936]
  UniGistは、大規模言語モデルのためのシーケンスレベルのロングコンテキスト圧縮フレームワークである。 生のトークンを特別な圧縮トークン(gist)に微粒な方法で置き換えることで、コンテキスト情報を効率的に保存する。 提案手法は,圧縮トークンの実際の除去を可能にすることで,フレキシブルな推論もサポートしている。
  論文  参考訳（メタデータ） (2025-09-19T08:47:37Z)
• Self-Enhanced Image Clustering with Cross-Modal Semantic Consistency [57.961869351897384]
  効率的な画像クラスタリングのためのクロスモーダルなセマンティック一貫性に基づくフレームワークを提案する。 当社のフレームワークはまず,クロスモーダルセマンティック一貫性を通じて,強力な基盤を構築します。 最初の段階では、トレーニング済みモデルのリッチなセマンティクスに合わせて、軽量クラスタリングヘッドをトレーニングします。 第2段階では、自己強化微調整戦略を導入する。
  論文  参考訳（メタデータ） (2025-08-02T08:12:57Z)
• Context Attribution with Multi-Armed Bandit Optimization [11.715006981206844]
  本稿では,コンテキスト属性をCMAB(Multi-armed bandit)問題として定式化する新しいフレームワークを提案する。 我々は、限られたクエリ予算の下で、指数的に大きなコンテキストサブセットの空間を効率的に探索するために、 Combinatorial Thompson Sampling (CTS) を採用している。 本手法は,正規化トークンの確率に基づいて報酬関数を定義し,セグメントのサブセットが元のモデル応答をどれだけうまくサポートしているかを抽出する。
  論文  参考訳（メタデータ） (2025-06-24T19:47:27Z)
• Lag-Relative Sparse Attention In Long Context Training [8.365610885641276]
  本稿では,LagKV圧縮法で固定されたLag-Relative Sparse Attention(LRSA)を長期学習後に提案する。 本手法はチャンク・バイ・チャンク・プリフィルを行い, 固定サイズのラグウィンドウにおいて, 最上位のキー値ペアを選択する。
  論文  参考訳（メタデータ） (2025-06-13T06:49:53Z)
• Optimizing Singular Spectrum for Large Language Model Compression [95.7621116637755]
  SVDの分解したコンポーネントをデータ駆動で再スケールする新しい圧縮フレームワークであるSoCoを紹介する。 学習可能な特異スペクトルのおかげで、SoCoは重要度スコアに応じて成分を適応的にプーンする。 複数のLLMおよびベンチマークでの実験的な評価は、SoCoがモデル圧縮における最先端の手法を超越していることを示している。
  論文  参考訳（メタデータ） (2025-02-20T23:18:39Z)
• Reconstruct Before Summarize: An Efficient Two-Step Framework for Condensing and Summarizing Meeting Transcripts [32.329723001930006]
  本稿では,効率的なミーティング要約のための2段階のフレームワークであるReconstruct before Summarize (RbS)を提案する。 RbSは、まず自己管理パラダイムを利用して、ミーティングの書き起こしを再構築することで、本質的な内容に注釈を付ける。 次に,相対的な位置バケット化(RPB)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-13T19:54:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。