論文の概要: Concept than Document: Context Compression via AMR-based Conceptual Entropy

• arxiv url: http://arxiv.org/abs/2511.18832v1
• Date: Mon, 24 Nov 2025 07:08:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-25 18:34:25.071542
• Title: Concept than Document: Context Compression via AMR-based Conceptual Entropy
• Title（参考訳）: 文書よりも概念:AMRに基づく概念エントロピーによる文脈圧縮
• Authors: Kaize Shi, Xueyao Sun, Xiaohui Tao, Lin Li, Qika Lin, Guandong Xu,
• Abstract要約: 大規模言語モデル(LLM)は、特に検索拡張生成(RAG)において、長いコンテキストを扱う際に、情報の過負荷に直面します。 本稿では,抽象表現(AMR)グラフを利用した教師なしコンテキスト圧縮フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 21.954536296551
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) face information overload when handling long contexts, particularly in Retrieval-Augmented Generation (RAG) where extensive supporting documents often introduce redundant content. This issue not only weakens reasoning accuracy but also increases computational overhead. We propose an unsupervised context compression framework that exploits Abstract Meaning Representation (AMR) graphs to preserve semantically essential information while filtering out irrelevant text. By quantifying node-level entropy within AMR graphs, our method estimates the conceptual importance of each node, enabling the retention of core semantics. Specifically, we construct AMR graphs from raw contexts, compute the conceptual entropy of each node, and screen significant informative nodes to form a condensed and semantically focused context than raw documents. Experiments on the PopQA and EntityQuestions datasets show that our method outperforms vanilla and other baselines, achieving higher accuracy while substantially reducing context length. To the best of our knowledge, this is the first work introducing AMR-based conceptual entropy for context compression, demonstrating the potential of stable linguistic features in context engineering.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、長いコンテキストを扱う際に情報過負荷に直面し、特に広範囲なサポートドキュメントが冗長なコンテンツを導入しているRAG(Retrieval-Augmented Generation)では特にそうだ。 この問題は推論精度を低下させるだけでなく、計算オーバーヘッドも増大させる。 本稿では,意味論的に不可欠な情報を保持するために抽象的意味表現(AMR)グラフを利用した教師なしコンテキスト圧縮フレームワークを提案する。 AMRグラフ内のノードレベルのエントロピーを定量化することにより、各ノードの概念的重要性を推定し、コアセマンティクスの保持を可能にする。 具体的には、生のコンテキストからAMRグラフを構築し、各ノードの概念エントロピーを計算し、重要な情報ノードを画面に表示し、生文書よりも密集的で意味的に焦点を絞ったコンテキストを形成する。 PopQAデータセットとEntityQuestionsデータセットの実験では、我々のメソッドはバニラや他のベースラインよりも優れており、コンテキスト長を大幅に削減しつつ高い精度を実現している。 我々の知る限り、これはAMRに基づく文脈圧縮の概念エントロピーを導入し、文脈工学における安定した言語機能の可能性を示す最初の研究である。

関連論文リスト

• Cross-Granularity Hypergraph Retrieval-Augmented Generation for Multi-hop Question Answering [49.43814054718318]
  マルチホップ質問応答 (MHQA) は、正しい回答を得るために複数の経路に散在する知識を統合する必要がある。 従来の検索拡張生成法(RAG)は主に粗い粒度のテキスト意味的類似性に焦点を当てている。 本稿では,HGRAG for MHQAという新しいRAG手法を提案する。
  論文  参考訳（メタデータ） (2025-08-15T06:36:13Z)
• Context-Driven Knowledge Graph Completion with Semantic-Aware Relational Message Passing [7.335262932492395]
  三重項 $(h, r, t)$ を取り巻く意味的文脈は知識グラフ補完(KGC)にとって不可欠である 従来のノードベースのメッセージパッシング機構は、しばしばノイズを導入し、情報の希釈や過度な平滑化に悩まされる。 セマンティック・アウェア・リレーショナル・メッセージ・パッシング・フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-29T08:37:48Z)
• PICASO: Permutation-Invariant Context Composition with State Space Models [98.91198288025117]
  State Space Models (SSM) は、コンテキストのデータベースを固定次元の状態にマッピング可能にすることで、有望なソリューションを提供する。 本研究では,SSM力学から導かれる単純な数学的関係を,生のコンテキストトークンの連結効果を効率的に近似する複数の状態に構成する。 我々は,WikiText と MSMARCO をゼロショットと微調整の両方で評価し,平均5.4倍のスピードアップを楽しみながら最強の演奏ベースラインと一致できることを示す。
  論文  参考訳（メタデータ） (2025-02-24T19:48:00Z)
• QUITO-X: A New Perspective on Context Compression from the Information Bottleneck Theory [75.81394991657545]
  問題をモデル化するために情報ボトルネック理論(IB)を導入する。 IBにおける相互情報に近似するクロスアテンションに基づく手法を提案する。 提案手法は,最先端技術と比較して25%の圧縮率向上を実現している。
  論文  参考訳（メタデータ） (2024-08-20T02:44:45Z)
• Compressing Long Context for Enhancing RAG with AMR-based Concept Distillation [17.156915103545728]
  大規模言語モデル(LLM)は情報取得に大きく貢献している。 Retrieval Augmented Generation (RAG)は、外部の非パラメトリック知識を取り入れることで、この制限に対処する。 本稿では,抽象表現(AMR)に基づく概念蒸留アルゴリズムを用いた新しい概念ベースRAGフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-06T00:18:43Z)
• UGMAE: A Unified Framework for Graph Masked Autoencoders [67.75493040186859]
  グラフマスク付きオートエンコーダのための統一フレームワークであるUGMAEを提案する。 まず,ノードの特異性を考慮した適応型特徴マスク生成器を開発した。 次に,階層型構造再構成と特徴再構成を併用し,総合的なグラフ情報を取得する。
  論文  参考訳（メタデータ） (2024-02-12T19:39:26Z)
• Semantic Text Compression for Classification [17.259824817932294]
  本研究では,テキストに含まれる意味をソースデコーダに伝達するテキストのセマンティック圧縮について検討する。 そこで,文の埋め込みと意味的歪み量を用いて意味を保存したテキストに対する意味量化と圧縮手法を提案する。
  論文  参考訳（メタデータ） (2023-09-19T17:50:57Z)
• KMF: Knowledge-Aware Multi-Faceted Representation Learning for Zero-Shot Node Classification [75.95647590619929]
  Zero-Shot Node Classification (ZNC)は、グラフデータ分析において、新しく重要なタスクである。 ラベルセマンティクスの豊かさを向上する知識認識型多面的フレームワーク(KMF)を提案する。 ノード情報集約によるプロトタイプドリフトの問題を軽減するために,新しい幾何学的制約を開発した。
  論文  参考訳（メタデータ） (2023-08-15T02:38:08Z)
• Simple and Effective Relation-based Embedding Propagation for Knowledge Representation Learning [15.881121633396832]
  本稿では,事前学習したグラフ埋め込みを文脈に適応させるために,Relation-based Embedding Propagation (REP)法を提案する。 我々は,REPがOGBL-WikiKG2上の三重項埋め込み法に対して10%の相対的な改善をもたらすことを示した。 最先端のGC-OTEと同等の結果を得るには5%-83%の時間を要する。
  論文  参考訳（メタデータ） (2022-05-13T06:02:13Z)
• Learning the Implicit Semantic Representation on Graph-Structured Data [57.670106959061634]
  グラフ畳み込みネットワークにおける既存の表現学習手法は主に、各ノードの近傍を知覚全体として記述することで設計される。 本稿では,グラフの潜在意味パスを学習することで暗黙的な意味を探索する意味グラフ畳み込みネットワーク(sgcn)を提案する。
  論文  参考訳（メタデータ） (2021-01-16T16:18:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。