論文の概要: AdmTree: Compressing Lengthy Context with Adaptive Semantic Trees

• arxiv url: http://arxiv.org/abs/2512.04550v1
• Date: Thu, 04 Dec 2025 08:04:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-05 21:11:46.058202
• Title: AdmTree: Compressing Lengthy Context with Adaptive Semantic Trees
• Title（参考訳）: AdmTree: 適応セマンティックツリーによる長さコンテキストの圧縮
• Authors: Yangning Li, Shaoshen Chen, Yinghui Li, Yankai Chen, Hai-Tao Zheng, Hui Wang, Wenhao Jiang, Philip S. Yu,
• Abstract要約: 適応的で階層的なコンテキスト圧縮のための新しいフレームワークであるAdmTreeを提案する。 AdmTreeは情報密度に基づいて入力されたセグメントをgistトークンを利用して、可変長のセグメントをセマンティックバイナリツリーの葉として要約する。 グローバルなセマンティックコヒーレンスと共に細かな詳細を保存し、位置バイアスを緩和し、コンテンツに動的に適応することによって、AdmTreeは長いコンテキストのセマンティック情報をしっかりと保持する。
• 参考スコア（独自算出の注目度）: 66.39371821756649
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The quadratic complexity of self-attention constrains Large Language Models (LLMs) in processing long contexts, a capability essential for many advanced applications. Context compression aims to alleviate this computational bottleneck while retaining critical semantic information. However, existing approaches often fall short: explicit methods may compromise local detail, whereas implicit methods can suffer from positional biases, information degradation, or an inability to capture long-range semantic dependencies. We propose AdmTree, a novel framework for adaptive, hierarchical context compression with a central focus on preserving high semantic fidelity while maintaining efficiency. AdmTree dynamically segments input based on information density, utilizing gist tokens to summarize variable-length segments as the leaves of a semantic binary tree. This structure, together with a lightweight aggregation mechanism and a frozen backbone LLM (thereby minimizing new trainable parameters), enables efficient hierarchical abstraction of the context. By preserving fine-grained details alongside global semantic coherence, mitigating positional bias, and dynamically adapting to content, AdmTree robustly retains the semantic information of long contexts.
• Abstract（参考訳）: 自己意図的制約の二次的な複雑さは、多くの先進的なアプリケーションに不可欠な、長いコンテキストの処理における大規模言語モデル(LLM)である。 コンテキスト圧縮は、重要な意味情報を保持しながら、この計算ボトルネックを軽減することを目的としている。 明示的なメソッドは局所的な詳細を損なうことがあるが、暗黙的なメソッドは位置バイアス、情報劣化、あるいは長距離セマンティック依存関係をキャプチャできない。 本稿では,適応的・階層的文脈圧縮のための新しいフレームワークであるAdmTreeを提案する。 AdmTreeは情報密度に基づいて入力を動的にセグメントし、gistトークンを使用して、可変長セグメントをセマンティックバイナリツリーの葉として要約する。 この構造は、軽量な集約機構と凍結したバックボーンLDM(新しいトレーニング可能なパラメータを最小化する)とともに、コンテキストの効率的な階層的抽象化を可能にします。 グローバルなセマンティックコヒーレンスと共に細かな詳細を保存し、位置バイアスを緩和し、コンテンツに動的に適応することによって、AdmTreeは長いコンテキストのセマンティック情報をしっかりと保持する。

関連論文リスト

• ReTreever: Tree-based Coarse-to-Fine Representations for Retrieval [64.44265315244579]
  そこで本研究では,様々なレベルで参照文書を整理し,表現するためのツリーベース手法を提案する。 我々の手法はReTreeverと呼ばれ、クエリと参照ドキュメントが同様のツリーブランチに割り当てられるように、バイナリツリーの内部ノード毎のルーティング関数を共同で学習する。 我々の評価では、ReTreeverは一般的に完全な表現精度を保っている。
  論文  参考訳（メタデータ） (2025-02-11T21:35:13Z)
• From Isolated Conversations to Hierarchical Schemas: Dynamic Tree Memory Representation for LLMs [9.822315423251395]
  動的木構造メモリ表現を活用するアルゴリズムであるMemTreeを導入し、情報の組織化、検索、統合を最適化する。 我々のアルゴリズムは、新しい情報や既存の情報のセマンティック埋め込みを比較して、このメモリ構造を動的に適応させ、モデルのコンテキスト認識を強化する。
  論文  参考訳（メタデータ） (2024-10-17T21:47:11Z)
• Walking Down the Memory Maze: Beyond Context Limit through Interactive Reading [63.93888816206071]
  我々は,長いコンテキストを要約ノードのツリーに処理する手法であるMemWalkerを紹介した。クエリを受信すると,モデルがこのツリーをナビゲートして関連する情報を検索し,十分な情報を収集すると応答する。 その結果,MemWalkerは,テキストを対話的に読み取る際の推論ステップを強調し,クエリに関連するテキストセグメントをピンポイントすることで,説明性の向上を図っている。
  論文  参考訳（メタデータ） (2023-10-08T06:18:14Z)
• Conversational Semantic Parsing using Dynamic Context Graphs [68.72121830563906]
  汎用知識グラフ(KG)を用いた会話意味解析の課題を,数百万のエンティティと数千のリレーショナルタイプで検討する。 ユーザ発話を実行可能な論理形式にインタラクティブにマッピングできるモデルに焦点を当てる。
  論文  参考訳（メタデータ） (2023-05-04T16:04:41Z)
• Incorporating Constituent Syntax for Coreference Resolution [50.71868417008133]
  本稿では,構成構文構造をグラフベースで組み込む手法を提案する。 また、高次近傍情報を利用して構成木に富んだ構造をエンコードすることも検討する。 on the English and Chinese parts of OntoNotes 5.0 benchmark shows that our proposed model beats a strong baseline or a new-of-the-art performance。
  論文  参考訳（メタデータ） (2022-02-22T07:40:42Z)
• Embedding Semantic Hierarchy in Discrete Optimal Transport for Risk Minimization [26.929277114533498]
  リスク認識型クラス間相関を離散最適輸送(DOT)トレーニングフレームワークに組み込むことを提案する。 具体的には,階層型セマンティックツリー上でツリー誘導誤差(TIE)を定義し,その増加関数に拡張する。 プラグアンドプレイ方式のセマンティックツリー構造により、複数の大規模画像分類タスクで有望な結果が得られます。
  論文  参考訳（メタデータ） (2021-04-30T21:47:36Z)
• Structural Information Learning Machinery: Learning from Observing, Associating, Optimizing, Decoding, and Abstracting [0.913755431537592]
  構造情報学習装置(SiLeM)のモデルを提案する。 SiLeMマシンは自然の法則や規則を学ぶ。
  論文  参考訳（メタデータ） (2020-01-27T09:14:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。