論文の概要: BEAVER: A Training-Free Hierarchical Prompt Compression Method via Structure-Aware Page Selection

• arxiv url: http://arxiv.org/abs/2603.19635v1
• Date: Fri, 20 Mar 2026 04:35:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 19:48:38.996343
• Title: BEAVER: A Training-Free Hierarchical Prompt Compression Method via Structure-Aware Page Selection
• Title（参考訳）: BEAVER: 構造認識ページ選択によるトレーニング不要階層型プロンプト圧縮手法
• Abstract要約: 既存の圧縮手法は、攻撃的なトークンプルーニングによる訓練コストや意味的な断片化に悩まされることが多い。 線形トークン除去から構造対応階層選択へ圧縮を移行する新しいトレーニングフリーフレームワークBEAVERを提案する。 BEAVERがLongLLMLinguaのような最先端(SOTA)メソッドに匹敵するパフォーマンスを実現することを示す。
• 参考スコア（独自算出の注目度）: 21.177715869071793
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The exponential expansion of context windows in LLMs has unlocked capabilities for long-document understanding but introduced severe bottlenecks in inference latency and information utilization. Existing compression methods often suffer from high training costs or semantic fragmentation due to aggressive token pruning. In this paper, we propose BEAVER, a novel training-free framework that shifts compression from linear token removal to structure-aware hierarchical selection. BEAVER maximizes hardware parallelism by mapping variable-length contexts into dense page-level tensors via dual-path pooling, and preserves discourse integrity through a hybrid planner combining semantic and lexical dual-branch selection with sentence smoothing. Extensive evaluations on four long-context benchmarks demonstrate that BEAVER achieves comparable performance to state-of-the-art (SOTA) methods like LongLLMLingua. Notably, on the RULER benchmark, BEAVER maintains high fidelity in multi-needle retrieval where baselines deteriorate. Regarding efficiency, BEAVER reduces latency by 26.4x on 128k contexts, offering a scalable solution for high-throughput applications. Our code is available at https://cslikai.cn/BEAVER/.
• Abstract（参考訳）: LLMにおけるコンテキストウィンドウの指数関数的拡張により、長期文書理解の能力は解放されたが、推論遅延と情報利用の重大なボトルネックが導入された。 既存の圧縮手法は、攻撃的なトークンプルーニングによる訓練コストや意味的な断片化に悩まされることが多い。 本稿では,線形トークン除去から構造を考慮した階層選択へ圧縮を移行させる新しいトレーニングフリーフレームワークBEAVERを提案する。 BEAVERは、変数長コンテキストを2つのパスプーリングによって高密度ページレベルテンソルにマッピングすることでハードウェアの並列性を最大化し、セマンティックと語彙の二重ブランチ選択を文の平滑化と組み合わせたハイブリッドプランナーを通して、談話の整合性を維持する。 BEAVERは、LongLLMLinguaのような最先端(SOTA)メソッドに匹敵するパフォーマンスを達成している。 特に、RULERベンチマークでは、BEAVERはベースラインが劣化したマルチニードル検索において、高い忠実性を維持している。 効率性に関して、BEAVERは128kコンテキストでのレイテンシを26.4倍削減し、高スループットアプリケーションのためのスケーラブルなソリューションを提供する。 私たちのコードはhttps://cslikai.cn/BEAVER/で利用可能です。

関連論文リスト

• Faster Than Flash: Exploiting Attention Sparsity for Efficient Long-Context Decoding [51.48425605758328]
  我々は,Faster Flash Decoding (FFD) という,長文デコーディングにおいてメモリ壁を壊すように設計されたハードウェア・アルゴリズムの共同設計フレームワークを提示する。 FFDはセレクタとコンピュータを完全に融合したカーネルに統合し、外部メタデータのインデックスをコンテンツ認識スキャンに置き換える。 最大11.6倍のカーネルレベルのスピードアップと256Kコンテキスト長のスケーリングを実現し、2.37倍のスループット向上を実現している。
  論文  参考訳（メタデータ） (2026-08-31T15:13:20Z)
• Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models [65.49950267695267]
  我々はコヒーレンス保存コンテクスト蒸留によるパラメトリックメモリの効率的な圧縮フレームワークであるOmni2LoRAを紹介する。 本手法は,マルチモーダルメモリを固定予算で再利用可能なパラメータ状態に変換することにより,応答時間のマルチモーダルトーケン負荷をゼロにする。
  論文  参考訳（メタデータ） (2026-08-10T07:49:10Z)
• VLZip: Unified Visual and Textual Compression for Interleaved Long-Context Modeling [81.92510561363197]
  VLZipは、純粋なトランスフォーマー内で高忠実性推論のための視覚的およびテキスト的圧縮を統一するフレームワークである。 また、LongVLBenchというビデオナラティブから派生した、全体論的、物語レベルの推論を要求する新しいベンチマークも紹介する。
  論文  参考訳（メタデータ） (2026-08-09T10:31:03Z)
• You Only Index Once: Cross-Layer Sparse Attention with Shared Routing [61.29627714699688]
  層間スパースアテンション(A)はYOCOなどのKV共有アーキテクチャ上に構築されている。 シングルインデクサはトークンレベルのトップk選択を一度計算し、その結果のインデックスをレイヤ間で再利用する。 その結果、CLSAは正確かつ効率的であり、最大7.6倍のデコードスピードアップと17.1倍のスループット向上を実現している。
  論文  参考訳（メタデータ） (2026-06-04T17:54:04Z)
• Joint Semantic Token Selection and Prompt Optimization for Interpretable Prompt Learning [57.91658393667469]
  Interpretable Prompt Learningは、個別の意味トークンの選択と連続的なプロンプト最適化を交互に行うハイブリッドフレームワークである。 我々のフレームワークはプラグイン・アンド・プレイであり、既存の即興学習手法とシームレスに統合できる。
  論文  参考訳（メタデータ） (2026-05-06T02:38:59Z)
• Stacked from One: Multi-Scale Self-Injection for Context Window Extension [69.24689919827817]
  Modelnameは、多粒度コンテキスト圧縮とクエリ対応情報取得に基づく新しいフレームワークである。 modelnameachievesパフォーマンスは、強いベースラインと同等か、優れている。
  論文  参考訳（メタデータ） (2026-03-05T03:16:16Z)
• CHESS: Context-aware Hierarchical Efficient Semantic Selection for Long-Context LLM Inference [9.561727872677173]
  我々は,テキスト・ゴリサム・システムであるtextbfCHESS を提案し,KV-cache 管理システムを設計する。 KVキャッシュの textbf1.% は、textbf4.56$times$高スループットで、低コンテキストの安定した推論を提供する。
  論文  参考訳（メタデータ） (2026-02-24T09:54:59Z)
• Training-free Context-adaptive Attention for Efficient Long Context Modeling [57.703159205740185]
  トレーニングフリーコンテキスト適応注意(TCA-Attention)は、学習不要なスパースアテンション機構であり、効率的な長文推論のための情報トークンのみに選択的に参画する。 TCA-Attentionは2.8$times$のスピードアップを実現し、128Kのコンテキスト長でKVキャッシュを61%削減し、フルアテンションに匹敵するパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2025-12-10T01:54:57Z)
• CLaRa: Bridging Retrieval and Generation with Continuous Latent Reasoning [34.38636514331703]
  CLaRaは、埋め込みベースの圧縮と共同最適化を共有連続空間で実行する統合フレームワークである。 実験により、CLaRaは、しばしばテキストベースの微調整ベースラインを超える、最先端の圧縮と性能の再ランクを達成することが示された。
  論文  参考訳（メタデータ） (2025-11-24T00:11:14Z)
• Rethinking Autoregressive Models for Lossless Image Compression via Hierarchical Parallelism and Progressive Adaptation [75.58269386927076]
  自己回帰(AR)モデルは、しばしば計算コストの禁止のために非現実的に除外される。 この研究は、階層的並列性とプログレッシブ適応に基づくフレームワークを導入して、このパラダイムを再考する。 各種データセット(自然,衛星,医療)の実験により,本手法が新たな最先端圧縮を実現することを確認した。
  論文  参考訳（メタデータ） (2025-11-14T06:27:58Z)
• UniGist: Towards General and Hardware-aligned Sequence-level Long Context Compression [86.33995240043936]
  UniGistは、大規模言語モデルのためのシーケンスレベルのロングコンテキスト圧縮フレームワークである。 生のトークンを特別な圧縮トークン(gist)に微粒な方法で置き換えることで、コンテキスト情報を効率的に保存する。 提案手法は,圧縮トークンの実際の除去を可能にすることで,フレキシブルな推論もサポートしている。
  論文  参考訳（メタデータ） (2025-09-19T08:47:37Z)
• Pangu Embedded: An Efficient Dual-system LLM Reasoner with Metacognition [95.54406667705999]
  Pangu Embeddedは、Ascend Neural Processing Units (NPU) 上で開発された効率的なLarge Language Model (LLM) 推論器である。 既存の推論最適化 LLM でよく見られる計算コストと推論遅延の問題に対処する。 単一の統一モデルアーキテクチャ内で、迅速な応答と最先端の推論品質を提供する。
  論文  参考訳（メタデータ） (2025-05-28T14:03:02Z)
• Optimizing LLM Inference: Fluid-Guided Online Scheduling with Memory Constraints [14.341123057506827]
  大規模言語モデル(LLM)は、今日のアプリケーションでは必須であるが、推論手順は重要な計算資源を必要とする。 本稿では,多段階オンラインスケジューリング問題としてLLM推論最適化を定式化する。 我々は,アルゴリズム設計をガイドするトラクタブルなベンチマークを提供するために,流体力学近似を開発した。
  論文  参考訳（メタデータ） (2025-04-15T16:00:21Z)
• TreeKV: Smooth Key-Value Cache Compression with Tree Structures [19.06842704338332]
  TreeKVは、スムーズなキャッシュ圧縮のためにツリー構造を利用するトレーニング不要の手法である。 PG19とOpenWebText2の言語モデリングタスクのベースラインモデルを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-01-09T06:00:27Z)
• LLMLingua: Compressing Prompts for Accelerated Inference of Large Language Models [22.06402870816756]
  大きな言語モデル(LLM)は、その驚くべき能力のために様々なアプリケーションに適用されている。 本稿では,意味的整合性を維持するための予算制御を伴う粗大なプロンプト圧縮手法であるLLMLinguaを提案する。 提案手法により,最先端性能が得られ,最大20倍圧縮が可能であり,性能損失が少ないことを示す。
  論文  参考訳（メタデータ） (2023-10-09T14:10:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。