論文の概要: From Retrieved Context to Runtime Control: Adaptive Compression for Edge-based RAG

• arxiv url: http://arxiv.org/abs/2608.19535v1
• Date: Thu, 20 Aug 2026 01:13:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-21 20:28:51.430563
• Title: From Retrieved Context to Runtime Control: Adaptive Compression for Edge-based RAG
• Title（参考訳）: 検索コンテキストから実行時制御へ:エッジベースRAGの適応圧縮
• Abstract要約: Retrieval-augmented Generation (RAG) は言語モデル応答を改善する。 コンテキスト圧縮は、生成前に取得したテキストをプルーニングすることで自然な救済を提供する。 本稿では,エッジRAGにおけるテレメトリインフォームド適応圧縮のためのビジョンを提案する。
• 参考スコア（独自算出の注目度）: 25.758495313999877
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-augmented generation (RAG) improves language-model responses by grounding generation in external passages, which comes with overhead: retrieved context lengthens the prompt, increasing prefill work, KV-cache footprint, memory traffic, latency, and energy. Context compression offers a natural remedy by pruning retrieved text before generation. However, state-of-the-art context-compression methods are typically used with a fixed compression budget, or with the rate selected offline and then applied at inference time. This static view ignores both workload variation and the live state of the edge device. On an edge SoC, compression is not free: the compressor itself runs on the same SoC and consumes latency and energy that can offset any generation savings. This paper proposes a vision for telemetry-informed adaptive compression in edge RAG, grounded in experimental evidence. We characterize the compression tradeoff on the NVIDIA Jetson AGX Thor using Llama and Qwen generators, Natural Questions and HotpotQA datasets, and LLMLingua-2 compression. Our measurements show that generation dominates the RAG budget for larger models, reaching roughly 90% of per-query latency and 91% of GPU energy for 7B-8B generators. Exploring the impact of the compression rate reveals an adaptive operating region: mild compression can miss energy opportunities, and overly aggressive compression can hurt inference quality. Intermediate compression can reduce GPU energy by up to 53.2%, and SoC energy by up to 48.2%, with negligible quality loss. We argue for runtime policies that dynamically manage compression, guided by workload features and edge telemetry.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG)は、言語モデル応答を改善するために、外部パスの生成を基盤にすることで、オーバーヘッドが伴う: 検索されたコンテキストはプロンプトを延長し、プリフィル作業が増加し、KVキャッシュのフットプリント、メモリトラフィック、レイテンシ、エネルギが増大する。 コンテキスト圧縮は、生成前に取得したテキストをプルーニングすることで自然な救済を提供する。 しかし、最先端のコンテクスト圧縮手法は、通常、固定された圧縮予算、あるいはオフラインで選択されたレートで使われ、推論時に適用される。 この静的ビューは、エッジデバイスのワークロードの変動とライブ状態の両方を無視します。 圧縮機自体が同じSoC上で動作し、遅延とエネルギを消費し、あらゆる世代の節約を相殺することができる。 本稿では,実験的な証拠から得られたエッジRAGにおけるテレメトリインフォームド・アダプティブ圧縮のビジョンを提案する。 LlamaおよびQwenジェネレータ、Nature QuestionsおよびHotpotQAデータセット、LLMLingua-2圧縮を用いてNVIDIA Jetson AGX Thorの圧縮トレードオフを特徴付ける。 以上の結果から,7B-8B ジェネレータの待ち時間は約90%,GPU エネルギーは91%に達した。 軽い圧縮はエネルギーの機会を逃し、過度に攻撃的な圧縮は推論品質を損なう。 中間圧縮はGPUエネルギーを最大53.2%削減し、SoCエネルギーを最大48.2%削減する。 ワークロード機能とエッジテレメトリによってガイドされる圧縮を動的に管理するランタイムポリシーについて議論する。

関連論文リスト

• Every Time I Hire a Linguist, Inference Costs Go Down: On Linguistic Rules as Effective Prompt Compressors [13.49190771932777]
  我々は, 語彙, 構文, 意味, 言説の種を進化的に探索し, 競争ルールの組み合わせを見つける。 結果、言語圧縮機はデプロイメント時にLMフォワードパスを必要とせず、CPU側でのみ圧縮を行う。 圧縮品質と復元精度のバランスをとるために,デュアルパスプロトコルを用いて評価を行った。
  論文  参考訳（メタデータ） (2026-07-28T06:33:27Z)
• End-to-End Context Compression at Scale [81.70601323130997]
  長期コンテキスト言語モデル推論は、KVキャッシュがコンテキスト長とともに増加するにつれて、メモリによってボトルネックとなる。 KVキャッシュを圧縮する最近の技術は、モデル品質を著しく低下させるか、あるいはかなりの時間を要するか、1つの長いプロンプトを圧縮するために計算する。 既存のアプローチは、精度-効率のフロンティア上のKVキャッシュ圧縮と競合しない。
  論文  参考訳（メタデータ） (2026-06-08T15:43:16Z)
• EchoKV: Efficient KV Cache Compression via Similarity-Based Reconstruction [55.026048429595384]
  EchoKVは、標準と圧縮された推論間のオンデマンド移行を可能にする柔軟なKVキャッシュ圧縮スキームである。 高速で低コストなトレーニングを可能にする2段階の微調整戦略を導入する。
  論文  参考訳（メタデータ） (2026-03-24T07:58:42Z)
• Arbitrary Ratio Feature Compression via Next Token Prediction [52.10426317889982]
  Arbitrary Ratio Feature Compression (ARFC)フレームワークは、任意の圧縮比を単一のモデルでサポートする。 ARCは、次の回帰予測によって圧縮を行う自動回帰モデルである。 MoSモジュールは複数の圧縮結果を利用して圧縮トークンを洗練する。 ERGCは、圧縮中の意味的および構造的関係を維持するために、トレーニングプロセスに統合される。
  論文  参考訳（メタデータ） (2026-02-12T02:38:57Z)
• Lossless Compression for LLM Tensor Incremental Snapshots [0.0]
  私たちはLanguage Model(LMC)と呼ばれる効果的な圧縮ソリューションを構築します。 LMCの16コア並列実装は、それぞれ2.78 GiB/sと3.76 GiB/sの圧縮および減圧スループットを実現することができる。 このパフォーマンスの向上は、最終的に必要なリソースを削減し、次のエポック前にデータをストレージシステムにコピーする時間を増やすことで、より高い周波数のチェックポイントを可能にします。
  論文  参考訳（メタデータ） (2025-05-14T21:24:14Z)
• Embedding Compression Distortion in Video Coding for Machines [67.97469042910855]
  現在、ビデオ伝送は人間の視覚システム(HVS)だけでなく、分析のための機械認識にも役立っている。 本稿では,機械知覚関連歪み表現を抽出し,下流モデルに埋め込む圧縮歪埋め込み(CDRE)フレームワークを提案する。 我々のフレームワークは,実行時間,パラメータ数といったオーバーヘッドを最小限に抑えて,既存のコーデックのレートタスク性能を効果的に向上させることができる。
  論文  参考訳（メタデータ） (2025-03-27T13:01:53Z)
• OSCAR: Online Soft Compression And Reranking [7.7738192642118715]
  OSCARは、クエリ依存のオンラインソフト圧縮手法である。 検索した情報を推論時に圧縮し、ストレージのオーバーヘッドをなくし、より高い圧縮率を実現する。 1B から 24B のパラメータを含む LLM の精度を 2-5 倍に向上し,精度の低下を最小限に抑えながら,最先端性能を実証した。
  論文  参考訳（メタデータ） (2025-03-17T15:10:09Z)
• Hyper-Compression: Model Compression via Hyperfunction [20.47369296713829]
  本稿では,モデル圧縮をハイパーファンクションによるパラメータ表現問題に変換する,いわゆるハイパー圧縮を提案する。 これは、既存のプルーニング、量子化、蒸留、分解とは大きく異なるモデル圧縮のための新しいメカニズムを示唆している。 textbfPreferable compression ratio; 2) textbfNo post-hoc retraining; 3) textbfAffordable inference time; and 4) textbfShort compression time。
  論文  参考訳（メタデータ） (2024-09-01T02:57:41Z)
• Ultra Dual-Path Compression For Joint Echo Cancellation And Noise Suppression [38.09558772881095]
  固定圧縮比の下では、時間と周波数の両方の手法を組み合わせたデュアルパス圧縮により、さらなる性能向上が期待できる。 提案されたモデルは、高速なFullSubNetやDeepNetFilterと比較して、競争力のある性能を示している。
  論文  参考訳（メタデータ） (2023-08-21T21:36:56Z)
• DiffRate : Differentiable Compression Rate for Efficient Vision Transformers [98.33906104846386]
  Token圧縮は、プルーニング(ドロップ)やトークンのマージによって、大規模な視覚変換器(ViTなど)を高速化することを目的としている。 DiffRate(ディフレート)は、先行技術にはないいくつかの魅力的な特性を持つ新しいトークン圧縮手法である。
  論文  参考訳（メタデータ） (2023-05-29T10:15:19Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。