論文の概要: Less is More: Lightweight Prompt Compression for Question Answering Applications on Edge Devices

• arxiv url: http://arxiv.org/abs/2606.20571v1
• Date: Mon, 27 Apr 2026 16:11:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:41:28.671928
• Title: Less is More: Lightweight Prompt Compression for Question Answering Applications on Edge Devices
• Title（参考訳）: エッジデバイス上の質問応答アプリケーションに対する軽量プロンプト圧縮
• Abstract要約: COREは2段階の文レベルのプロンプト圧縮法である。 我々はNVIDIA Jetson AGX OrinエッジデバイスとHuawei NovaスマートフォンにCOREを実装した。 COREは最先端のベースラインに比べて少なくとも30.19%精度が向上する。
• 参考スコア（独自算出の注目度）: 18.557908375073307
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In agent-driven question answering (QA) applications, retrieval-augmented generation (RAG) is commonly introduced to enhance the response accuracy of large language models (LLMs) by providing additional context. Due to the inherent noise in retrieval results and the coarse granularity of document-level retrieval, the retrieved context often contains substantial redundant information. In this setting, the agent prompt, consisting of the user query and the associated retrieved context, leads to unnecessary computational overhead during LLM inference. Existing prompt compression methods typically rely on auxiliary small language models (SLMs) to estimate context importance. However, such approaches introduce significant memory and computational overhead, which limits their deployment on resource-constrained edge devices. In this paper, we propose CORE, a two-stage sentence-level prompt compression method that eliminates the need for SLMs. In the first stage, CORE constructs an answer set via named entity recognition (NER) and a clue set via semantic matching. In the second stage, CORE refines the clue set using an orthogonal residual retrieval strategy and designs a spatial proximity-based metric to filter the answer set. The two sets are then combined to form the final compressed context. We implement CORE on an NVIDIA Jetson AGX Orin edge device and a Huawei Nova smartphone. Experimental results demonstrate that within a 2000-token budget, CORE improves accuracy by at least 30.19% compared to state-of-the-art baselines, while reducing memory usage by at least 50.47% and achieving at least 1.94 times speedup on the edge device. Moreover, compared to the state-of-the-art LLMLingua2 method, CORE achieves a substantial energy reduction of 95.74% on the smartphone, highlighting its practicality and generalizability for mobile deployments.
• Abstract（参考訳）: エージェント駆動型質問応答(QA)アプリケーションでは、検索拡張生成(RAG)が一般的に導入され、追加のコンテキストを提供することで、大規模言語モデル(LLM)の応答精度が向上する。 検索結果の固有ノイズと文書レベルの検索の粗い粒度により、検索されたコンテキストは、かなりの冗長な情報を含むことが多い。 この設定では、ユーザークエリと関連する検索コンテキストからなるエージェントプロンプトが、LCM推論中に不要な計算オーバーヘッドを引き起こす。 既存のプロンプト圧縮手法は、文脈の重要性を推定するために補助的な小言語モデル(SLM)に依存している。 しかし、このようなアプローチではメモリと計算のオーバーヘッドが大きくなり、リソースに制約のあるエッジデバイスへのデプロイメントが制限される。 本稿では,2段階の文レベルプロンプト圧縮手法であるCOREを提案する。 最初の段階では、COREは名前付きエンティティ認識(NER)と意味マッチング(semantic matching)を介して手掛かりセットを構築する。 第2段階において、COREは直交残差探索戦略を用いて手掛かりセットを洗練し、その解集合をフィルタリングするために空間近接に基づく計量を設計する。 2つの集合は、最後に圧縮されたコンテキストを形成するために結合される。 我々はNVIDIA Jetson AGX OrinエッジデバイスとHuawei NovaスマートフォンにCOREを実装した。 2000年の予算で、COREは最先端のベースラインと比較して少なくとも30.19%の精度向上を実現し、メモリ使用量を50.47%削減し、エッジデバイス上で少なくとも1.94倍のスピードアップを達成した。 さらに、現在最先端のLLMLingua2法と比較して、COREはスマートフォンで95.74%のエネルギー削減を実現し、モバイルデプロイメントの実用性と一般化性を強調している。

関連論文リスト

• Lightweight Chunk Selection for Mobile Retrieval-Augmented Generation [8.227745781139634]
  証拠アライメント問題として軽量RAGチャンク選択について検討する。 我々のセレクタは、3つの補完的特徴源を組み合わせる: LLM側のクエリ意図を表す質問隠蔽状態、ジェネレータの内部ルーティング構造をキャプチャするMoEルーティングに基づくエキスパート信号、および候補側のエビデンスを保存したチャンク埋め込み。 実験の結果、提案したセレクタは、モバイル適用可能なベースラインに対するランク1のエビデンス選択を平均2.5%改善することがわかった。
  論文  参考訳（メタデータ） (2026-08-04T05:26:25Z)
• Gradient-free Task-Conditioned Retrieval for On-Device In-Context Learning [35.54770997926101]
  Conditional Retrieval Alignment (CoRA)は、凍結エンコーダをタスク条件付きレトリバーに変換する、勾配のないフレームワークである。 出力条件付き適応表現の最適低ランク圧縮は,CoRAのランク制約基底であることを示す。 我々は,視覚表現を条件付けと検索空間に組み込むことで,マルチモーダル検索に拡張する。
  論文  参考訳（メタデータ） (2026-07-30T07:03:18Z)
• Efficient RAG with Intent-Aware Retrieval and Semantics-Preserving Chunking [18.698122955613584]
  InSemRAGは、検索拡張世代(RAG)システムのためのフレームワークである。 IARは、クエリインテントに基づいて、検索チャネルを適応的に重み付けする動的ハイブリッド検索手法を実装している。 SPCは、意味的整合性を維持するために破損した証拠チャンクの検出と修復を行う。 提案手法は,HotPotQAではF1が2.65ポイント,FEVERでは1.5ポイントの精度向上を実現した。
  論文  参考訳（メタデータ） (2026-05-31T13:42:36Z)
• GRAIL: A Deep-Granularity Hybrid Resonance Framework for Real-Time Agent Discovery via SLM-Enhanced Indexing [0.0]
  textbfGRAIL(Granular Resonance-based Agent/AI Link)は400ms以下の発見遅延を実現するための新しいフレームワークである。 GRAILは、LLMパーシングベースラインと比較して、textbf79$times以上のエンドツーエンド発見のレイテンシを低減すると同時に、Recall@10の従来のベクター検索よりも大幅に優れています。
  論文  参考訳（メタデータ） (2026-05-04T11:41:45Z)
• Beyond Semantic Similarity: Rethinking Retrieval for Agentic Search via Direct Corpus Interaction [127.64173950476702]
  エージェントが直接、汎用端末ツールを用いて、生コーパスを直接検索する直接コーパス間相互作用(DCI)について検討する。 このアプローチではオフラインインデックスを必要とせず、ローカルコーパスの進化に自然に適応する。 IRベンチマークとエンドツーエンドのエージェント検索タスク全体にわたって、この単純なセットアップは、強いスパース、密度、リランクベースラインよりも大幅に優れています。
  論文  参考訳（メタデータ） (2026-05-03T19:13:11Z)
• Detecting Overflow in Compressed Token Representations for Retrieval-Augmented Generation [49.48204107529758]
  我々はトークンオーバーフローを、圧縮された表現が与えられたクエリに応答する十分な情報を含んでいない状態として定義する。 本稿では,非圧縮トークン表現から,クエリ非依存の飽和統計を確実に分離することを見出した。 クエリとコンテキストの両方のxRAG表現上の軽量なプローブ分類器は平均0.72 AUC-ROCでオーバーフローを検出する。 これらの結果は、クエリ非依存の診断からクエリ対応検出まで進歩し、低コストのプレLLMゲーティングにより、圧縮によるエラーを軽減できる。
  論文  参考訳（メタデータ） (2026-02-12T18:15:08Z)
• SimpleMem: Efficient Lifelong Memory for LLM Agents [73.74399447715052]
  セマンティックロスレス圧縮に基づく効率的なメモリフレームワークSimpleMemを紹介する。 本稿では,情報密度とトークン利用量の最大化を目的とした3段階パイプラインを提案する。 ベンチマークデータセットを用いた実験により,提案手法は精度,検索効率,推論コストにおいて,ベースラインアプローチを一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2026-01-05T21:02:49Z)
• TeaRAG: A Token-Efficient Agentic Retrieval-Augmented Generation Framework [62.66056331998838]
  TeaRAGは、検索内容と推論ステップの両方を圧縮できるトークン効率のエージェントRAGフレームワークである。 報奨関数は,過剰な推論ステップをペナルティ化しながら,知識マッチング機構によって知識満足度を評価する。
  論文  参考訳（メタデータ） (2025-11-07T16:08:34Z)
• Divide by Question, Conquer by Agent: SPLIT-RAG with Question-Driven Graph Partitioning [62.640169289390535]
  SPLIT-RAGは、質問駆動セマンティックグラフ分割と協調サブグラフ検索による制限に対処するマルチエージェントRAGフレームワークである。 革新的なフレームワークは、まずリンク情報のセマンティック分割を作成し、次にタイプ特化知識ベースを使用してマルチエージェントRAGを実現する。 属性対応グラフセグメンテーションは、知識グラフを意味的に一貫性のあるサブグラフに分割し、サブグラフが異なるクエリタイプと整合することを保証する。 階層的なマージモジュールは、論理的検証を通じて、部分グラフ由来の解答間の矛盾を解消する。
  論文  参考訳（メタデータ） (2025-05-20T06:44:34Z)
• BRIEF: Bridging Retrieval and Inference for Multi-hop Reasoning via Compression [91.23933111083389]
  Retrieval-augmented Generation (RAG)は、外部知識を統合することで、大きな言語モデル(LLM)を補完することができる。 本稿では,クエリ対応マルチホップ推論を行う軽量なアプローチであるBRIEFを提案する。 オープンソースモデルで構築した合成データに基づいて,BRIEFはより簡潔な要約を生成する。
  論文  参考訳（メタデータ） (2024-10-20T04:24:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。