論文の概要: ConCise: Training-Free Conclusion-Chain State Compression for Cost-Efficient Multi-Step RAG Services
- arxiv url: http://arxiv.org/abs/2606.28361v1
- Date: Sat, 13 Jun 2026 08:10:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-05 17:01:29.597474
- Title: ConCise: Training-Free Conclusion-Chain State Compression for Cost-Efficient Multi-Step RAG Services
- Title（参考訳）: ConCise: コスト効率の良いマルチステップRAGサービスのためのトレーニング不要のコンクルージョン-チェーン状態圧縮
- Abstract要約: 多段階検索強化世代 (RAG) は, 複雑な質問応答のための LLM 対応 Web サービスとして広く利用されている。
RAGは、履歴文書と推論トレースをラウンド全体で蓄積し、累積的な入力トークンを膨らませる。
本稿では,クロスラウンド・コンテキスト・トランスミッションを再構成するトレーニング不要な状態層プロトコルであるConCiseを提案する。
- 参考スコア（独自算出の注目度）: 11.399162464271692
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-step retrieval-augmented generation (RAG) has been widely deployed as LLM-powered web services for complex question answering, where iterative retrieval-reasoning rounds deliver strong multi-hop accuracy. However, this paradigm causes historical documents and reasoning traces to accumulate across rounds, inflating cumulative input tokens approximately as $O(N^2)$ with progressively increasing noise density. In API-based service architectures, such growth directly amplifies per-request billing cost, network payload, and response latency. Existing compression approaches rely on pretrained modules or GPU-level KV cache access, introducing model hosting overhead incompatible with API-native, Serverless, and edge-side deployments. To address this issue, this paper proposes ConCise, a training-free state-layer protocol that restructures cross-round context transmission for multi-step RAG services. Specifically, ConCise replaces raw-text accumulation with an append-only chain of structured conclusions, compressing cumulative context growth from $O(N^2)$ to approximately $O(N)$. Furthermore, a fused generation mechanism is introduced to jointly emit reasoning and conclusions in a single API call, eliminating repeated input billing from serial dual-invocation overhead. Extensive experiments across twelve paired configurations spanning three models, two datasets, and two representative frameworks demonstrate that ConCise achieves 64.63\% average token savings while maintaining acceptable accuracy, providing a plug-and-play, deployment-friendly solution for cost-efficient multi-step RAG service optimization.
- Abstract（参考訳）: 多段階検索強化世代 (RAG) は, 複雑な質問応答を行うため, LLM を利用した Web サービスとして広く展開されてきた。
しかし、このパラダイムは歴史文書や推理トレースを丸ごと蓄積させ、累積的な入力トークンをおよそ$O(N^2)$に膨らませ、徐々にノイズ密度を増大させる。
APIベースのサービスアーキテクチャでは、このような成長は要求ごとの請求コスト、ネットワークペイロード、レスポンスレイテンシを直接的に増幅する。
既存の圧縮アプローチは、事前トレーニングされたモジュールやGPUレベルのKVキャッシュアクセスに依存しており、APIネイティブ、サーバレス、エッジサイドデプロイメントと互換性のないモデルホスティングのオーバーヘッドを導入している。
この問題に対処するために,マルチステップRAGサービスのためのクロスラウンドコンテキスト伝送を再構成するトレーニング不要な状態層プロトコルであるConCiseを提案する。
具体的には、ConCiseは生のテキストの蓄積を、構造化された結論の付加のみの連鎖に置き換え、累積的な文脈成長を$O(N^2)$から約$O(N)$に圧縮する。
さらに、単一のAPI呼び出しで推論と結論を共同で出力する融合生成機構を導入し、シリアルデュアル呼び出しオーバーヘッドから繰り返し入力請求を除去する。
3つのモデル、2つのデータセット、2つの代表的なフレームワークにまたがる12のペア構成にわたる大規模な実験は、ConCiseが許容できる精度を維持しながら平均トークンセーブを64.63パーセント達成し、コスト効率の高いマルチステップRAGサービス最適化のためのプラグインとプレイに適したソリューションを提供することを示した。
関連論文リスト
- Compression Beyond the Uncompressed: A Two-Stage Training Recipe for Soft Context Compression in RAG [24.94881830262324]
我々は、RAG推論のための2段階のトレーニングレシピであるDEX-Compを提案する。
DEX-Compは、検索したコンテキストを16times$で圧縮し、推論を4times$--24times$で高速化する。
検索深度における5つのオープンドメインのQAベンチマークでは、DeX-Compは検索したコンテキストを16Times$で圧縮し、推論を4times$--24times$で高速化する。
論文 参考訳（メタデータ） (2026-09-04T13:53:43Z) - Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models [65.49950267695267]
我々はコヒーレンス保存コンテクスト蒸留によるパラメトリックメモリの効率的な圧縮フレームワークであるOmni2LoRAを紹介する。
本手法は,マルチモーダルメモリを固定予算で再利用可能なパラメータ状態に変換することにより,応答時間のマルチモーダルトーケン負荷をゼロにする。
論文 参考訳（メタデータ） (2026-08-10T07:49:10Z) - Context Pruning for Coding Agents via Multi-Rubric Latent Reasoning [14.508049757681862]
LLMベースのコーディングエージェントは、トークンの予算の大部分をリポジトリファイルを読むのに費やしている。
この定式化がモデリングのボトルネックを生み出すことを示す。
コード関連性を2つの解釈可能な品質次元に分解する構造化プルーニングフレームワークであるLaMRを提案する。
論文 参考訳（メタデータ） (2026-05-14T18:30:10Z) - GenRec: A Preference-Oriented Generative Framework for Large-Scale Recommendation [14.663434490160016]
我々は、JD App上にデプロイされた嗜好指向の生成フレームワークであるGenRecを紹介する。
月のオンラインA/Bテストでは、GenRecは9.5%のクリック数の改善と8.7%のトランザクション数を達成した。
論文 参考訳（メタデータ） (2026-04-16T11:07:05Z) - Cost-Aware Query Routing in RAG: Empirical Analysis of Retrieval Depth Tradeoffs [0.0]
本稿では,emphCost-Aware RAG (CA-RAG)について紹介する。
CA-RAG は、常に重い検索よりも有償トークンを textbf26% 減少させ、textbf34% 平均遅延を always-direct 推論より低くする。
論文 参考訳（メタデータ） (2026-03-26T02:53:39Z) - Stacked from One: Multi-Scale Self-Injection for Context Window Extension [69.24689919827817]
Modelnameは、多粒度コンテキスト圧縮とクエリ対応情報取得に基づく新しいフレームワークである。
modelnameachievesパフォーマンスは、強いベースラインと同等か、優れている。
論文 参考訳（メタデータ） (2026-03-05T03:16:16Z) - SimpleMem: Efficient Lifelong Memory for LLM Agents [73.74399447715052]
セマンティックロスレス圧縮に基づく効率的なメモリフレームワークSimpleMemを紹介する。
本稿では,情報密度とトークン利用量の最大化を目的とした3段階パイプラインを提案する。
ベンチマークデータセットを用いた実験により,提案手法は精度,検索効率,推論コストにおいて,ベースラインアプローチを一貫して上回っていることがわかった。
論文 参考訳（メタデータ） (2026-01-05T21:02:49Z) - Cost-Aware Contrastive Routing for LLMs [57.30288453580456]
我々は、プロンプトとモデルの両方を共有埋め込み空間にマッピングする軽量フレームワークであるコストスペクトルコントラストルーティング(CSCR)を紹介します。
CSCRはベースラインを一貫して上回り、精度とコストのトレードオフを最大25%改善した。
論文 参考訳（メタデータ） (2025-08-17T20:16:44Z) - Probabilistically Tightened Linear Relaxation-based Perturbation Analysis for Neural Network Verification [83.25968588249776]
本稿では,LiRPAに基づく手法とサンプリングに基づく手法を組み合わせることで,厳密な中間到達性集合を計算できる新しいフレームワークを提案する。
無視可能な計算オーバーヘッドでは、$textttPT-LiRPA$は推定された到達可能な集合を利用し、ニューラルネットワークの出力の上下線形境界を著しく締め付ける。
論文 参考訳（メタデータ） (2025-07-07T18:45:53Z) - BRIEF: Bridging Retrieval and Inference for Multi-hop Reasoning via Compression [91.23933111083389]
Retrieval-augmented Generation (RAG)は、外部知識を統合することで、大きな言語モデル(LLM)を補完することができる。
本稿では,クエリ対応マルチホップ推論を行う軽量なアプローチであるBRIEFを提案する。
オープンソースモデルで構築した合成データに基づいて,BRIEFはより簡潔な要約を生成する。
論文 参考訳（メタデータ） (2024-10-20T04:24:16Z) - Cut the Crap: An Economical Communication Pipeline for LLM-based Multi-Agent Systems [42.137278756052595]
$texttAgentPrune$は、メインストリームのマルチエージェントシステムにシームレスに統合できる。
textbf(I)は、既存のマルチエージェントフレームワークとシームレスに統合され、28.1%sim72.8%downarrow$トークンの削減を行う。
textbf(III)は2種類のエージェントベースの敵攻撃に対して3.5%sim10.8%uparrow$パフォーマンス向上で防御に成功した。
論文 参考訳（メタデータ） (2024-10-03T14:14:31Z) - Implicit Grid Convolution for Multi-Scale Image Super-Resolution [6.8410780175245165]
我々は,Implicit Grid Convolution(IGConv)と連携して,単一エンコーダを用いたマルチスケールフレームワークを提案する。
本フレームワークは,既存の固定スケール手法に匹敵する性能を達成しつつ,トレーニング予算を削減し,パラメータを3倍に抑える。
論文 参考訳（メタデータ） (2024-08-19T03:30:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。