論文の概要: CONCORD: Asynchronous Sparse Aggregation for Device-Cloud RAG under Document Isolation
- arxiv url: http://arxiv.org/abs/2606.15179v1
- Date: Sat, 13 Jun 2026 08:00:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 16:21:33.041449
- Title: CONCORD: Asynchronous Sparse Aggregation for Device-Cloud RAG under Document Isolation
- Title(参考訳): CONCORD: ドキュメント分離下でのデバイスクラウドRAGのための非同期スパースアグリゲーション
- Authors: Xuedong Hu, Zhiqing Tang, Zhi Yao, Tian Wang, Weijia Jia,
- Abstract要約: 文書分離下でのデュアルエンドRAGのための非同期スパースアグリゲーションフレームワークであるCONCORDを提案する。
CONCORDはベースライン上のエンドツーエンドのスループットをそれぞれ1.66times$と2.15times$に改善することを示す。
- 参考スコア(独自算出の注目度): 9.891160594920008
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Retrieval-augmented generation (RAG) has emerged as a pivotal technique for improving language models by incorporating external knowledge at inference time. As device-cloud collaborative inference makes it feasible to deploy small language models on edge devices, a new setting arises in which private documents remain on the device and public knowledge resides in the cloud. Privacy and policy constraints often forbid raw document exchange, creating a document-isolated dual-end RAG setting. However, existing methods rely on frequent remote synchronization and dense evidence transfer, limiting throughput under realistic latency and bandwidth conditions. To address this issue, we propose CONCORD, an asynchronous sparse aggregation framework for dual-end RAG under document isolation. CONCORD treats the cloud as an asynchronously arriving evidence source rather than a continuously synchronized co-generator. Specifically, we introduce waiting debt control to decide whether each decoding step should continue waiting for remote participation based on the observed return of waiting. We also design a certificate-guided minimal supplementation mechanism that requests only the remote evidence needed to determine the current greedy decision. Steps that consult the cloud preserve the same greedy token as dense dual-end aggregation, while the remaining steps commit locally without remote evidence. Experiments on Natural Questions and WikiText-2 show that CONCORD improves end-to-end throughput over baselines by $1.66\times$ and $2.15\times$, respectively, while reducing per-token communication by over two orders of magnitude and maintaining comparable answer quality and perplexity.
- Abstract(参考訳): 検索拡張生成(RAG)は、推論時に外部知識を組み込むことで言語モデルを改善するための重要な手法として登場した。
デバイスとクラウドの協調推論により、エッジデバイスに小さな言語モデルをデプロイすることが可能になるため、デバイス上にプライベートドキュメントが残り、クラウドに公開知識が存在するという新たな設定が生まれます。
プライバシとポリシーの制約は、しばしば生のドキュメント交換を禁止し、文書を分離したデュアルエンドのRAG設定を作成する。
しかし、既存の手法は頻繁にリモート同期と高密度なエビデンス転送に依存し、現実的なレイテンシと帯域幅条件下でスループットを制限する。
この問題に対処するため,文書分離下でのデュアルエンドRAGのための非同期スパースアグリゲーションフレームワークであるCONCORDを提案する。
CONCORDはクラウドを、継続的に同期されたコジェネレータではなく、非同期に到着するエビデンスソースとして扱う。
具体的には、各デコードステップが、観測された待ち返りに基づいて、リモート参加を待つかどうかを決定するために、待機負債制御を導入する。
また,現状の欲求決定に必要なリモート証拠のみを要求できる,証明書誘導型最小補充機構を設計する。
クラウドを参照するステップは、密集したデュアルエンドアグリゲーションと同じグリーディトークンを保持し、残りのステップはリモートエビデンスなしでローカルにコミットする。
Natural Questions と WikiText-2 の実験では、CONCORD はベースライン上のエンドツーエンドのスループットをそれぞれ $1.66\times$ と $2.15\times$ で改善し、トーケン間通信を2桁以上削減し、同等の応答品質と難易度を維持している。
関連論文リスト
- Rethinking RAG in Long Videos: What to Retrieve and How to Use It? [56.38819694781005]
V-RAGBenchは$langle$query, evidence chunk, answer$rangle$三重項のベンチマークで、検索と生成を忠実に分離した評価を可能にする。
また、CARVEは、コンフィグレーションにまたがって並列レトリバーを動作させ、チャンク毎に入賞構成を識別するためにチャンク適応リランクを用いる手法である。
論文 参考訳(メタデータ) (2026-06-11T10:05:49Z) - Asynchronous Remote Sensing Time-Series Fusion for Cloud Removal and Anytime Reconstruction [23.520256659087583]
本稿では,S1/S2雲の除去と時系列再構成のための時間的流れマッチングモデルを提案する。
AGFlowは、完全に欠落したフレーム再構築を特に改善する(MAEとRMSEは、RESTORE-DiTよりも16-19%削減)
SentinelのtheORE-DiTベンチマークプロトコルについて,定量化,定性比較,コンポーネントの短縮による評価を行った。
論文 参考訳(メタデータ) (2026-05-26T22:02:07Z) - When to Think, When to Speak: Learning Disclosure Policies for LLM Reasoning [60.714416943748866]
シングルストリームの自己回帰インターフェースでは、同じトークンがモデル状態を更新し、不可逆的な公約を構成する。
そこで我々は,Side-by-Side (SxS) Interleaved Reasoningを導入する。
論文 参考訳(メタデータ) (2026-05-05T02:59:58Z) - SpecSteer: Synergizing Local Context and Global Reasoning for Efficient Personalized Generation [79.75755802397312]
SpecSteerは非対称な協調推論フレームワークで、デバイス上のプライベートコンテキストとクラウドスケールの推論を相乗化する。
実験により、SpecSteerは推論のギャップを埋め、パーソナライズされた生成性能を向上することを示した。
論文 参考訳(メタデータ) (2026-03-17T07:51:29Z) - DiffuGR: Generative Document Retrieval with Diffusion Language Models [80.78126312115087]
本稿ではDiffuGRと呼ばれる拡散言語モデルを用いた生成文書検索を提案する。
推論のために、DiffuGRはDocIDトークンを並列に生成し、制御可能な多数のデノナイジングステップを通じてそれを洗練しようと試みている。
従来の左から右への自動回帰デコーディングとは対照的に、DiffuGRはより信頼性の高いDocIDトークンを生成するための新しいメカニズムを提供する。
論文 参考訳(メタデータ) (2025-11-11T12:00:09Z) - Memory in Large Language Models: Mechanisms, Evaluation and Evolution [8.158439933515131]
我々は,4つの分類法(パラメトリック,文脈,外部,手続き/エピソード)とメモリ四倍法(ロケーション,永続性,書き込み/アクセスパス,制御性)を提案する。
DMM Gov: DAPT/TAPT, PEFT, モデル編集(ROME, MEND, MEMIT, SERAC)、RAGをコーディネートして監査可能なループを形成する。
これにより、再現可能で、同等で、統制可能な、研究と展開のための座標系が得られる。
論文 参考訳(メタデータ) (2025-09-23T10:06:58Z) - Efficient Distributed Retrieval-Augmented Generation for Enhancing Language Model Performance [34.695803671702606]
小言語モデル(SLM)はリソース制約のあるエッジデバイスへの効率的なデプロイをサポートするが、その限られた能力は推論性能を損なう。
Retrieval-augmented Generation(RAG)は、デバイス上でのモデル再トレーニングを必要とせずに、外部データベースを統合することによってモデルパフォーマンスを向上させるための有望なソリューションである。
文書のプライバシーを漏洩させることなく、一般知識と個人知識の両方を通じてデバイス上のSLMを強化する分散RAGフレームワークであるDRAGONを提案する。
論文 参考訳(メタデータ) (2025-04-15T13:53:08Z) - RetroLLM: Empowering Large Language Models to Retrieve Fine-grained Evidence within Generation [21.764973680014368]
RetroLLMは、検索と生成を単一の凝集プロセスに統合する統合フレームワークである。
制約付きエビデンス生成の過程での偽プルーニングを軽減するために,階層的FM-Index制約を導入する。
5つのオープンドメインQAデータセットの実験では、ドメイン内タスクとドメイン外タスクの両方にわたって、RetroLLMの優れたパフォーマンスが示されている。
論文 参考訳(メタデータ) (2024-12-16T16:03:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。