論文の概要: Parallel Context-of-Experts Decoding for Retrieval Augmented Generation

• arxiv url: http://arxiv.org/abs/2601.08670v1
• Date: Tue, 13 Jan 2026 15:46:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-14 18:27:19.266755
• Title: Parallel Context-of-Experts Decoding for Retrieval Augmented Generation
• Title（参考訳）: Retrieval Augmented Generationのための並列コンテクストデコーディング
• Authors: Giulio Corallo, Paolo Papotti,
• Abstract要約: 本稿では,アテンションアグリゲーションをアテンション機構からデコードにシフトする学習自由フレームワークを提案する。 Pced(Parallel Context-of-Experts Decoding)は,アグリゲーションのアグリゲーションをアグリゲーション機構からアグリゲーション・アグリケーション・アグリケーション・アグリケーション・アグリケーション・アグリケーション・アグリケーション・アグリケーション・アグリケーション・アグリケーション・アグリケーション・アグリケーション・アグリケーション・アグリケーション・アグリケーション・アグリケーション・ア
• 参考スコア（独自算出の注目度）: 11.887068025002362
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval Augmented Generation faces a trade-off: concatenating documents in a long prompt enables multi-document reasoning but creates prefill bottlenecks, while encoding document KV caches separately offers speed but breaks cross-document interaction. We propose Parallel Context-of-Experts Decoding (Pced), a training-free framework that shifts evidence aggregation from the attention mechanism to the decoding. Pced treats retrieved documents as isolated "experts", synchronizing their predictions via a novel retrieval-aware contrastive decoding rule that weighs expert logits against the model prior. This approach recovers cross-document reasoning capabilities without constructing a shared attention across documents.
• Abstract（参考訳）: Retrieval Augmented Generationはトレードオフに直面している。 長いプロンプトでドキュメントを結合することで、複数ドキュメントの推論が可能だが、プリフィルボトルネックが発生する。 Pced(Parallel Context-of-Experts Decoding)は,アグリゲーションのアグリゲーションをアグリゲーション機構からアグリゲーション・アグリケーション・アグリケーション・アグリケーション・アグリケーション・アグリケーション・アグリケーション・アグリケーション・アグリケーション・アグリケーション・アグリケーション・アグリケーション・アグリケーション・アグリケーション・アグリケーション・アグリケーション・アグリケーション・アグリケーション・アグリケーション・・・アグリケーション・・・アグリケーション・・・アグリケーション・・アグリケーション・・・アグリケーション・・・・アグリケーション・・・・・インダ・ Pcedは、検索した文書を独立した「専門家」として扱い、その予測を、以前のモデルに対する専門家のロジットを重くする、新しい検索対応のコントラスト的復号法によって同期させる。 このアプローチは、文書間での共通注意を構築することなく、文書間推論機能を回復する。

関連論文リスト

• Codetations: Intelligent, Persistent Notes and UIs for Programs and Other Documents [0.85830154886823]
  Codetationsは、開発者がリッチなノートやツールで文書をコンテキスト化するのを助けるシステムです。 以前のアプローチとは異なり、Codetationsのノートはドキュメントの外に留まり、コードの乱雑さを防ぎ、ハイブリッドな編集追跡/LLMベースのメソッドを使用してドキュメント内のスパンにアタッチする。 彼らのコンテンツは動的でインタラクティブで、コードの変更と同期しています。
  論文  参考訳（メタデータ） (2025-04-25T21:33:25Z)
• Learning Refined Document Representations for Dense Retrieval via Deliberate Thinking [58.69615583599489]
  Deliberate Thinking based Retriever (Debater) は、段階的な思考プロセスを導入することで文書表現を強化する新しいアプローチである。 Debaterは、いくつかのベンチマークで既存のメソッドよりも大幅に優れています。
  論文  参考訳（メタデータ） (2025-02-18T15:56:34Z)
• Contextual Document Embeddings [77.22328616983417]
  本稿では,コンテキスト化された文書埋め込みのための2つの補完手法を提案する。 第一に、文書近傍を明示的にバッチ内コンテキスト損失に組み込む別のコントラスト学習目標である。 第二に、隣接する文書情報をエンコードされた表現に明示的にエンコードする新しいコンテキストアーキテクチャ。
  論文  参考訳（メタデータ） (2024-10-03T14:33:34Z)
• CREPE: Coordinate-Aware End-to-End Document Parser [13.530212337717515]
  視覚文書理解のためのOCRフリーシーケンス生成モデル(VDU)を定式化する。 本モデルは,文書画像からテキストを解析するだけでなく,マルチヘッドアーキテクチャに基づくテキストの空間座標も抽出する。 コーディネート・アウェア・エンド・ツー・エンドドキュメンテーション(Coordinate-aware End-to-end Document)と呼ばれる。 CREPEでは,OCRテキスト用の特別なトークンを導入することで,これらの機能を独自に統合する。
  論文  参考訳（メタデータ） (2024-05-01T00:30:13Z)
• Natural Logic-guided Autoregressive Multi-hop Document Retrieval for Fact Verification [21.04611844009438]
  マルチホップ検索のための新しい検索・参照手法を提案する。 知識ソース内の文書と、以前検索された文書から文を共同でスコアする検索器で構成されている。 証拠が十分であると判断された場合、検索プロセスを動的に終了する証明システムによってガイドされる。
  論文  参考訳（メタデータ） (2022-12-10T11:32:38Z)
• Multilevel Text Alignment with Cross-Document Attention [59.76351805607481]
  既存のアライメントメソッドは、1つの事前定義されたレベルで動作します。 本稿では,文書を文書間注目要素で表現するための階層的アテンションエンコーダを予め確立した新しい学習手法を提案する。
  論文  参考訳（メタデータ） (2020-10-03T02:52:28Z)
• Fast(er) Reconstruction of Shredded Text Documents via Self-Supervised Deep Asymmetric Metric Learning [62.34197797857823]
  細断文書の自動復元における中心的な問題は、細断文書の相互互換性評価である。 本研究は,推定回数を線形にスケールするペアワイド互換性を測るスケーラブルな深層学習手法を提案する。 提案手法は,505個のシュレッダーを持つテストインスタンスに対して,22倍の高速化を実現した最先端技術に匹敵する精度を有する。
  論文  参考訳（メタデータ） (2020-03-23T03:22:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。