論文の概要: CLaRa: Bridging Retrieval and Generation with Continuous Latent Reasoning

• arxiv url: http://arxiv.org/abs/2511.18659v2
• Date: Tue, 25 Nov 2025 22:02:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-27 14:46:34.396429
• Title: CLaRa: Bridging Retrieval and Generation with Continuous Latent Reasoning
• Title（参考訳）: CLaRa: 連続遅延推論によるブリッジ検索と生成
• Authors: Jie He, Richard He Bai, Sinead Williamson, Jeff Z. Pan, Navdeep Jaitly, Yizhe Zhang,
• Abstract要約: CLaRaは、埋め込みベースの圧縮と共同最適化を共有連続空間で実行する統合フレームワークである。 実験により、CLaRaは、しばしばテキストベースの微調整ベースラインを超える、最先端の圧縮と性能の再ランクを達成することが示された。
• 参考スコア（独自算出の注目度）: 34.38636514331703
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Retrieval-augmented generation (RAG) enhances large language models (LLMs) with external knowledge but still suffers from long contexts and disjoint retrieval-generation optimization. In this work, we propose CLaRa (Continuous Latent Reasoning), a unified framework that performs embedding-based compression and joint optimization in a shared continuous space. To obtain semantically rich and retrievable compressed vectors, we introduce SCP, a key-preserving data synthesis framework using QA and paraphrase supervision. CLaRa then trains the reranker and generator end-to-end via a single language modeling loss, with gradients flowing through both modules using a differentiable top-k estimator. Theoretically, this unified optimization aligns retrieval relevance with answer quality. Experiments across multiple QA benchmarks show that CLaRa achieves state-of-the-art compression and reranking performance, often surpassing text-based fine-tuned baselines.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG) は、外部知識で大きな言語モデル(LLM)を強化するが、それでも長いコンテキストと解離した検索生成の最適化に悩まされている。 本研究では,CLaRa(Continuous Latent Reasoning)を提案する。CLaRa(Continuous Latent Reasoning)は,共有連続空間における埋め込み型圧縮と共同最適化を実現する統一フレームワークである。 意味的にリッチで検索可能な圧縮ベクターを得るために,QAとパラフレーズを用いたキー保存データ合成フレームワークであるSCPを導入する。 CLaRaは、単一の言語モデリング損失を通じて、リランカとジェネレータをエンドツーエンドでトレーニングする。 理論的には、この統一された最適化は、解答の品質と検索の関連性を調整する。 複数のQAベンチマークでの実験では、CLaRaは最先端の圧縮を実現し、しばしばテキストベースの微調整ベースラインを超えている。

関連論文リスト

• Rethinking Autoregressive Models for Lossless Image Compression via Hierarchical Parallelism and Progressive Adaptation [75.58269386927076]
  自己回帰(AR)モデルは、しばしば計算コストの禁止のために非現実的に除外される。 この研究は、階層的並列性とプログレッシブ適応に基づくフレームワークを導入して、このパラダイムを再考する。 各種データセット(自然,衛星,医療)の実験により,本手法が新たな最先端圧縮を実現することを確認した。
  論文  参考訳（メタデータ） (2025-11-14T06:27:58Z)
• RAGBoost: Efficient Retrieval-Augmented Generation with Accuracy-Preserving Context Reuse [39.76548092849437]
  Retrieval-augmented Generation (RAG)は、検索コンテキストで大きな言語モデル(LLM)を拡張する。 既存のキャッシュ技術は、低いキャッシュ再利用で精度を維持するか、劣化した推論品質で再利用を改善するかのどちらかである。 RAGBoostは、精度保存コンテキストの再利用によって精度を犠牲にすることなく、高いキャッシュ再利用を実現する効率的なRAGシステムである。
  論文  参考訳（メタデータ） (2025-11-05T13:59:01Z)
• Retrieval-augmented reasoning with lean language models [5.615564811138556]
  複雑なドメイン固有のクエリを解釈できる検索拡張会話エージェントを開発した。 本システムでは,細調整されたQwen2.5-Instructモデルと高密度レトリバーを統合した。 すべての実装の詳細とコードは、ドメイン間のサポートと適応のために公開されています。
  論文  参考訳（メタデータ） (2025-08-15T10:38:15Z)
• Chain-of-Retrieval Augmented Generation [91.02950964802454]
  本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。 提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
  論文  参考訳（メタデータ） (2025-01-24T09:12:52Z)
• Don't Do RAG: When Cache-Augmented Generation is All You Need for Knowledge Tasks [11.053340674721005]
  検索拡張世代(RAG)は,外部知識ソースを統合することで言語モデルを強化する強力なアプローチとして注目されている。 本稿では、リアルタイム検索をバイパスする代替パラダイムであるキャッシュ拡張生成(CAG)を提案する。
  論文  参考訳（メタデータ） (2024-12-20T06:58:32Z)
• xRAG: Extreme Context Compression for Retrieval-augmented Generation with One Token [108.7069350303884]
  xRAGは、検索拡張生成に適した、革新的なコンテキスト圧縮手法である。 xRAGは、言語モデル表現空間に文書の埋め込みをシームレスに統合する。 実験の結果、xRAGは6つの知識集約タスクで平均10%以上の改善を達成していることがわかった。
  論文  参考訳（メタデータ） (2024-05-22T16:15:17Z)
• Multiscale Latent-Guided Entropy Model for LiDAR Point Cloud Compression [18.897023700334458]
  LiDAR点雲(LPC)の非均一分布と極めてスパースの性質は、その高効率圧縮に重大な課題をもたらす。 本稿では,従来のLPCをオクツリー構造にエンコードし,階層的にオクツリーエントロピーモデルを階層的に分解する,エンド・ツー・エンドで完全に構成された新しいディープ・フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-26T08:36:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。