論文の概要: ShiftRAG: Bypassing the Textual Bottleneck via Decoupled Learning and Continuous Soft Tokens

• arxiv url: http://arxiv.org/abs/2611.00871v1
• Date: Sat, 31 Oct 2026 12:13:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.437583
• Title: ShiftRAG: Bypassing the Textual Bottleneck via Decoupled Learning and Continuous Soft Tokens
• Title（参考訳）: ShiftRAG:Decoupled LearningとContinuous Soft Tokensを通じてテキストボトルネックをバイパスする
• Abstract要約: ShiftRAGは、単一のLLMバックボーンを使用する分離RAGフレームワークであるが、自己回帰生成から識別的検索学習を分離する。 ShiftRAGは,最先端のベースラインよりも検索性能と質問応答性能を著しく向上することを示す。
• 参考スコア（独自算出の注目度）: 2.007262412327553
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite advances in retrieval-augmented generation (RAG), suppressing hallucinations during complex reasoning remains a persistent challenge. We identify that existing RAG pipelines suffer from a textual bottleneck: by passing only raw text to the generator, they discard discriminative signals of the retriever. Furthermore, recent attempts to unify retrieval and generation within a single LLM induce severe objective conflict and exacerbate the rank collapse of decoder-only architectures, degrading performance on both tasks. To address these limitations, we introduce ShiftRAG, a decoupled RAG framework that employs a single LLM backbone but isolates discriminative retrieval learning from autoregressive generation. To bridge these decoupled modes, we project retrieval alignments into continuous soft tokens, establishing a high-bandwidth interface that infuses the generator with retrieval-side signals. Concurrently, our soft orthogonality objective mitigates rank collapse, while layer-wise relevance dynamics preserve the fine-grained latent space required for highly discriminative evidence separation. Extensive evaluations demonstrate that ShiftRAG significantly improves retrieval and question answering performance over state-of-the-art baselines. ShiftRAG preserves foundational capabilities of the backbone while maintaining a favorable efficiency-performance trade-off on general text encoding and generative tasks.
• Abstract（参考訳）: 検索増強世代(RAG)の進歩にもかかわらず、複雑な推論における幻覚の抑制は依然として持続的な課題である。 既存のRAGパイプラインは、原文のみをジェネレータに渡すことで、レトリバーの識別シグナルを破棄する。 さらに、1つのLLM内での検索と生成を統一しようとする最近の試みは、厳しい客観的衝突を引き起こし、デコーダのみのアーキテクチャのランク崩壊を悪化させ、両方のタスクのパフォーマンスを低下させる。 これらの制約に対処するため,単一LLMバックボーンを用いる分離RAGフレームワークであるShiftRAGを導入し,自己回帰生成から識別的検索学習を分離する。 これらの分離モードをブリッジするために、我々は連続したソフトトークンに調整アライメントを投影し、検索側信号でジェネレータを注入する高帯域インタフェースを確立する。 同時に、我々のソフト直交目的はランク崩壊を緩和し、一方、階層的関連性ダイナミクスは高い識別的証拠分離に必要な微細な潜伏空間を保っている。 広範囲な評価の結果,ShiftRAGは最先端のベースラインよりも検索性能と質問応答性能を著しく向上することが示された。 ShiftRAGは、一般的なテキストエンコーディングと生成タスクにおいて、良好な効率とパフォーマンスのトレードオフを維持しながら、バックボーンの基本的な機能を保持します。

関連論文リスト

• UniSGR-V2: Stepwise Target-Side Feature Anticipation and Crossing for Generative Recommendation [16.130775814500822]
  段階的生成とランク付けの両方を支援するため,TacGR(Stepwise Target-Side Feature Precipation and Crossing for Generative Recommendation)を提案する。 TacGRは、連続的なターゲット側の特徴ベクトルを予測し、デコーダ内のセマンティックプレフィックスとユーザー行動シーケンスと交差する。 大規模なデータセットに関するオンライン実験では、OneRec、UniRec、UniSGRを大きく上回っている。
  論文  参考訳（メタデータ） (2026-10-12T03:48:56Z)
• ARISE-RL: Agentic Rubric-Grounded Iterative Self-Evolution with Reinforcement Learning [74.19730275669227]
  ARISE-RLは、オープンエンドエージェントをトレーニングするための新しいフルサイクルの自己進化フレームワークである。 Reward-Gated Self-Evolution Distillation (RG-SED)を提案する。 ECR-Benchは,シングルツールディープリサーチとマルチツールトラベルプランニングを対象とする,専門家校正型ルーリックベンチマークスイートである。
  論文  参考訳（メタデータ） (2026-09-01T10:54:13Z)
• Where to Refine, When to Stop: Rethinking Redundancy via Latent Discrepancy for Efficient Visual Autoregressive Generation [50.139984798361375]
  遅延不一致による冗長性を除去する学習自由フレームワークを提案する。 LD-Pruningは、Infinity-8Bの最大2.35倍のスピードアップを実現し、高い生成品質を維持しながら推論を大幅に削減する。
  論文  参考訳（メタデータ） (2026-05-29T19:34:39Z)
• LatentRAG: Latent Reasoning and Retrieval for Efficient Agentic RAG [13.420568360763227]
  LatentRAGは、推論と検索の両方を独立した言語空間から連続的な潜在空間にシフトする新しいフレームワークである。 LatentRAGは、推論遅延を約90%削減しながら、明示的なエージェントRAGメソッドに匹敵するパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-05-07T13:56:13Z)
• ResRank: Unifying Retrieval and Listwise Reranking via End-to-End Joint Training with Residual Passage Compression [5.223477157195793]
  中間のロスト」現象は、入力長が大きくなるにつれてランキング品質を低下させる。 推論レイテンシは、シーケンス長と超直線的にスケールし、産業展開において非現実的にリストワイズする。 ResRankは、両方の課題を根本的に解決する統合検索格付けフレームワークである。
  論文  参考訳（メタデータ） (2026-04-24T03:11:51Z)
• Latent Abstraction for Retrieval-Augmented Generation [4.6096940605642915]
  既存のシステムは各ホップで自然言語クエリを生成することに依存している。 我々は,単一のLLMが符号化,検索,生成を同時に行う統一的なフレームワークである textbfLAnR (Latent Abstraction for RAG) を提案する。
  論文  参考訳（メタデータ） (2026-04-20T06:26:13Z)
• LaSER: Internalizing Explicit Reasoning into Latent Space for Dense Retrieval [74.72139580745511]
  LaSERは、レトリバーの潜在空間に明示的な推論を内部化する、新しい自己蒸留フレームワークである。 提案手法は, 明示的なCoTパイプラインの推論深度と, 標準的な高密度検索器の推論効率をうまく組み合わせる。
  論文  参考訳（メタデータ） (2026-03-02T04:11:18Z)
• ReCALL: Recalibrating Capability Degradation for MLLM-based Composed Image Retrieval [64.14282916266998]
  Composed Image Retrievalは、参照画像と修正テキストからなるハイブリッドクエリに基づいてターゲット画像を取得することを目的としている。 本稿では,診断・生成・再定義パイプラインに従うモデルに依存しないフレームワークであるReCALLを提案する。 CIRRとFashionIQの実験では、ReCALLは継続的に劣化した機能を再検討し、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-02-02T04:52:54Z)
• REFRAG: Rethinking RAG based Decoding [67.4862300145604]
  REFRAGは効率的なデコードフレームワークで、RAGアプリケーションの遅延を圧縮し、感知し、拡張し、改善する。 本稿では,RAG,マルチターン会話,長期文書要約など,多種多様な長文タスクを対象としたREFRAGの厳密な検証を行う。
  論文  参考訳（メタデータ） (2025-09-01T03:31:44Z)
• Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
  我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。 自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。 様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-10-17T18:18:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。