論文の概要: LaSER: Internalizing Explicit Reasoning into Latent Space for Dense Retrieval

• arxiv url: http://arxiv.org/abs/2603.01425v1
• Date: Mon, 02 Mar 2026 04:11:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-03 19:50:56.673481
• Title: LaSER: Internalizing Explicit Reasoning into Latent Space for Dense Retrieval
• Title（参考訳）: LaSER:Dense Retrievalのための遅延空間に明示的推論を内部化する
• Authors: Jiajie Jin, Yanzhao Zhang, Mingxin Li, Dingkun Long, Pengjun Xie, Yutao Zhu, Zhicheng Dou,
• Abstract要約: LaSERは、レトリバーの潜在空間に明示的な推論を内部化する、新しい自己蒸留フレームワークである。 提案手法は, 明示的なCoTパイプラインの推論深度と, 標準的な高密度検索器の推論効率をうまく組み合わせる。
• 参考スコア（独自算出の注目度）: 74.72139580745511
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: LLMs have fundamentally transformed dense retrieval, upgrading backbones from discriminative encoders to generative architectures. However, a critical disconnect remains: while LLMs possess strong reasoning capabilities, current retrievers predominantly utilize them as static encoders, leaving their potential for complex reasoning unexplored. To address this, existing approaches typically adopt rewrite-then-retrieve pipelines to generate explicit CoT rationales before retrieval. However, this incurs prohibitive latency. In this paper, we propose LaSER, a novel self-distillation framework that internalizes explicit reasoning into the latent space of dense retrievers. Operating on a shared LLM backbone, LaSER introduces a dual-view training mechanism: an Explicit view that explicitly encodes ground-truth reasoning paths, and a Latent view that performs implicit latent thinking. To bridge the gap between these views, we design a multi-grained alignment strategy. Beyond standard output alignment, we introduce a trajectory alignment mechanism that synchronizes the intermediate latent states of the latent path with the semantic progression of the explicit reasoning segments. This allows the retriever to think silently and effectively without autoregressive text generation. Extensive experiments on both in-domain and out-of-domain reasoning-intensive benchmarks demonstrate that LaSER significantly outperforms state-of-the-art baselines. Furthermore, analyses across diverse backbones and model scales validate the robustness of our approach, confirming that our unified learning framework is essential for eliciting effective latent thinking. Our method successfully combines the reasoning depth of explicit CoT pipelines with the inference efficiency of standard dense retrievers.
• Abstract（参考訳）: LLMは基本的に密度の高い検索を変換し、識別エンコーダから生成アーキテクチャへのバックボーンのアップグレードを行っている。 LLMは強い推論能力を持っているが、現在の検索者はそれらを静的エンコーダとして主に利用し、探索されていない複雑な推論の可能性を残している。 これを解決するために、既存のアプローチは通常、リライト・then-retrieveパイプラインを採用して、検索前に明示的なCoT論理を生成する。 しかし、これは遅延を禁止します。 本稿では,高密度レトリバーの潜伏空間への明示的推論を内部化する,新しい自己蒸留フレームワークLaSERを提案する。 共有LLMバックボーンで運用されているLaSERは、デュアルビュートレーニングメカニズムを導入している。 これらのビュー間のギャップを埋めるため、我々は多粒度アライメント戦略を設計する。 標準出力アライメントの他に,潜在経路の中間潜時状態と明示的推論セグメントのセマンティックな進行とを同期させる軌道アライメント機構を導入する。 これにより、レトリバーは自動回帰テキスト生成なしでサイレントかつ効果的に考えることができる。 ドメイン内およびドメイン外推論集約ベンチマークの広範な実験は、LaSERが最先端のベースラインを大幅に上回っていることを示している。 さらに、多様なバックボーンやモデルスケールにわたる分析は、我々のアプローチの堅牢性を検証し、我々の統合学習フレームワークが効果的な潜伏的思考を引き出すのに不可欠であることを確認した。 提案手法は, 明示的なCoTパイプラインの推論深度と, 標準的な高密度検索器の推論効率をうまく組み合わせる。

関連論文リスト

• Latent-Space Contrastive Reinforcement Learning for Stable and Efficient LLM Reasoning [16.244366307890832]
  textbfDeepLatent Reasoning(DLR)を提案する。 このフレームワークは、試行錯誤コストを、高価なトークンレベルのフルシーケンス生成から連続潜在多様体へシフトさせる。 実験により、DLRはより安定した訓練収束を実現し、より長い水平推論チェーンをサポートし、推論能力の持続的な蓄積を促進することが示されている。
  論文  参考訳（メタデータ） (2026-01-24T03:18:22Z)
• Reinforced Efficient Reasoning via Semantically Diverse Exploration [73.41112984160992]
  検証可能な報酬(RLVR)による強化学習は,大規模言語モデル(LLM)の推論の強化に有効であることが証明された。 本研究では,LLMのための意味的多様性探索,すなわちROSEによる効率的な推論手法を提案する。 本手法は,意味エントロピーに基づく分岐戦略と$varepsilon$-exploration機構を組み込んだものである。
  論文  参考訳（メタデータ） (2026-01-08T15:56:44Z)
• Parallel Latent Reasoning for Sequential Recommendation [23.624137982116867]
  多様な推論軌道を同時に探索するための新しいフレームワークである PLR を提案する。 PLRは連続的な潜在空間における学習可能なトリガートークンを通して並列推論ストリームを構築する。 3つの実世界のデータセットの実験により、PLRは最先端のベースラインを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2026-01-06T16:25:48Z)
• Directional Attractors in LLM Reasoning: How Similarity Retrieval Steers Iterative Summarization Based Reasoning [0.0]
  InftyThink with Cross-Chain Memoryは、以前成功した推論パターンの埋め込みベースのセマンティックキャッシュで反復推論を強化する拡張である。 実験により、意味補題検索は、不均一なドメインを含むテストにおいて、障害モードを露呈しながら、構造化ドメインの精度を向上させることが示された。
  論文  参考訳（メタデータ） (2025-12-22T00:26:54Z)
• GRIL: Knowledge Graph Retrieval-Integrated Learning with Large Language Models [59.72897499248909]
  本稿では,Large Language Models (LLM) を用いたエンドツーエンド学習のための新しいグラフ検索手法を提案する。 抽出したサブグラフでは, 構造的知識と意味的特徴をそれぞれ軟式トークンと言語化グラフで符号化し, LLMに注入する。 提案手法は、複雑な推論タスクに対する結合グラフ-LLM最適化の強みを検証し、最先端の性能を一貫して達成する。
  論文  参考訳（メタデータ） (2025-09-20T02:38:00Z)
• Implicit Reasoning in Large Language Models: A Comprehensive Survey [67.53966514728383]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる強力な一般化を実証している。 最近の研究は、暗黙の推論に拍車をかけた、明示的な思考の連鎖から注意を向けている。 本調査では,表現形式から計算戦略へ焦点を移し,実行パラダイムを中心とした分類を紹介した。
  論文  参考訳（メタデータ） (2025-09-02T14:16:02Z)
• A Survey on Latent Reasoning [100.54120559169735]
  大きな言語モデル(LLM)は印象的な推論機能を示している。 中間ステップを言語化するCoT推論は、モデルの表現帯域幅を制限する。 潜在的推論は、モデルの連続的な隠れ状態に完全にマルチステップの推論を実行することで、このボトルネックに対処する。
  論文  参考訳（メタデータ） (2025-07-08T17:29:07Z)
• Latent Chain-of-Thought? Decoding the Depth-Recurrent Transformer [0.8738725605667471]
  CoT(Chain-of- Thought)推論は、トランスフォーマーベースの言語モデルで複雑な数学や多段階計画に優れる。 標準的なデコーダのみのアーキテクチャでは、これらの推論ステップは自然言語で外部化され、効率を犠牲にして解釈性を向上させる。 パラメータ数の増加を伴わずに推論時に層を再利用する深度再帰変換器である Huginn-3.5B にそのような推論構造が出現するかどうかを検討する。
  論文  参考訳（メタデータ） (2025-07-02T23:35:21Z)
• Reinforced Latent Reasoning for LLM-based Recommendation [92.56166822197919]
  大きな言語モデル(LLM)は、複雑な問題解決タスクにおいて印象的な推論能力を示している。 既存の手法は通常、明示的なチェーン・オブ・シント(CoT)データによる微調整に依存している。 本研究では, 明示的なCoT推論から, コンパクトで情報密度の高い潜伏推論へ移行する代替手法について検討する。
  論文  参考訳（メタデータ） (2025-05-25T11:03:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。