論文の概要: DREAM: Dense Retrieval Embeddings via Autoregressive Modeling

• arxiv url: http://arxiv.org/abs/2606.24667v1
• Date: Tue, 23 Jun 2026 15:00:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 22:16:49.02166
• Title: DREAM: Dense Retrieval Embeddings via Autoregressive Modeling
• Title（参考訳）: DREAM: 自己回帰モデリングによるDense Retrieval Embeddings
• Authors: Yixuan Tang, Yi Yang,
• Abstract要約: DREAM(Dense Retrieval Embeddings via Autoregressive Modeling)を提案する。 DREAMは、フリーズ言語モデルの選択されたアテンションヘッドに、レトリバー生成クエリドキュメント類似度スコアを注入する。 我々は、0.5Bから3Bパラメータの埋め込みバックボーンを用いて、BEIRとRTEBの検索ベンチマーク上でDREAMを評価する。
• 参考スコア（独自算出の注目度）: 12.949322198287417
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Dense retrieval embedding models are a fundamental component of modern retrieval-based AI systems. Most dense retrievers are trained with contrastive objectives, which require labeled positive and negative document pairs that are often costly and difficult to obtain. In this work, we investigate whether the autoregressive next-token prediction objective of a large language model (LLM) can provide supervision for dense retrieval. The intuition is simple: if a document contains information relevant to a query, conditioning on that document should make the target output easier for the LLM to predict. A key challenge is that the next-token prediction loss is computed inside the LLM, while the retriever is a separate embedding model. To address this challenge, we propose DREAM (Dense Retrieval Embeddings via Autoregressive Modeling), which injects retriever-generated query-document similarity scores into selected attention heads of a frozen LLM. During training, these scores determine how much attention each candidate document receives while the LLM predicts the target output. The resulting prediction loss provides gradients for retriever training through the attention mechanism. We evaluate DREAM on retrieval benchmarks BEIR and RTEB using embedding backbones ranging from 0.5B to 3B parameters. DREAM consistently outperforms existing baselines across different model scales. These results demonstrate that DREAM provides a promising approach for training dense retrievers through autoregressive modeling.
• Abstract（参考訳）: デンス検索埋め込みモデルは、現代の検索ベースのAIシステムの基本コンポーネントである。 ほとんどの高密度レトリバーは、しばしばコストがかかり難い正の文書対と負の文書対をラベル付けして、対照的な目的で訓練されている。 本研究では,大規模言語モデル(LLM)の自己回帰的次トーケン予測目標が,高密度検索の監視に有効かどうかを検討する。 ドキュメントにクエリに関連する情報が含まれている場合、そのドキュメントの条件付けにより、LLMが予測する対象の出力がより簡単になる。 重要な課題は、リトリーバーが別個の埋め込みモデルであるのに対して、次点の予測損失がLLM内で計算されることである。 この課題に対処するため, 冷凍LLMの注目ヘッドに, 検索者が生成したクエリ-ドキュメント類似度スコアを注入するDREAM(Dense Retrieval Embeddings via Autoregressive Modeling)を提案する。 トレーニング中、これらのスコアは、LLMが目標出力を予測している間に、各候補文書がどれだけの注意を受けるかを決定する。 結果として生じる予測損失は、アテンション機構を介してレトリバートレーニングのための勾配を与える。 我々は、0.5Bから3Bパラメータの埋め込みバックボーンを用いて、BEIRとRTEBの検索ベンチマーク上でDREAMを評価する。 DREAMは、さまざまなモデルスケールで既存のベースラインを一貫して上回る。 これらの結果から,DREAMは自己回帰モデルを用いて高密度レトリバーの訓練に有望なアプローチを提供することが示された。

関連論文リスト

• Large Reasoning Embedding Models: Towards Next-Generation Dense Retrieval Paradigm [16.78399933831573]
  本稿では、推論過程を表現学習に統合するLarge Reasoning Embedding Model(LREM)を提案する。 難解なクエリに対して、LREMはまず、元のクエリの深い理解を達成するために推論を行い、その後、検索のための推論拡張クエリ埋め込みを生成する。 この推論プロセスは、元のクエリとターゲットアイテム間のセマンティックギャップを効果的にブリッジし、検索精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-10-16T05:37:39Z)
• Revela: Dense Retriever Learning via Language Modeling [75.19266063851319]
  Revelaは、言語モデリングによる自己教師型レトリバー学習のための統合トレーニングフレームワークである。 我々はRevelaをドメイン固有(CoIR)、推論集約(BRIGHT)、一般ドメインベンチマーク(BEIR)で評価する。 BEIRの教師なし SoTA を1000倍のトレーニングデータと10倍の計算量で実現している。
  論文  参考訳（メタデータ） (2025-06-19T19:13:59Z)
• Maximally-Informative Retrieval for State Space Model Generation [59.954191072042526]
  テスト時に特定のクエリに対するモデル不確実性を最小化するために、Retrieval In-Context Optimization (RICO)を導入する。 文書検索に外部に依存した従来の検索強化生成(RAG)とは異なり,本手法はモデルから直接のフィードバックを利用する。 モデル勾配を用いた標準のトップ$kの検索は、最適化手順を近似し、残余損失への接続を提供することを示す。
  論文  参考訳（メタデータ） (2025-06-13T18:08:54Z)
• Unleashing the Power of LLMs in Dense Retrieval with Query Likelihood Modeling [69.84963245729826]
  本稿では,検索者の後続のコントラスト学習のためのバックボーンを強化するために,QLの補助的タスクを提案する。 注意ブロック(AB)と文書破壊(DC)の2つの重要なコンポーネントを組み込んだモデルを紹介します。
  論文  参考訳（メタデータ） (2025-04-07T16:03:59Z)
• Large Language Models are Strong Zero-Shot Retriever [89.16756291653371]
  ゼロショットシナリオにおける大規模検索に大規模言語モデル(LLM)を適用するための簡単な手法を提案する。 我々の手法であるRetriever(LameR)は,LLM以外のニューラルモデルに基づいて構築された言語モデルである。
  論文  参考訳（メタデータ） (2023-04-27T14:45:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。