論文の概要: DEPT: Document Embedding Preservation Tuning for Unified Query Expansion and Retrieval

• arxiv url: http://arxiv.org/abs/2608.17632v1
• Date: Tue, 18 Aug 2026 10:52:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.310278
• Title: DEPT: Document Embedding Preservation Tuning for Unified Query Expansion and Retrieval
• Title（参考訳）: DEPT: 統一クエリ拡張と検索のための保存チューニングのドキュメント埋め込み
• Authors: Jingyuan Wang, Richong Zhang, Zhijie Nie, Mingxin Li, Yanzhao Zhang,
• Abstract要約: 大規模言語モデル(LLM)は、不特定クエリを拡張し、テキストを密度の高い表現としてエンコードする。 単一デコーダのみのLLMエンドツーエンドをトレーニングし、同じモデルで拡張を生成し、拡張されたクエリと候補ドキュメントの両方をエンコードする。 文書埋め込み保存チューニング(DEPT)を導入し、キャッシュされた初期埋め込みに近づいた文書埋め込みを調整したままにしておく。
• 参考スコア（独自算出の注目度）: 45.09142622162023
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) can both expand underspecified queries and encode text as dense representations, suggesting a unified model for query expansion and retrieval. Existing systems usually rely on prompted expansions, independently trained modules, or staged optimization, leaving generated expansions only indirectly aligned with the retrieval loss that judges them. We train a single decoder-only LLM end to end, where the same model generates the expansion and encodes both the expanded query and candidate documents. This unified setting creates a moving-target problem: retrieval supervision should improve query-side expansion, but the same update also shifts the document embeddings that serve as retrieval targets. We introduce Document Embedding Preservation Tuning (DEPT), which keeps tuned document embeddings close to cached initial embeddings while allowing retrieval gradients to pass through straight-through decoding into the generator. DEPT converts joint query--document movement into query-side adaptation against approximately stable, whitened document embeddings that support index reuse and online hard-negative mining. Experiments with Qwen3-4B-Instruct-2507 and LLaMA-3.2-3B-Instruct on five datasets in BEIR benchmark show that DEPT improves average retrieval quality over training-free, independently trained, and staged unified baselines, while ablations isolate the effects of preservation, whitening, end-to-end expansion training, and online negatives. Code is available at https://github.com/ILSparkle/DEPT.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、未特定クエリを拡張し、テキストを密度の高い表現としてエンコードすることで、クエリの拡張と検索のための統一モデルを提案する。 既存のシステムは、通常、引き起こされた拡張、独立に訓練されたモジュール、あるいはステージ化された最適化に依存しており、生成された拡張はそれらを判断する検索損失と間接的に一致している。 単一デコーダのみのLLMエンドツーエンドをトレーニングし、同じモデルで拡張を生成し、拡張されたクエリと候補ドキュメントの両方をエンコードする。 検索監視はクエリ側の拡張を改善する必要があるが、同じアップデートでは、検索ターゲットとして機能するドキュメントの埋め込みもシフトする。 文書埋め込み保存チューニング(DEPT)を導入し、キャッシュされた初期埋め込みに近づいた文書埋め込みを調整し、検索勾配を生成器にストレートスルーデコーディングを通せるようにした。 DEPTは、共同クエリ-ドキュメント移動を、インデックスの再利用とオンラインのハードネガティブマイニングをサポートする、ほぼ安定した、ホワイト化されたドキュメント埋め込みに対するクエリ側適応に変換する。 Qwen3-4B-Instruct-2507 と LLaMA-3.2-3B-Instructing on five datasets in BEIR benchmark shows that DEPT improves average search quality than training-free, independent trained, and staged unified baselines, while ablations isolated the effects of storage, whitening, end-to-end expansion training, and online negatives。 コードはhttps://github.com/ILSparkle/DEPTで入手できる。

関連論文リスト

• ICICLE: Expanding Retrieval with In-Context Documents [28.99813139934325]
  生成検索(GR)は、パラメトリック知識を用いてクエリを直接ドキュメント識別子(ドクト)にマッピングする。 我々は、パラメトリックメモリとコンテキストが提供する文書とドキュメントのペアの両方に対して、ソース・アウェア・ドシド生成を行う、コンテキスト内インデクシングフレームワークICICLEを提案する。
  論文  参考訳（メタデータ） (2026-05-26T12:01:44Z)
• A Parametric Memory Head for Continual Generative Retrieval [52.66674234249913]
  生成情報検索(GenIR)は、検索を単一のニューラルモデルに統合し、クエリから直接ドキュメント識別子(ドシデント)をデコードする。 逐次適応は、新たに追加された文書の検索を改善するが、以前のスライスの性能は著しく低下することを示す。 本稿では,モジュール型パラメトリックメモリヘッドで適応モデルを拡張するメモリのみの安定化ステージである,後適応メモリチューニング(PAMT)を提案する。
  論文  参考訳（メタデータ） (2026-04-25T17:38:51Z)
• Align then Train: Efficient Retrieval Adapter Learning [16.855103318831073]
  本稿では,自己教師付きアライメントと教師付きアライメントの2つの段階において,検索アダプタを訓練するラベル効率のフレームワークを提案する。 MAIRベンチマークの実験は、6つのドメインで126の検索タスクにまたがっており、ERAが低ラベル設定での検索を改善することを示している。
  論文  参考訳（メタデータ） (2026-04-03T19:04:42Z)
• Learning Refined Document Representations for Dense Retrieval via Deliberate Thinking [58.69615583599489]
  Deliberate Thinking based Retriever (Debater) は、段階的な思考プロセスを導入することで文書表現を強化する新しいアプローチである。 Debaterは、いくつかのベンチマークで既存のメソッドよりも大幅に優れています。
  論文  参考訳（メタデータ） (2025-02-18T15:56:34Z)
• Cognitive-Aligned Document Selection for Retrieval-augmented Generation [2.9060210098040855]
  本稿では,クエリを動的に更新し,高品質で信頼性の高い検索文書をフィルタリングするGGatrievalを提案する。 ユーザクエリを構文コンポーネントにパースし、検索したドキュメントときめ細かいグラウンドアライメントを実行する。 提案手法では,検索した文書をフィルタリングするための新しい基準を導入し,ターゲット情報を取得するための人的戦略を密にエミュレートする。
  論文  参考訳（メタデータ） (2025-02-17T13:00:15Z)
• R4: Reinforced Retriever-Reorder-Responder for Retrieval-Augmented Large Language Models [32.598670876662375]
  Retrieval-augmented large language model (LLMs) は、情報検索システムによって取得された関連コンテンツを利用して正しい応答を生成する。 既存のレトリバー・サプライヤ・メソッドは、テキスト生成タスクを実行するために LLM のプロンプトに関連文書を追加するのが一般的である。 検索拡張LDMのための文書順序付けを学習するための新しいパイプライン"Reinforced Retriever-Reorder-Responder"を提案する。
  論文  参考訳（メタデータ） (2024-05-04T12:59:10Z)
• DSI++: Updating Transformer Memory with New Documents [95.70264288158766]
  DSI++は、DSIが新たなドキュメントをインクリメンタルにインデクシングするための継続的な学習課題である。 新たな文書の連続的な索引付けは,それまでの索引付け文書をかなり忘れてしまうことを示す。 文書の擬似クエリをサンプルとして生成メモリを導入し、連続的なインデックス付け中に補足することで、検索タスクの忘れを防止する。
  論文  参考訳（メタデータ） (2022-12-19T18:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。