論文の概要: DaV-Gen: End-to-End Generative Retrieval via Draft-and-Verify
- arxiv url: http://arxiv.org/abs/2607.08365v1
- Date: Thu, 09 Jul 2026 11:22:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-10 14:45:27.508957
- Title: DaV-Gen: End-to-End Generative Retrieval via Draft-and-Verify
- Title（参考訳）: DaV-Gen: Draft-and-Verifyによるエンドツーエンド生成検索
- Abstract要約: textbfDaV-Genは、検索とレコメンデーションの両方のパラダイムを基本として設計された、新しい統一ソリューションである。
トレーニング中、モデルは候補のドラフトと詳細な検証の両方に同時に最適化される。
これは、2つの異なるが関連する目的に基づいてモデルを共同で訓練する複合損失関数によって達成される。
- 参考スコア（独自算出の注目度）: 4.546259713278263
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mainstream industrial information retrieval systems (e.g., search and recommendation) are usually built upon Multi-Stage Cascade Architectures (MCAs), which balance effectiveness and efficiency through a coarse-to-fine ``retrieval-ranking'' pipeline. However, the optimization objectives across different stages are substantially inconsistent, propagating or even amplifying the early-stage errors that ultimately degrade the quality of final results. While emerging end-to-end generative models offer a potential solution by unifying the pipeline, their online serving performance is severely hindered by the auto-regressive process inherited from the standard decoder-only structure. To bridge this gap, we introduce \textbf{DaV-Gen}, a novel unified solution designed to fundamentally refactor the paradigm for both search and recommendation via a ``Draft-and-Verify'' mechanism. Inspired by the process used by speculative decoding, our framework redesigns the generation task into two synergistic operations within a single model. During training, the model is concurrently optimized for both candidate drafting and fine-grained verification. This is achieved by a composite loss function that jointly trains the model on two distinct but related objectives: 1) a contrastive loss that structures the embedding space for efficient drafting, and 2) a fusion loss that combines generative likelihood with vector similarity to produce a superior verification score. This integrated training strategy equips the model with dual capabilities. At inference time, it first performs highly efficient vector-based drafting to generate a candidate set, and then verifies these candidates using the more powerful fused scoring function, thereby achieving both the speed of sparse drafting and the precision of advanced generative models within a unified, end-to-end architecture.
- Abstract（参考訳）: 主流産業情報検索システム(例えば、検索とレコメンデーション)は、通常マルチステージカスケードアーキテクチャ(Multi-Stage Cascade Architectures、MCA)上に構築される。
しかし、異なる段階にわたる最適化の目的は、最終的に最終的な結果の品質を低下させる早期のエラーを伝播または増幅する、ほぼ矛盾している。
新たなエンドツーエンド生成モデルは、パイプラインを統合することで潜在的なソリューションを提供する一方で、オンラインサービスのパフォーマンスは、標準的なデコーダのみの構造から引き継がれた自動回帰プロセスによって著しく阻害される。
このギャップを埋めるために,‘Draft-and-Verify’機構を通じて検索とレコメンデーションの両方のパラダイムを根本的にリファクタリングする,新しい統合ソリューションである‘textbf{DaV-Gen} を導入する。
投機的復号法で使用されるプロセスにインスパイアされた我々のフレームワークは、生成タスクを1つのモデル内で2つの相乗演算に再設計する。
トレーニング中、モデルは候補のドラフトと詳細な検証の両方に同時に最適化される。
これは、2つの異なるが関連する目的でモデルを共同で訓練する複合損失関数によって達成される。
1)効率的な起草のために埋設スペースを構築できる対照的な損失、及び
2) 生成可能性とベクトル類似性を組み合わせた融合損失により, 優れた検証スコアが得られた。
この統合トレーニング戦略は、モデルに二重機能を持たせる。
推論時には,まず高効率なベクトルベースドラフトを行い,より強力な融合スコアリング関数を用いてこれらの候補を検証し,スパースドラフトの速度と高度な生成モデルの精度の両方を統一されたエンドツーエンドアーキテクチャ内で達成する。
関連論文リスト
- Unifying Generative Recall and Multi-Objective Ranking in a Single Decoder-Only Sequence [26.231002784432842]
生成的リコールとランキングのスケーリングは、共通のTransformerベースのモデリング哲学を共有している。
我々は textbfUniR$2$, textbfUnified decoder のみの変換器を提案し, 生成 textbfRecall と Multi-Objective textbfRanking を統一する。
論文 参考訳（メタデータ） (2026-07-27T13:47:38Z) - Breaking Dual Bottlenecks: Evolving Unified Multimodal Models into Self-Adaptive Interleaved Visual Reasoners [34.02715256877424]
統一モデルは単一のフレームワークにマルチモーダル理解と生成を統合する。
モデルがユーザの意図をキャプチャできるが、しばしばこの意味的知識を正確なピクセルレベルの操作に変換することができない。
本稿では,命令複雑性とモデル能力に基づく生成戦略を自律的に切り替える統合モデルを実現する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-14T11:27:46Z) - You Only Train Once [11.97836331714694]
You Only Train Once (YOTO)は、損失選択と重み付けの後者の側面において、トレーニングを1ショットに制限することに貢献する。
複数の経験的損失を同時に最適化するために広く用いられている複合損失定式化の微分可能性を活用する。
YOTOは、未確認テストデータにおいて、最高のグリッド検索モデルよりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2025-06-04T18:04:58Z) - Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。
本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。
我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
論文 参考訳（メタデータ） (2025-05-21T07:16:44Z) - SpecRouter: Adaptive Routing for Multi-Level Speculative Decoding in Large Language Models [21.933379266533098]
大規模言語モデル(LLM)は、推論品質と計算コストの間に重要なトレードオフをもたらす。
既存のサービス戦略では、固定されたモデルスケールや静的な2段階の投機的デコードを用いることが多い。
本稿では,LLM推論を適応的ルーティング問題として再定義する新しいフレームワークであるsystemnameを紹介する。
論文 参考訳（メタデータ） (2025-05-12T15:46:28Z) - Refine, Discriminate and Align: Stealing Encoders via Sample-Wise Prototypes and Multi-Relational Extraction [57.16121098944589]
RDAは、事前訓練されたエンコーダを盗むために、以前の取り組みで普及した2つの主要な欠陥に対処するために設計された先駆的なアプローチである。
これは、サンプルの様々な視点に対してターゲットエンコーダの表現を統一するサンプルワイドプロトタイプによって達成される。
より強力な有効性を得るために、我々はサロゲートエンコーダを訓練し、ミスマッチした埋め込み-プロトタイプペアを識別するマルチリレーショナル抽出損失を開発する。
論文 参考訳（メタデータ） (2023-12-01T15:03:29Z) - Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。
本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
論文 参考訳（メタデータ） (2023-07-17T07:12:29Z) - Precision-Recall Divergence Optimization for Generative Modeling with
GANs and Normalizing Flows [54.050498411883495]
本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。
指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。
当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
論文 参考訳（メタデータ） (2023-05-30T10:07:17Z) - End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。
我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文 参考訳（メタデータ） (2023-05-25T10:58:46Z) - Recent Developments Combining Ensemble Smoother and Deep Generative
Networks for Facies History Matching [58.720142291102135]
本研究は、ファシズムモデルのための連続パラメータ化を構築するためのオートエンコーダネットワークの利用に焦点を当てる。
本稿では,VAE,GAN,Wasserstein GAN,変分自動符号化GAN,サイクルGANの主成分分析(PCA),転送スタイルネットワークのPCA,スタイル損失のVAEの7種類の定式化をベンチマークする。
論文 参考訳（メタデータ） (2020-05-08T21:32:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。