論文の概要: Generative Retrieval via Diffusion Transformer with Metric-Ordered Sequence Training and Hybrid-Policy Preference Optimization
- arxiv url: http://arxiv.org/abs/2606.26899v1
- Date: Thu, 25 Jun 2026 11:29:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 18:46:32.257842
- Title: Generative Retrieval via Diffusion Transformer with Metric-Ordered Sequence Training and Hybrid-Policy Preference Optimization
- Title（参考訳）: メトリック順序付きシーケンストレーニングとハイブリッド・プライオリティ最適化を用いた拡散変換器による生成検索
- Abstract要約: 埋め込みベースの検索は、共有ベクトル空間内のクエリと類似度でアイテムをランク付けする。
我々はこれをパターン保存属性検索として定式化する。
そこで我々は,MO-DiT+HPPOを提案する。MO-DiT+HPPO,生系列事前学習,メートル順序継続事前学習,テールセントロイド微調整,HPPO。
- 参考スコア（独自算出の注目度）: 37.913511223407056
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Embedding-based retrieval ranks items by their similarity to a query in a shared vector space and usually aims to return the highest-scoring items. In many production settings this is not what is wanted: given a seed set that expresses a fine-grained pattern, one needs more items that both satisfy a target attribute and stay within that pattern. We formalize this as pattern-preserving attribute retrieval. The two goals pull against each other: averaging the seeds preserves the pattern but stays in a low-attribute region, while global attribute retrieval drifts to unrelated patterns. We approach the task with continuous generative retrieval, where a model reads a sequence of item embeddings and generates query embeddings for nearest-neighbor search. We propose MO-DiT+HPPO, a staged framework with raw-sequence pretraining, multi-domain metric-ordered continuation pretraining, tail-centroid fine-tuning, and HPPO. Metric-ordered training turns sparse online retrieval labels into in-pattern trajectories ordered from low to high predicted attribute density, teaching one model the metric-improvement direction across domains. HPPO aligns the generated query distribution with the true online objective by labeling a hybrid candidate pool with the online intersection metric and applying reference-anchored preference optimization. A Pareto pair filter keeps only winner pairs that do not lower same-pattern purity, raising the attribute metric without sacrificing the pattern. Across four attribute domains under item- and pattern-holdout protocols, metric-ordered DiT improves the intersection metric over a pretrained generative retriever, and HPPO improves it further, with significant gains on seven of eight domain-split cells and a marginal tie on the hardest split. Metric-predictor validation, order ablations, CPT/SFT comparisons, and a candidate-policy ablation show where the gains come from.
- Abstract（参考訳）: 埋め込みベースの検索は、共有ベクトル空間におけるクエリと類似度でアイテムをランク付けし、通常、最高のスコア付けアイテムを返すことを目的としている。
きめ細かいパターンを表現するシードセットが与えられたら、ターゲット属性を満足してそのパターン内に留まるアイテムがもっと必要になります。
我々はこれをパターン保存属性検索として定式化する。
平均的な種子はパターンを保存するが、低属性領域に留まり、グローバル属性検索は無関係なパターンにドリフトする。
モデルがアイテム埋め込みのシーケンスを読み出し、最寄りの検索のためのクエリ埋め込みを生成するという、連続生成検索によるタスクにアプローチする。
そこで我々は,MO-DiT+HPPOを提案する。MO-DiT+HPPO,生系列事前学習,マルチドメイン距離順序継続事前学習,テールセントロイド微調整,HPPO。
メトリック順序付きトレーニングは、少ないオンライン検索ラベルを、低から高い予測された属性密度から順序付けられたパターン内のトラジェクトリに変換し、ドメイン間のメトリック改善の方向性を1つのモデルに教える。
HPPOは、生成したクエリ分布を真のオンライン目的と整合させ、ハイブリッド候補プールとオンライン交叉距離をラベル付けし、参照-アンコレッドの選好最適化を適用する。
Paretoペアフィルタは、同じパターンの純度を下げない勝者ペアのみを保持し、パターンを犠牲にすることなく属性メトリックを上昇させる。
アイテム・アンド・パターン・ホールドアウトプロトコルの4つの属性ドメインに対して、メトリック順序付きDiTは事前訓練された生成レトリバーの交叉距離を向上し、HPPOはそれをさらに改善し、8つのドメイン分割されたセルのうち7つの大きな利得と、最も難しい分割の限界タイが得られた。
メトリクス予測器の検証、オーダの短縮、CPT/SFTの比較、および候補政治のアブレーションは、利益がどこから来るかを示す。
関連論文リスト
- From Jumps to Signatures: a Generative Method for Temporal Point Processes [0.0]
sigTPP は TPP のための最初のシグネチャベース生成モデルであり、完全な軌道上の経路レベルの損失を用いて訓練されている。
合成および実世界のデータセット全体で、sigTPPは8つの相補的な指標に基づいて最高の平均ランクを達成している。
論文 参考訳（メタデータ） (2026-07-07T17:27:47Z) - Hyperdimensional computing for structured querying on tabular data embeddings [2.260258863997296]
タブラルデータ埋め込みは、データプロファイリングとデータ統合パイプラインの基盤となっている。
既存のアプローチでは、行、列、またはテーブル全体をベクトル空間に埋め込んで、最も近い隣の検索を使って候補マッチングを検索する。
現在の埋め込み法の基本的な制限は、解釈可能な類似性スコアの欠如である。
論文 参考訳（メタデータ） (2026-06-11T19:54:11Z) - Beyond Chamfer Distance: Granular Order-aware Evaluation Metric For Online Mapping [9.868903360882262]
State-of-the-art (SOTA) 法は一般に、ポリラインとポリゴンを形成する点の順序列としてマップ要素を予測する。
このフレームワークは点オーダーに対する感度が欠如しており、幾何学的品質の評価において限定的な粒度を提供する。
SOSPA(Sequence optimal sub-pattern assignment)は、個々のジオメトリのきめ細かい評価を可能にするオーダーアウェアメトリックである。
論文 参考訳（メタデータ） (2026-05-21T14:51:52Z) - F-GRPO: Factorized Group-Relative Policy Optimization for Unified Candidate Generation and Ranking [79.49893545611779]
大規模言語モデル(LLM)はサブセットを生成し、それを1つの自己回帰パス内で順序付けることができる。
この柔軟性は、新しい最適化課題をもたらす: モデルが出力空間を検索し、完全なランクリストが生成された後にのみユーティリティフィードバックを受けなければならない。
このクレジット割り当てギャップは、エンドツーエンドの最適化を不安定にし、サンプル非効率にする。
本稿では,単一自己回帰的ロールアウト内の両方を実行する統一フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-13T04:52:33Z) - From Local Indices to Global Identifiers: Generative Reranking for Recommender Systems via Global Action Space [50.72071213515985]
GloRankは、ローカルインデックスの選択からグローバル識別子の生成に移行する、ジェネレーティブなフレームワークである。
我々はGloRankが最先端のベースラインを一貫して上回り、コールドスタートシナリオにおいて優れたロバスト性を実現することを示す。
論文 参考訳（メタデータ） (2026-04-28T06:57:00Z) - GenRec: A Preference-Oriented Generative Framework for Large-Scale Recommendation [14.663434490160016]
我々は、JD App上にデプロイされた嗜好指向の生成フレームワークであるGenRecを紹介する。
月のオンラインA/Bテストでは、GenRecは9.5%のクリック数の改善と8.7%のトランザクション数を達成した。
論文 参考訳（メタデータ） (2026-04-16T11:07:05Z) - Balanced Aggregation: Understanding and Fixing Aggregation Bias in GRPO [70.38763678943648]
検証可能な報酬(RLVR)による強化学習は、大規模言語モデルにおける推論とコード生成を改善するための中心的なパラダイムとなっている。
標準的なGRPOはシーケンスアグリゲーションを使用し、最近の研究はトークンアグリゲーションをより良い代替手段として提唱している。
トークンアグリゲーションは符号長結合を導入し、シーケンスアグリゲーションは暗黙的にダウンウェイトを延長する。
論文 参考訳（メタデータ） (2026-04-14T09:48:46Z) - UniRec: Bridging the Expressive Gap between Generative and Discriminative Recommendation via Chain-of-Attribute [12.89120699793625]
Generative Recommendation (GR) reframes search and ranking as autoregressive decoding over Semantic IDs (SIDs)
p(y|f,u) によるランクは p(f|y,u) によるランクと同値であり、アイテムの特徴を自己回帰的に分解する。
提案するUniRecとChain-of-Attribute(CoA)は、その中核となるメカニズムである。CoAは、SIDを復号する前に構造化属性トークン:カテゴリ、販売者、ブランドを含む各SIDシーケンスをプレフィックスし、識別モデルが活用するアイテム側の特徴交差を復元する。
論文 参考訳（メタデータ） (2026-04-14T03:13:50Z) - RecBase: Generative Foundation Model Pretraining for Zero-Shot Recommendation [78.01030342481246]
RecBaseは、レコメンデーション指向の目的によって事前訓練されたドメインに依存しない基礎モデルである。
アイテムを階層的な概念識別子にエンコードする統一されたアイテムトークンを導入します。
我々のモデルは、ゼロショットおよびクロスドメインレコメンデーションタスクにおいて、LLMのベースラインの最大7Bパラメータのパフォーマンスを一致または超過します。
論文 参考訳（メタデータ） (2025-09-03T08:33:43Z) - ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。
巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
論文 参考訳（メタデータ） (2024-12-11T12:31:30Z) - Recommender Systems with Generative Retrieval [58.454606442670034]
本稿では,対象候補の識別子を自己回帰的に復号する新たな生成検索手法を提案する。
そのために、各項目のセマンティックIDとして機能するために、意味論的に意味のあるコードワードを作成します。
提案手法を用いて学習した推薦システムは,様々なデータセット上での現在のSOTAモデルよりも大幅に優れていることを示す。
論文 参考訳（メタデータ） (2023-05-08T21:48:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。