論文の概要: Disentangling Paradigm, Identifier, and Decoding in Generative Retrieval

• arxiv url: http://arxiv.org/abs/2610.08716v1
• Date: Tue, 06 Oct 2026 17:23:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:30.145922
• Title: Disentangling Paradigm, Identifier, and Decoding in Generative Retrieval
• Title（参考訳）: 生成検索におけるディエンタングリングパラダイム, 識別器, 復号化
• Abstract要約: 生成検索は言語モデルを訓練し、関連する文書の識別子を生成する。 最近の作業は、自己回帰デコーダを拡散に置き換えるが、識別子、トレーニングレシピ、デコーディングを一度に変更する。 残留量子化, 積量子化, ランダムな識別子を用いた自己回帰, マスク拡散, ブロック拡散モデルを訓練する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative retrieval trains a language model to generate the identifier of a relevant document. Recent work replaces the autoregressive decoder with diffusion, but changes identifiers, training recipe and decoding at once, so differences cannot be credited to the paradigm. On NQ320K and MS300K, we train autoregressive, masked-diffusion and block-diffusion models with residual-quantised, product-quantised and random identifiers. With identifier length and training budget fixed, we decode each model in several ways. Decoding alone moves a diffusion model's Hit@1 by 6.6 to 13.7 points. Our reference diffusion decoding, generate-and-match, generates an identifier, then retrieves the closest corpus identifiers. The generated identifier is right for 14-21% of NQ320K queries. We test one-pass scoring to decode diffusion retrievers: the model reads a fully masked identifier once, and each document is scored by its codes' probabilities. It matches or beats generate-and-match in 11 of 12 settings. Autoregressive models still lead in Hit@1; on NQ320K, the lead comes from the model, not beam search. Starting from one sampled identifier, one-pass scoring removes 46-83% of masked diffusion's deficit to beam search; from generate-and-match, at most a quarter. On NQ320K, every paradigm largely memorises which identifier answers which query: random identifiers keep 83-90% of the Hit@1 of residual-quantised ones. There, product-quantised identifiers lead residual-quantised ones by 3.4 points in the autoregressive model and by -0.7 to +3.6 in diffusion models; across decodings, AR's gap exceeds diffusion's by 1.5-2.3 points, around our 2-point threshold. Paradigm comparisons must report each paradigm at its own recipe and best decoding.
• Abstract（参考訳）: 生成検索は言語モデルを訓練し、関連する文書の識別子を生成する。 最近の作業では、自己回帰デコーダを拡散に置き換えているが、識別子、トレーニングレシピ、デコーダを一度に変更しているため、違いはパラダイムとして信用できない。 NQ320KとMS300Kでは、残留量子化、積量子化、ランダムな識別子を持つ自己回帰、マスク拡散、ブロック拡散モデルを訓練する。 識別子の長さとトレーニング予算を固定し、各モデルをいくつかの方法でデコードする。 デコードだけで拡散モデルの Hit@1 を 6.6 から 13.7 に移動させる。 参照拡散復号(generator-and-match)は識別子を生成し、最も近いコーパス識別子を検索する。 生成された識別子は、14-21%のNQ320Kクエリに対して正しい。 モデルが完全にマスクされた識別子を一度読み出し、各文書はそのコード確率によってスコアされる。 12設定中11設定で、生成とマッチをマッチまたはビートします。 自動回帰モデルはHit@1で、NQ320Kではビームサーチではなくモデルからリードする。 1つのサンプル識別子から始めると、1パスのスコアリングにより、マスク付き拡散の46～83%の損失がビームサーチによって除去される。 NQ320Kでは、全てのパラダイムが、どの識別子がどのクエリに答えるかを記憶している。 積量子化識別子は自己回帰モデルでは3.4ポイント、拡散モデルでは-0.7から+3.6ポイントで残量子化される。 パラダイム比較は、それぞれのパラダイムを独自のレシピと最高のデコーディングで報告しなければなりません。

関連論文リスト

• Refinement Buys Intelligibility, Search Buys Identity: What Test-Time Compute Buys in Masked-Diffusion TTS [1.5749416770494706]
  テキストから音声への拡散言語モデルは、モデルの深さと洗練されたステップという2つの計算形式を組み合わせたものである。 我々は,2000時間音声の深度が異なる15種類のマスク拡散TSモデルを訓練し,ASR単語誤り率(インテリジェンス)と話者検証(アイデンティティ)を174個の保留話者に適用してゼロショット合成を測定する。 我々は、改良と深さは異なるボトルネックをターゲットにしており、最適化されるべきである、と結論付けている。
  論文  参考訳（メタデータ） (2026-10-02T13:56:08Z)
• Simplex Diffusion Models [70.25963134099172]
  本稿では,拡散過程を確率的単純度に引き上げて,カテゴリに対する信念を表現する枠組みを提案する。 SDMは単純度上のサンプルで動作するため、デノナイジングステップをまたいで不確実性を持ち、情報の崩壊を軽減できる。
  論文  参考訳（メタデータ） (2026-09-28T16:26:29Z)
• One Token Is Enough: Fingerprinting and Verifying Large Language Models from Single-Token Output Distributions [0.0]
  APIアグリゲータ、再販業者、推論プロバイダは、大きな言語モデル(LLM)を使用する。 既存の識別技術には、長いテキスト、トークンレベルのログ確率、反対に作られたプロンプト、またはモデル所有者の協力が必要である。 我々は,LLMの行動指紋を,自明なワンワードプロンプトに対する応答の実証的分布として定義する。
  論文  参考訳（メタデータ） (2026-07-11T10:34:17Z)
• Speculative Refinement: A Hybrid Autoregressive Diffusion Decoding Strategy and Its Behavior Across Benchmarks [1.9800951131982487]
  我々はSpecRef(Speculative Refinement)を用いて、ARドラフトからマスク付き拡散言語モデルをウォームスタートする。 We evaluate SpecRef across six benchmarks (HumanEval, MBPP, GSM8K, BBH, ARC-Challenge, HellaSwag) with three distinct evaluation protocol。 これらの観察は、多段階または非自己回帰生成パイプラインに適用され、より診断評価の実践に向けて向けられる。
  論文  参考訳（メタデータ） (2026-06-25T18:52:24Z)
• JUMP: Single-Pass Membership Inference on Fine-Tuned Diffusion Language Models [5.43345665278304]
  我々は、細調整された離散拡散言語モデル(dLLMs)に対する会員推論攻撃(MIA)について研究する。 JUMP(Joint Uncertainty-Guided Mask Probing)は,DLLMの特性を両立させるシングルパススコアリング攻撃である。 6つのMIMIRドメインにわたる微調整されたLLaDA-8Bベースでは、JUMPは平均ROC-AUCをSAMAで0.82から0.90に改善し、低FPR検出を大幅に改善する。
  論文  参考訳（メタデータ） (2026-05-09T05:40:00Z)
• DiffGRM: Diffusion-based Generative Recommendation Model [63.35379395455103]
  ジェネレーティブレコメンデーション(GR)は、トークン化器を介して各項目をn桁のセマンティックID(SID)として表現する新興パラダイムである。 自己回帰デコーダをマスク付き離散拡散モデル(MDM)に置き換える拡散ベースGRモデルDiffGRMを提案する。 実験では、複数のデータセットに対する強力な生成的および差別的推奨ベースラインよりも一貫した利得を示す。
  論文  参考訳（メタデータ） (2025-10-21T03:23:32Z)
• Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
  本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。 本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
  論文  参考訳（メタデータ） (2025-10-02T06:25:10Z)
• DiffusionAttacker: Diffusion-Driven Prompt Manipulation for LLM Jailbreak [51.8218217407928]
  大規模言語モデル (LLM) は、慎重に入力を行うと有害なコンテンツを生成する可能性がある。 本稿では,拡散モデルにインスパイアされたジェイルブレイク書き換えのためのエンドツーエンド生成手法であるDiffusionAttackerを紹介する。
  論文  参考訳（メタデータ） (2024-12-23T12:44:54Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。