論文の概要: DiffRetriever: Parallel Representative Tokens for Retrieval with Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2605.07210v1
• Date: Fri, 08 May 2026 03:57:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:38.788321
• Title: DiffRetriever: Parallel Representative Tokens for Retrieval with Diffusion Language Models
• Title（参考訳）: DiffRetriever:拡散言語モデルを用いた検索のための並列代表トークン
• Authors: Shuai Wang, Yin Yu, Shengyao Zhuang, Bevan Koopman, Guido Zuccon,
• Abstract要約: DiffRetrieverは拡散言語モデルのための代表型レトリバーである。 Kをマスクした位置をプロンプトに追加し、すべてのKを1つの双方向前方パスで読み取る。 ボトルネックは、マルチトークンのアイデアそのものではなく、シーケンシャルな生成であることを示す。
• 参考スコア（独自算出の注目度）: 47.963203679519744
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: PromptReps showed that an autoregressive language model can be used directly as a retriever by prompting it to generate dense and sparse representations of a query or passage. Extending this to multiple representatives is inefficient for autoregressive models, since tokens must be generated sequentially, and prior multi-token variants did not reliably improve over single-token decoding. We show that the bottleneck is sequential generation, not the multi-token idea itself. DiffRetriever is a representative-token retriever for diffusion language models: it appends K masked positions to the prompt and reads all K in a single bidirectional forward pass. Across in-domain and out-of-domain evaluation, multi-token DiffRetriever substantially improves over single-token on every diffusion backbone we test, while autoregressive multi-token is flat or negative and pays a latency cost that scales with K where diffusion does not. After supervised fine-tuning, DiffRetriever on Dream is the strongest BEIR-7 retriever in our comparison, ahead of PromptReps, the encoder-style DiffEmbed baseline on the same diffusion backbones, and the contrastively fine-tuned single-vector RepLLaMA. A per-query oracle on the frozen base model exceeds contrastive fine-tuning at the same fixed budget, pointing to adaptive budget selection as future work. Code is available at https://github.com/ielab/diffretriever.
• Abstract（参考訳）: PromptRepsは、クエリやパスの疎密な表現を生成するように促すことで、自動回帰言語モデルをレトリバーとして直接使用できることを示した。 トークンはシーケンシャルに生成されなければならず、以前のマルチトークン変種はシングルトークン復号よりも確実に改善されなかったため、これを複数の代表に拡張することは自己回帰モデルにとって非効率である。 ボトルネックは、マルチトークンのアイデアそのものではなく、シーケンシャルな生成であることを示す。 DiffRetriever は拡散言語モデルの代表的な検索ツールで、プロンプトに K をマスクした位置を付加し、全 K を双方向のフォワードパスで読み取る。 ドメイン内およびドメイン外評価において、DiffRetrieverは、テスト対象の拡散バックボーン毎にシングルトークンよりも大幅に改善される一方、自己回帰型マルチトークンは平坦または負であり、拡散が起こらないKでスケールするレイテンシコストを支払う。 微調整後、DiffRetriever on Dreamは、PromptReps、同じ拡散バックボーン上のエンコーダスタイルのDiffEmbedベースライン、そして対照的に微調整されたシングルベクターRepLLaMAに先立って、私たちの比較において最強のBEIR-7レトリバーである。 凍結ベースモデル上のクエリごとのオラクルは、同じ固定された予算で対照的に微調整をし、将来の作業として適応的な予算選択を指している。 コードはhttps://github.com/ielab/diffretriever.comから入手できる。

関連論文リスト

• Residual Context Diffusion Language Models [90.07635240595926]
  Residual Context Diffusion (RCD) は、捨てられたトークン表現をコンテキスト残留に変換し、次のデノイングステップでそれらを注入するモジュールである。 RCDは、最小限の計算オーバーヘッドで、5-10ポイントの精度でフロンティアdLLMを一貫して改善する。
  論文  参考訳（メタデータ） (2026-01-30T13:16:32Z)
• Continuous Autoregressive Language Models [56.49239051750678]
  我々はCALM(Continuous Autoregressive Language Models)を紹介する。 CALMは高忠実度オートエンコーダを使用して、Kトークンの塊を1つの連続ベクトルに圧縮する。 我々は、堅牢なトレーニング、評価、および制御可能なサンプリングを可能にする包括的可能性のないフレームワークを開発する。
  論文  参考訳（メタデータ） (2025-10-31T17:58:11Z)
• DiffGRM: Diffusion-based Generative Recommendation Model [63.35379395455103]
  ジェネレーティブレコメンデーション(GR)は、トークン化器を介して各項目をn桁のセマンティックID(SID)として表現する新興パラダイムである。 自己回帰デコーダをマスク付き離散拡散モデル(MDM)に置き換える拡散ベースGRモデルDiffGRMを提案する。 実験では、複数のデータセットに対する強力な生成的および差別的推奨ベースラインよりも一貫した利得を示す。
  論文  参考訳（メタデータ） (2025-10-21T03:23:32Z)
• Finish First, Perfect Later: Test-Time Token-Level Cross-Validation for Diffusion Large Language Models [47.5976588836299]
  拡散大言語モデル(dLLM)は、並列デコーディングの高速化や双方向コンテキストモデリングといった利点を提供する。 離散dLLMにおけるバニラデコーディング戦略は、重要な制限に悩まされる。トークンが受け入れられると、後続のステップで修正することはできない。 予測トークン間のクロスバリデーションを利用するトレーニングフリーなデコーディング戦略であるToleratorを提案する。
  論文  参考訳（メタデータ） (2025-10-06T17:56:46Z)
• Don't Settle Too Early: Self-Reflective Remasking for Diffusion Language Models [40.902681492117786]
  RemeDiはマスクベースのDLMで、トークンの分布と各ステップにおけるトークン毎の信頼スコアを予測する。 モデルに不正トークンを検出して再マスクする教師付き微調整を含む、この能力をトレーニングするために、リマスク対応パイプラインをトレーニングします。 実験により、RemeDiは複数のデータセット上のオープンソースのDLMの最先端の結果を達成することが示された。
  論文  参考訳（メタデータ） (2025-09-28T05:39:49Z)
• Fast and Fluent Diffusion Language Models via Convolutional Decoding and Rejective Fine-tuning [23.58934174168992]
  Autoregressive (AR)言語モデルでは、テキストを1つずつ生成することで、推論速度が制限される。 ハードセグメンテーションなしでデコードウインドウを狭める正規化法である畳み込み復号法(Conv)を提案する。 Rejecting Rule-based Fine-Tuning (R2FT)も導入しています。
  論文  参考訳（メタデータ） (2025-09-18T17:48:21Z)
• Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
  拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。 我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。 Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
  論文  参考訳（メタデータ） (2025-08-27T15:40:25Z)
• D-AR: Diffusion via Autoregressive Models [21.03363985989625]
  Diffusion via Autoregressive Model (D-AR) は、画像拡散プロセスをバニラ自己回帰法として再キャストする新しいパラダイムである。 本手法は,256個の離散トークンを持つ775MのLlamaバックボーンを用いて,2.09個のFIDを実現する。
  論文  参考訳（メタデータ） (2025-05-29T17:09:25Z)
• CITADEL: Conditional Token Interaction via Dynamic Lexical Routing for Efficient and Effective Multi-Vector Retrieval [72.90850213615427]
  マルチベクター検索法はスパース(例えばBM25)と高密度(例えばDPR)レトリバーの利点を組み合わせたものである。 これらの手法は桁違いに遅く、単ベクトルの手法に比べてインデックスを格納するのにはるかに多くのスペースを必要とする。 動的語彙ルーティング(CITADEL)による条件付きトークンの相互作用を,効率的かつ効率的なマルチベクタ検索のために提案する。
  論文  参考訳（メタデータ） (2022-11-18T18:27:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。