論文の概要: Self-Augmenting Retrieval for Diffusion Language Models
- arxiv url: http://arxiv.org/abs/2606.06474v1
- Date: Thu, 04 Jun 2026 17:56:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-05 22:39:45.026097
- Title: Self-Augmenting Retrieval for Diffusion Language Models
- Title（参考訳）: 拡散言語モデルのための自己拡張検索
- Authors: Paul Jünger, Justin Lovelace, Linxi Zhao, Dongyoung Go, Kilian Q. Weinberger,
- Abstract要約: 捨てられたトークンは、実際に検索拡張生成に有用なルックアヘッド信号であることを示す。
我々はこれを拡散言語モデル(SARDI)の自己拡張検索によって活用する。
SARDIはトレーニングフリーで、レトリバーに依存しず、任意の推論可能な離散拡散言語モデルに適用できる。
- 参考スコア（独自算出の注目度）: 22.049744034827242
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Discrete diffusion language models generate text by iteratively denoising an entire response in parallel. At each step, they predict tentative tokens for every masked position, committing the confident predictions to the output and discarding the unconfident ones. We show that the discarded tokens are in fact a useful lookahead signal for retrieval-augmented generation: even low-confidence tokens often surface salient entities early in the denoising trajectory, enabling retrieval of stronger evidence before the output is finalized. We exploit this through Self-Augmenting Retrieval for Diffusion Language Models (SARDI), a dynamic RAG framework that uses these lookahead tokens to guide retrieval during denoising. SARDI is training-free, retriever-agnostic, and applicable to any reasoning-capable discrete diffusion language model. Across five multi-hop QA benchmarks, SARDI outperforms current training-free diffusion and autoregressive retrieval baselines at up to $8\times$ higher throughput.
- Abstract（参考訳）: 離散拡散言語モデルは、全応答を並列に反復的に認知することでテキストを生成する。
それぞれのステップで、彼らはマスクされた位置ごとに仮のトークンを予測し、自信ある予測を出力にコミットし、信頼できないトークンを捨てます。
低信頼なトークンでさえ、デノベーション軌道の早い段階で正気性のあるエンティティを表面化し、出力が確定する前により強力な証拠の検索を可能にする。
我々は、これらのルックアヘッドトークンを使用して、デノナイズ中の検索をガイドする動的RAGフレームワークであるSelf-Augmenting Retrieval for Diffusion Language Models (SARDI)を通じてこれを活用する。
SARDIはトレーニングフリーで、レトリバーに依存しず、任意の推論可能な離散拡散言語モデルに適用できる。
5つのマルチホップQAベンチマークで、SARDIは現在のトレーニング不要の拡散と自動回帰検索ベースラインを最大8\times$高スループットで上回っている。
関連論文リスト
- Large Language Models Explore by Latent Distilling [17.44180253276711]
ESampは、世代間の意味的多様性を明確に促進するデコードアプローチである。
ESampは数学、科学、コード生成ベンチマークで堅牢な一般化を実現している。
論文 参考訳（メタデータ） (2026-04-27T19:08:13Z) - Early Decisions Matter: Proximity Bias and Initial Trajectory Shaping in Non-Autoregressive Diffusion Language Models [54.16797570104461]
拡散ベースの言語モデル (dLLMs) は自己回帰型言語モデルに代わる有望な代替品として登場した。
時間軸に沿った推論ダイナミクスを系統的に解析し, dLLMの非自己回帰復号化について検討した。
論文 参考訳（メタデータ） (2026-04-12T10:26:41Z) - DyLLM: Efficient Diffusion LLM Inference via Saliency-based Token Selection and Partial Attention [2.7422645382944935]
そこで我々はDyLLMを提案する。DyLLMは正規トークンのみを選択的に計算することでデコーディングを高速化する学習自由推論フレームワークである。
DyLLMは様々な推論とコード生成ベンチマークで最大9.6倍のスループットを実現している。
論文 参考訳（メタデータ） (2026-03-09T07:02:01Z) - SJD-PV: Speculative Jacobi Decoding with Phrase Verification for Autoregressive Image Generation [20.808533388639468]
自己回帰(AR)画像モデルは、最近顕著な生成能力を示したが、そのシーケンシャルな性質は大きな推論遅延をもたらす。
フレーズレベルの投機的検証を行う新しい学習自由加速フレームワークを提案する。
提案手法は,視覚的忠実度を損なうことなく,最大30%高速な復号化を実現する。
論文 参考訳（メタデータ） (2026-03-02T13:09:15Z) - Just on Time: Token-Level Early Stopping for Diffusion Language Models [0.0]
拡散言語モデルは、しばしば計算的に非効率な反復的洗練を通じてテキストを生成する。
トレーニング不要でトークンレベルの早期停止アプローチを導入し,各位置における収束を独立に識別する。
これにより、タスク固有の微調整をせずに、適応的な各トーケン凍結が得られ、必要な拡散ステップの総数を大幅に削減する。
論文 参考訳（メタデータ） (2026-02-11T18:44:04Z) - TDGNet: Hallucination Detection in Diffusion Language Models via Temporal Dynamic Graphs [30.313604786976715]
拡散言語モデル (D-LLMs) は並列化と双方向のコンテキストを提供する。
D-LLMsの幻覚検出は未発見のままである。
本稿では,トークンレベルの注目グラフを進化させる学習として幻覚検出を定式化する時間動的グラフフレームワークであるTDGNetを紹介する。
論文 参考訳（メタデータ） (2026-02-08T16:35:30Z) - AR-Diffusion: Auto-Regressive Diffusion Model for Text Generation [138.98095392584693]
本稿では,自己回帰拡散(AR-Diffusion)を導入し,自然言語の固有な逐次特性について考察する。
AR拡散は、右のトークンの生成が左の生成されたトークンに依存することを保証します。
様々なテキスト生成タスクに関する一連の実験において、AR-Diffusionは既存の拡散言語モデルよりも優れていることを示した。
論文 参考訳（メタデータ） (2023-05-16T15:10:22Z) - GanLM: Encoder-Decoder Pre-training with an Auxiliary Discriminator [114.8954615026781]
本稿では,補助判別器を導入して,エンコーダ・デコーダ事前学習のためのGANスタイルのモデルを提案する。
GanLMは2つのトレーニング済みの目標 – トークン検出の置き換えとトークン記述の置き換え – でトレーニングされている。
言語生成ベンチマークの実験では、強力な言語理解能力を持つ GanLM が、様々な強力な事前学習言語モデルより優れていることが示されている。
論文 参考訳（メタデータ） (2022-12-20T12:51:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。