論文の概要: Embedding Inversion via Conditional Masked Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2602.11047v3
• Date: Wed, 18 Feb 2026 11:21:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-19 13:51:30.940991
• Title: Embedding Inversion via Conditional Masked Diffusion Language Models
• Title（参考訳）: 条件付きマスク付き拡散言語モデルによる埋め込みインバージョン
• Authors: Han Xiao,
• Abstract要約: 条件付きマスク拡散としてインバージョンを組込み、逐次自己回帰生成ではなく反復的復調により全てのトークンを並列に回収する。 マスク付き拡散言語モデルは、適応層正規化を介してターゲット埋め込みに条件付けされ、推論時にターゲットエンコーダにアクセスせずに8つのフォワードパスしか必要としない。 3つの埋め込みモデルにまたがる32トークンシーケンスにおいて、エンコーダアクセス、反復補正、アーキテクチャ固有のアライメントを必要とせず、並列化によるトークン回復を実現する。
• 参考スコア（独自算出の注目度）: 5.943245848892104
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We frame embedding inversion as conditional masked diffusion, recovering all tokens in parallel through iterative denoising rather than sequential autoregressive generation. A masked diffusion language model is conditioned on the target embedding via adaptive layer normalization, requiring only 8 forward passes with no access to the target encoder at inference time. On 32-token sequences across three embedding models, the method achieves token recovery through parallel denoising without requiring encoder access, iterative correction, or architecture-specific alignment. Source code and live demo are available at https://github.com/jina-ai/embedding-inversion-demo.
• Abstract（参考訳）: 条件付きマスク拡散としてインバージョンを組込み、逐次自己回帰生成ではなく反復的復調により全てのトークンを並列に回収する。 マスク付き拡散言語モデルは、適応層正規化を介してターゲット埋め込みに条件付けされ、推論時にターゲットエンコーダにアクセスせずに8つのフォワードパスしか必要としない。 3つの埋め込みモデルにまたがる32トークンシーケンスにおいて、エンコーダアクセス、反復補正、アーキテクチャ固有のアライメントを必要とせず、並列化によるトークン回復を実現する。 ソースコードとライブデモはhttps://github.com/jina-ai/embedding-inversion-demo.comで公開されている。

関連論文リスト

• Rejection Mixing: Fast Semantic Propagation of Mask Tokens for Efficient DLLM Inference [58.189320101488725]
  DLLMは高速な非自己回帰推論を約束するが、並列デコーディングにおいて厳しい品質と速度のトレードオフを被る。 我々は、連続表現を離散デコードプロセスに統合することでこの問題に対処する。 本稿では,初期マスキング状態と最終復号化トークン状態の中間として,新しい連続混合状態を導入するフレームワークであるReMixを提案する。
  論文  参考訳（メタデータ） (2026-02-26T11:08:11Z)
• dgMARK: Decoding-Guided Watermarking for Diffusion Language Models [5.43345665278304]
  dgMARKは離散拡散言語モデルのための復号誘導型透かし法である。 dgMARKは、逆候補トークンが単純なパリティ制約を満たす位置に対して、偽りの順序を定めている。 透かしはパリティマッチング統計によって検出される。
  論文  参考訳（メタデータ） (2026-01-30T13:51:20Z)
• WeDLM: Reconciling Diffusion Language Models with Standard Causal Attention for Fast Inference [44.87788417755154]
  本稿では,標準因果注意に基づく拡散復号化フレームワークWeDLMを提案する。 WeDLMは強力なARバックボーンの品質を維持しつつ,大幅な高速化を実現している。
  論文  参考訳（メタデータ） (2025-12-28T01:25:48Z)
• EDIT: Early Diffusion Inference Termination for dLLMs Based on Dynamics of Training Gradients [6.736735746633275]
  拡散に基づく大規模言語モデル (dLLMs) は反復的妄想を通じてトークン生成を洗練させるが、全てのステップが完了する前に答えは安定することが多い。 本稿では,トレーニング時推論に対する十分な推論安定性が検出された場合に,適応的にデノイングを停止する推論時基準であるEDITを提案する。
  論文  参考訳（メタデータ） (2025-11-29T23:47:47Z)
• D$^{3}$ToM: Decider-Guided Dynamic Token Merging for Accelerating Diffusion MLLMs [22.78575203353886]
  拡散に基づく多モード大言語モデル(拡散MLLM)は自己回帰モデルよりもかなり遅い推論を示す。 本稿では,拡散MLLMにおける推論を高速化する動的トークンマージ手法D$3$ToMを提案する。 実験によると、D$3$ToMは競合性能を維持しながら推論を加速する。
  論文  参考訳（メタデータ） (2025-11-15T16:24:12Z)
• Speculative Jacobi-Denoising Decoding for Accelerating Autoregressive Text-to-image Generation [110.28291466364784]
  Speculative Jacobi-Denoising Decoding (SJD2) は、自動回帰モデルでパラレルトークン生成を可能にするために、デノナイズプロセスをJacobiに組み込むフレームワークである。 提案手法では,事前学習した自己回帰モデルに対して,ノイズ・摂動トークンの埋め込みを受理できる次クリーンな予測パラダイムを導入する。
  論文  参考訳（メタデータ） (2025-10-10T04:30:45Z)
• Finish First, Perfect Later: Test-Time Token-Level Cross-Validation for Diffusion Large Language Models [47.5976588836299]
  拡散大言語モデル(dLLM)は、並列デコーディングの高速化や双方向コンテキストモデリングといった利点を提供する。 離散dLLMにおけるバニラデコーディング戦略は、重要な制限に悩まされる。トークンが受け入れられると、後続のステップで修正することはできない。 予測トークン間のクロスバリデーションを利用するトレーニングフリーなデコーディング戦略であるToleratorを提案する。
  論文  参考訳（メタデータ） (2025-10-06T17:56:46Z)
• REAR: Rethinking Visual Autoregressive Models via Generator-Tokenizer Consistency Regularization [130.46612643194973]
  reARはトークン単位の正規化目標を導入する単純なトレーニング戦略です。 ImageNetでは、gFIDを3.02から1.86に削減し、標準化ベースのトークンーザを使用してISを316.9に改善している。 高度なトークン化器に適用すると、177Mパラメータしか持たない1.42のgFIDが達成され、その性能はより大きな最先端拡散モデル(675M)と一致する。
  論文  参考訳（メタデータ） (2025-10-06T02:48:13Z)
• Sequential Diffusion Language Models [110.06562906987052]
  拡散言語モデル(DLM)は理論効率が強いが、固定長の復号化とキー値キャッシュとの非互換性によって制限される。 次点と次点の予測を統一するNext Sequence Prediction (NSP)を導入する。 本稿では,事前学習した自己回帰言語モデル(ALM)を最小限のコストで再現可能な逐次拡散言語モデル(SDLM)を提案する。
  論文  参考訳（メタデータ） (2025-09-28T17:59:15Z)
• Don't Settle Too Early: Self-Reflective Remasking for Diffusion Language Models [40.902681492117786]
  RemeDiはマスクベースのDLMで、トークンの分布と各ステップにおけるトークン毎の信頼スコアを予測する。 モデルに不正トークンを検出して再マスクする教師付き微調整を含む、この能力をトレーニングするために、リマスク対応パイプラインをトレーニングします。 実験により、RemeDiは複数のデータセット上のオープンソースのDLMの最先端の結果を達成することが示された。
  論文  参考訳（メタデータ） (2025-09-28T05:39:49Z)
• Discrete Diffusion Trajectory Alignment via Stepwise Decomposition [80.66701883088935]
  離散拡散モデルに対する軌道アライメントにアプローチするオフライン選好最適化法を提案する。 問題をステップ毎の後部をマッチングすることにより、段階的にアライメントする目的の集合に分解する。 DNA配列設計、タンパク質の逆フォールディング、言語モデリングを含む複数の領域にわたる実験は、我々のアプローチの優位性を一貫して示している。
  論文  参考訳（メタデータ） (2025-07-07T09:52:56Z)
• Contrastive Flow Matching [61.60002028726023]
  コントラストフローマッチング(Contrastive Flow Matching)は、全ての条件フローに対して一意性を明示するフローマッチング対象の拡張である。 提案手法は,任意のサンプル対からの予測フロー間の相違を最大化するための対照的な目的を与える。 比較フローマッチングによるトレーニングモデル(1)は最大9倍のトレーニング速度,(2)は最大5倍のノイズ除去ステップ,(3)FIDを最大8.9以下に向上させる。
  論文  参考訳（メタデータ） (2025-06-05T17:59:58Z)
• Towards Sequence Modeling Alignment between Tokenizer and Autoregressive Model [69.79418000132995]
  AliTokはトークンシーケンスの依存性構造を変更する新しいアラインド・トークンライザである。 AliTokは177Mパラメータしか持たない標準的なデコーダのみの自己回帰モデルで、ImageNet-256ベンチマークで1.44のgFIDと319.5のISを達成している。
  論文  参考訳（メタデータ） (2025-06-05T17:45:10Z)
• Accelerating Diffusion LLMs via Adaptive Parallel Decoding [60.407727995313074]
  並列にサンプリングされたトークンの数を動的に調整する新しい手法であるアダプティブ並列復号法(APD)を導入する。 APDは、ダウンストリームベンチマークで最小限の品質劣化を伴って、非常に高いスループットを提供する。
  論文  参考訳（メタデータ） (2025-05-31T06:10:10Z)
• D-AR: Diffusion via Autoregressive Models [21.03363985989625]
  Diffusion via Autoregressive Model (D-AR) は、画像拡散プロセスをバニラ自己回帰法として再キャストする新しいパラダイムである。 本手法は,256個の離散トークンを持つ775MのLlamaバックボーンを用いて,2.09個のFIDを実現する。
  論文  参考訳（メタデータ） (2025-05-29T17:09:25Z)
• Beyond Masked and Unmasked: Discrete Diffusion Models via Partial Masking [28.55159825491572]
  マスケード拡散モデル(MDM)は、離散データのための強力な生成モデルであり、段階的にトークンを配列で解き放つことでサンプルを生成する。 本稿では、トークンがマスクされた状態とマスクされていない状態の間を中間状態にすることでMDMを増強する部分マスキングスキーム(Prime)を提案する。 本手法は,多種多様な生成モデルタスクに対して優れた性能を示す。
  論文  参考訳（メタデータ） (2025-05-24T04:16:40Z)
• Fast Sampling of Diffusion Models via Operator Learning [74.37531458470086]
  我々は,拡散モデルのサンプリング過程を高速化するために,確率フロー微分方程式の効率的な解法であるニューラル演算子を用いる。 シーケンシャルな性質を持つ他の高速サンプリング手法と比較して、並列復号法を最初に提案する。 本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
  論文  参考訳（メタデータ） (2022-11-24T07:30:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。