論文の概要: Embedding Inversion via Conditional Masked Diffusion Language Models
- arxiv url: http://arxiv.org/abs/2602.11047v1
- Date: Wed, 11 Feb 2026 17:17:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-12 21:44:02.229639
- Title: Embedding Inversion via Conditional Masked Diffusion Language Models
- Title（参考訳）: 条件付きマスク付き拡散言語モデルによる埋め込みインバージョン
- Authors: Han Xiao,
- Abstract要約: 条件付きマスク拡散としてインバージョンを組込み、逐次自己回帰生成ではなく反復的復調により全てのトークンを並列に回収する。
マスク付き拡散言語モデルは、適応層正規化によりターゲット埋め込みに条件付けされ、ターゲットエンコーダにアクセスすることなく、78Mパラメータモデルを通過するのに8つのフォワードしか必要としない。
3つの埋め込みモデルにまたがる32トークンシーケンスでは、81.3%のトークン精度と0.87のコサイン類似性を達成している。
- 参考スコア（独自算出の注目度）: 5.943245848892104
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We frame embedding inversion as conditional masked diffusion, recovering all tokens in parallel through iterative denoising rather than sequential autoregressive generation. A masked diffusion language model is conditioned on the target embedding via adaptive layer normalization, requiring only 8 forward passes through a 78M parameter model with no access to the target encoder. On 32-token sequences across three embedding models, the method achieves 81.3% token accuracy and 0.87 cosine similarity.
- Abstract（参考訳）: 条件付きマスク拡散としてインバージョンを組込み、逐次自己回帰生成ではなく反復的復調により全てのトークンを並列に回収する。
マスク付き拡散言語モデルは、適応層正規化によりターゲット埋め込みに条件付けされ、ターゲットエンコーダにアクセスすることなく、78Mパラメータモデルを通過するのに8つのフォワードしか必要としない。
3つの埋め込みモデルにまたがる32トークンシーケンスでは、81.3%のトークン精度と0.87のコサイン類似性を達成している。
関連論文リスト
- EDIT: Early Diffusion Inference Termination for dLLMs Based on Dynamics of Training Gradients [6.736735746633275]
拡散に基づく大規模言語モデル (dLLMs) は反復的妄想を通じてトークン生成を洗練させるが、全てのステップが完了する前に答えは安定することが多い。
本稿では,トレーニング時推論に対する十分な推論安定性が検出された場合に,適応的にデノイングを停止する推論時基準であるEDITを提案する。
論文 参考訳（メタデータ） (2025-11-29T23:47:47Z) - REAR: Rethinking Visual Autoregressive Models via Generator-Tokenizer Consistency Regularization [130.46612643194973]
reARはトークン単位の正規化目標を導入する単純なトレーニング戦略です。
ImageNetでは、gFIDを3.02から1.86に削減し、標準化ベースのトークンーザを使用してISを316.9に改善している。
高度なトークン化器に適用すると、177Mパラメータしか持たない1.42のgFIDが達成され、その性能はより大きな最先端拡散モデル(675M)と一致する。
論文 参考訳（メタデータ） (2025-10-06T02:48:13Z) - Discrete Diffusion Trajectory Alignment via Stepwise Decomposition [80.66701883088935]
離散拡散モデルに対する軌道アライメントにアプローチするオフライン選好最適化法を提案する。
問題をステップ毎の後部をマッチングすることにより、段階的にアライメントする目的の集合に分解する。
DNA配列設計、タンパク質の逆フォールディング、言語モデリングを含む複数の領域にわたる実験は、我々のアプローチの優位性を一貫して示している。
論文 参考訳（メタデータ） (2025-07-07T09:52:56Z) - Contrastive Flow Matching [61.60002028726023]
コントラストフローマッチング(Contrastive Flow Matching)は、全ての条件フローに対して一意性を明示するフローマッチング対象の拡張である。
提案手法は,任意のサンプル対からの予測フロー間の相違を最大化するための対照的な目的を与える。
比較フローマッチングによるトレーニングモデル(1)は最大9倍のトレーニング速度,(2)は最大5倍のノイズ除去ステップ,(3)FIDを最大8.9以下に向上させる。
論文 参考訳（メタデータ） (2025-06-05T17:59:58Z) - Towards Sequence Modeling Alignment between Tokenizer and Autoregressive Model [69.79418000132995]
AliTokはトークンシーケンスの依存性構造を変更する新しいアラインド・トークンライザである。
AliTokは177Mパラメータしか持たない標準的なデコーダのみの自己回帰モデルで、ImageNet-256ベンチマークで1.44のgFIDと319.5のISを達成している。
論文 参考訳（メタデータ） (2025-06-05T17:45:10Z) - Beyond Masked and Unmasked: Discrete Diffusion Models via Partial Masking [28.55159825491572]
マスケード拡散モデル(MDM)は、離散データのための強力な生成モデルであり、段階的にトークンを配列で解き放つことでサンプルを生成する。
本稿では、トークンがマスクされた状態とマスクされていない状態の間を中間状態にすることでMDMを増強する部分マスキングスキーム(Prime)を提案する。
本手法は,多種多様な生成モデルタスクに対して優れた性能を示す。
論文 参考訳（メタデータ） (2025-05-24T04:16:40Z) - Fast Sampling of Diffusion Models via Operator Learning [74.37531458470086]
我々は,拡散モデルのサンプリング過程を高速化するために,確率フロー微分方程式の効率的な解法であるニューラル演算子を用いる。
シーケンシャルな性質を持つ他の高速サンプリング手法と比較して、並列復号法を最初に提案する。
本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
論文 参考訳（メタデータ） (2022-11-24T07:30:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。