論文の概要: Continuous Language Diffusion as a Decoder-Interface Problem
- arxiv url: http://arxiv.org/abs/2606.08810v2
- Date: Mon, 15 Jun 2026 19:27:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-17 15:01:46.425345
- Title: Continuous Language Diffusion as a Decoder-Interface Problem
- Title（参考訳）: デコーダ-インタフェース問題としての連続言語拡散
- Authors: Zhicheng Du, Lan Ma,
- Abstract要約: 連続拡散言語モデルはガウス崩壊文の埋め込みから流動的なテキストを生成することができる。
組込み言語フロー(ELF)を用いてこのパズルを学習し,デコーダベース機構を同定する。
本稿では,難読性,セマンティックリカバリ性,順序感度,デコーダの互換性,トラジェクトリ信頼性の診断プロトコルを提案する。
- 参考スコア（独自算出の注目度）: 9.603960937964183
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Gaussian-corrupted sentence embeddings have no direct linguistic interpretation, yet continuous diffusion language models can generate fluent text from them. We study this puzzle through Embedded Language Flows (ELF) and identify a decoder-basin mechanism: our evidence suggests that denoising becomes reliable when trajectories reach regions where the native decoder can read stable tokens. We introduce a diagnostic protocol for denoisability, semantic recoverability, order sensitivity, decoder compatibility, and trajectory reliability. It exposes failures hidden by scalar metrics: low mean-squared error can discard linguistic content, low perplexity can reflect low-entropy collapse, and clean latent reconstruction can coexist with a narrow decoder basin. A decoder-margin bound explains why token recovery depends on margin and local decoder sensitivity, not latent error alone. Auditing public ELF checkpoints reveals an interface phase diagram: early predictions are weakly readable, mid-trajectory disagreement marks a competition region, and late predictions enter a high-margin decoder basin. Once inside, token realization is surprisingly simple on generated ELF states: frozen T5 (Text-to-Text Transfer Transformer) token-embedding lookup recovers $93$--$96\%$ of native decoder decisions, and a single linear readout reaches $97.9\%$ agreement at 32k samples, leaving an $\approx1.1$--$1.2$ perplexity gap in a structured residual tail. Under conservative held-out gates, a margin rule exits roughly $17$--$28\%$ earlier in denoising steps under an explicit diagnostic monitor. Boundary checks on LangFlow, BitstreamDiffusion, and the Continuous Latent Diffusion Language Model (Cola-DLM) show that the same interface questions remain meaningful when the state object and decoder change. Continuous and latent diffusion language models should therefore be evaluated as representation-decoder systems.
- Abstract（参考訳）: ガウス語の破損した文の埋め込みは直接的な言語解釈を持たないが、連続拡散言語モデルはそれらから流動的なテキストを生成することができる。
本研究では, 固有デコーダが安定なトークンを読み取ることができる領域に到達すると, デノーズが信頼性を増すことを示す証拠として, 組込み言語フロー(ELF)を用いてこのパズルを検証し, デコーダベース機構を同定する。
本稿では,難読性,セマンティックリカバリ性,順序感度,デコーダの互換性,トラジェクトリ信頼性の診断プロトコルを提案する。
低平均二乗誤差は言語的内容を捨てることができ、低難易度は低エントロピー崩壊を反映し、クリーンな遅延再構成は狭いデコーダ盆地と共存する。
デコーダ-マージン境界は、なぜトークンの回復が残差と局所的なデコーダ感度に依存しているのかを説明している。
初期の予測は弱い可読性を持ち、中軌道の不一致は競合領域を示し、後期予測はハイマージンデコーダ盆地に入る。
フリーズされたT5 (Text-to-Text Transfer Transformer) トークン埋め込みルックアップは9,3$-96\%のネイティブデコーダ決定を回復し、32kサンプルで1つの線形読み出しが97.9\%の合意に達し、構造化後尾に$\approx1.1$-1.2$のパープレキシティギャップが残る。
保守的なホールトアウトゲートの下では、明確な診断モニターの下でのデノベーションステップにおいて、マージンルールが約17ドル--28セントで終了する。
LangFlow、BitstreamDiffusion、Continuous Latent Diffusion Language Model (Cola-DLM) のバウンダリチェックでは、状態オブジェクトとデコーダが変更されても、同じインターフェースの疑問が意味を持つことが示されている。
したがって、連続および潜時拡散言語モデルは表現デコーダシステムとして評価されるべきである。
関連論文リスト
- Supportive Token Revealing for Fast Diffusion Language Model Decoding [10.022716564968695]
AXONはトレーニングフリーのモジュールで、拡散言語モデルの既存の並列デコード戦略の上に追加することができる。
AXONは、既存の並列デコーダの品質・レイテンシのトレードオフを改善し、精度を維持したり改善したりしながら、機能評価の回数を減らすことができることを示す。
論文 参考訳（メタデータ） (2026-06-02T21:35:54Z) - The Path Matters: Learning a Token-Commitment Policy for Diffusion Language Models [52.93186090124315]
トークンのコミットメントは、再利用可能なトレースステートポリシとして学ぶことができる、と私たちは主張する。
凍結拡散言語モデルのためにこのポリシーをインスタンス化する軽量プラグインコントローラであるTraceLockを紹介する。
論文 参考訳（メタデータ） (2026-05-23T18:23:46Z) - End-to-End Intracortical Speech Decoding from Neural Activity [0.8209843760716958]
そこで本研究では,ALSの参加者の皮質内記録を直接トレーニングした,エンドツーエンドのコンフォーマーベースのニューラルデコーダを提案する。
外部言語モデルがなければ、システムは保持されたバリデーションデータに対して23.80%の文字誤り率(CER)を達成する。
論文 参考訳（メタデータ） (2026-05-23T00:39:59Z) - When Latent Geometry Is Not Enough: Draft-Conditioned Latent Refinement for Non-Autoregressive Text Generation [0.0]
本報告では, 凍結したBERTエンコーダ, 並列デコーダ, およびデノイングDraftPriorから構築したドラフトコンディショニング潜時精錬モデルについて検討する。
ROCStoriesでは、最初の2文をプロンプトとして、最後の3文をターゲットとして、768次元のBERTラテントが圧縮された256次元のラテントよりもはるかによくトークンを回収する。
論文 参考訳（メタデータ） (2026-05-15T02:53:49Z) - STDec: Spatio-Temporal Stability Guided Decoding for dLLMs [49.55447757907809]
大規模拡散言語モデル(dLLM)は、自己回帰パラダイムに代わる有望な選択肢と見なされ、急速な進歩を遂げている。
ほとんどのdLLMデコーダは依然としてグローバルな信頼しきい値を採用しており、近隣のデコード状態や予測トークンIDの時間的一貫性からローカルコンテキストをモデル化していない。
我々は,dLLMデコーディングにおいて時間的安定性に近い強い安定性を観察し,そのアプローチには空間的認識復号と時間的認識復号が含まれる。
論文 参考訳（メタデータ） (2026-04-07T18:13:31Z) - Escaping the BLEU Trap: A Signal-Grounded Framework with Decoupled Semantic Guidance for EEG-to-Text Decoding [41.209385903282374]
SemKeyは4つのセマンティックな目的を通じて信号基底生成を強制する新しいフレームワークである。
N-way Retrieval Accuracy と Fréchet Distance を採用することで,標準的な翻訳指標を越えることができる。
論文 参考訳（メタデータ） (2026-02-09T02:47:07Z) - STEAD: Robust Provably Secure Linguistic Steganography with Diffusion Language Model [71.35577462669856]
拡散言語モデル(DLM)を用いた頑健で確実な言語ステガノグラフィーを提案する。
ステガノグラフ抽出中に擬似ランダム誤り訂正や近傍探索補正を含む誤り訂正戦略を導入する。
論文 参考訳（メタデータ） (2026-01-21T08:58:12Z) - Languages are Modalities: Cross-Lingual Alignment via Encoder Injection [0.8461674097042394]
本稿では、トークン化器を変更したり、デコーダを再訓練したりすることなく、命令調整されたデコーダを条件とした効率的な言語・モダリティ手法を提案する。
LLINKはバイリンガル検索を大幅に改善し、ベースモデルよりも81.3%の嗜好を得る。
改良は, トークン化インフレーションの低減と, より強いクロスリンガルアライメントに起因することが判明した。
論文 参考訳（メタデータ） (2025-10-31T07:43:21Z) - Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling [87.34677262370924]
標準離散拡散モデルは、吸収[MASK]トークンにそれらをマッピングすることで、すべての観測されていない状態を同一に扱う。
これは'インフォメーション・ヴォイド'を生成します。そこでは、偽のトークンから推測できるセマンティック情報は、デノイングステップの間に失われます。
連続的拡張離散拡散(Continuously Augmented Discrete Diffusion)は、連続的な潜在空間における対拡散で離散状態空間を拡大するフレームワークである。
論文 参考訳（メタデータ） (2025-10-01T18:00:56Z) - Provably Secure Disambiguating Neural Linguistic Steganography [66.30965740387047]
サブワードに基づく言語モデルを使用する際に生じるセグメンテーションの曖昧さ問題は、時にはデコード障害を引き起こす。
そこで我々はSyncPoolという,セグメンテーションのあいまいさ問題に効果的に対処する,セキュアな曖昧さ回避手法を提案する。
SyncPoolは、候補プールのサイズやトークンの分布を変えないため、確実に安全な言語ステガノグラフィー手法に適用できる。
論文 参考訳（メタデータ） (2024-03-26T09:25:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。