論文の概要: When Latent Geometry Is Not Enough: Draft-Conditioned Latent Refinement for Non-Autoregressive Text Generation

• arxiv url: http://arxiv.org/abs/2605.15557v1
• Date: Fri, 15 May 2026 02:53:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 21:22:26.153947
• Title: When Latent Geometry Is Not Enough: Draft-Conditioned Latent Refinement for Non-Autoregressive Text Generation
• Title（参考訳）: 潜在幾何学が不十分な場合:非自己回帰テキスト生成のためのドラフトコンディション付き潜時補正
• Authors: De Shuai Zhang,
• Abstract要約: 本報告では, 凍結したBERTエンコーダ, 並列デコーダ, およびデノイングDraftPriorから構築したドラフトコンディショニング潜時精錬モデルについて検討する。 ROCStoriesでは、最初の2文をプロンプトとして、最後の3文をターゲットとして、768次元のBERTラテントが圧縮された256次元のラテントよりもはるかによくトークンを回収する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continuous diffusion and flow models are attractive for non-autoregressive text generation because they can update all positions in parallel. A major difficulty is the interface between continuous latent states and discrete tokens. This report studies a draft-conditioned latent refinement model built from a frozen BERT encoder, a parallel decoder, a denoising DraftPrior, a local FlowNet, and a learned diagonal MetricNet. Early Gaussian-start experiments showed that good latent-space metrics, such as scale matching or cosine similarity, do not guarantee good decoding. Generated latents can be close to real encoder latents but still produce high-entropy, biased, or repetitive token distributions. We therefore frame the task as controlled local refinement rather than full generation from noise. On ROCStories, using the first two sentences as prompt and the last three as target, full 768-dimensional BERT latents recover tokens much better than compressed 256-dimensional latents. With 768-dimensional latents, DraftPrior target-token probability is 0.938 for clean drafts, 0.613 for 3% token dropout, 0.483 for 5% dropout, and 0.272 for 10% dropout. Local flow refinement and fused decoder-aware readout give modest additional gains, while metric learning and OT-style alignment improve geometry but do not close the decoder gap. The main result is a diagnostic one: latent geometry alone is not enough. Continuous latent text generation should be evaluated by decoder recoverability, the quality of the start distribution, and whether refinement preserves decoder-readable structure.
• Abstract（参考訳）: 連続拡散とフローモデルは、すべての位置を並列に更新できるため、非自己回帰テキスト生成にとって魅力的である。 大きな困難は、連続的な潜伏状態と離散トークンの間のインターフェイスである。 本稿では, 凍結したBERTエンコーダ, 並列デコーダ, denoising DraftPrior, ローカルなFlowNet, 学習された対角線MetricNetから構築したドラフト条件付き潜時精錬モデルについて検討する。 ガウシアン開始初期の実験では、スケールマッチングやコサイン類似性のような優れた潜在空間のメトリクスは、優れた復号化を保証していない。 生成した潜水剤は実際のエンコーダ潜水剤に近くなるが、それでも高いエントロピー、バイアス、繰り返しトークン分布を生成する。 したがって、ノイズから完全生成するのではなく、局所的な改善を制御したタスクとみなす。 ROCStoriesでは、最初の2文をプロンプトとして、最後の3文をターゲットとして、768次元のBERTラテントが圧縮された256次元のラテントよりもはるかによくトークンを回収する。 768次元の潜水剤は、クリーンドラフトでは0.938、トークンドロップアウトでは0.613、ドロップアウトでは0.483、ドロップアウトでは0.272である。 局所的な流れの洗練と融合デコーダ対応の読み出しにより、幾何的学習とOTスタイルのアライメントは幾何を改善するが、デコーダギャップを閉じることはない。 主な結果は診断であり、潜在幾何学だけでは不十分である。 連続潜時テキスト生成は復号器の復元性、開始分布の品質、復号器可読構造を保存するかどうかによって評価されるべきである。

関連論文リスト

• LaTER: Efficient Test-Time Reasoning via Latent Exploration and Explicit Verification [35.08680804423239]
  CoT(Chain-of- Thought)推論は、難しいタスクにおいて大きな言語モデル(LLM)を改善するが、推論コストも高くつく。 本稿では,連続潜伏空間における有界探索を最初に行う2段階のパラダイムであるLaTERを提案する。 LaTERは入力の埋め込み空間に隠された最後の層を投影し、潜伏KVキャッシュを保持し、エントロピーとモデルネイティブのストップトーケンプローブを使用していつ切り替えるかを決定する。
  論文  参考訳（メタデータ） (2026-05-08T06:23:58Z)
• Coupling Models for One-Step Discrete Generation [50.37847093567075]
  カップリングモデル(英: Coupling Models)は、離散列とガウス列の間の直接結合を学習する一段階の離散生成モデルである。 単純なデータ間結合と手動で特定したデータ間結合による複雑な連続フローを回避する。 LM1Bテキスト生成パープレキシティを最低パープレキシティ動作ポイントで33%削減する。
  論文  参考訳（メタデータ） (2026-05-08T03:40:39Z)
• Geometry-Aware Decoding with Wasserstein-Regularized Truncation and Mass Penalties for Large Language Models [9.059725329168435]
  トップW(Top-W)は、トークン埋め込み幾何学上のワッサーシュタイン距離定義を用いた幾何対応トランケーション規則である。 我々は、Top-Wが、最先端のデコードアプローチにおいて、最大33.7%の改善を継続的に達成していることを示す。
  論文  参考訳（メタデータ） (2026-02-10T22:36:48Z)
• Continuous Autoregressive Language Models [56.49239051750678]
  我々はCALM(Continuous Autoregressive Language Models)を紹介する。 CALMは高忠実度オートエンコーダを使用して、Kトークンの塊を1つの連続ベクトルに圧縮する。 我々は、堅牢なトレーニング、評価、および制御可能なサンプリングを可能にする包括的可能性のないフレームワークを開発する。
  論文  参考訳（メタデータ） (2025-10-31T17:58:11Z)
• Latent Refinement Decoding: Enhancing Diffusion-Based Language Models by Refining Belief States [28.663951525871756]
  本稿では、Latent Refinement Decoding (LRD) と予測フィードバックループを備えた2段階のフレームワークについて紹介する。 LRDは最大10.6倍のスピードアップを提供しながら精度を向上し、並列シーケンス生成の強力な代替手段となる。
  論文  参考訳（メタデータ） (2025-10-13T06:38:13Z)
• Continuous Speculative Decoding for Autoregressive Image Generation [27.308442169466975]
  連続的視覚自己回帰(AR)モデルは、画像生成において有望な性能を示す。 投機的復号化は 事実上 自己回帰推論を加速させた この研究は、低受理率、不整合出力分布、解析式のない修正分布からの課題に対処する。
  論文  参考訳（メタデータ） (2024-11-18T09:19:15Z)
• Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
  生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。 本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
  論文  参考訳（メタデータ） (2023-07-17T07:12:29Z)
• Look-back Decoding for Open-Ended Text Generation [62.53302138266465]
  本研究では,現在の復号化過程と過去の復号化過程の分布距離を追跡する改良された復号化アルゴリズムであるLook-backを提案する。 ルックバックは、潜在的反復句とトピックドリフトを自動的に予測し、障害モードを引き起こす可能性のあるトークンを削除することができる。 文書の継続とストーリー生成に関する復号実験を行い、Look-backがより流動的で一貫性のあるテキストを生成することを実証する。
  論文  参考訳（メタデータ） (2023-05-22T20:42:37Z)
• Preventing Posterior Collapse with Levenshtein Variational Autoencoder [61.30283661804425]
  我々は,エビデンス・ロー・バウンド(ELBO)を最適化し,後部崩壊を防止できる新しい目的に置き換えることを提案する。 本稿では,Levenstein VAEが後方崩壊防止のための代替手法よりも,より情報的な潜伏表現を生成することを示す。
  論文  参考訳（メタデータ） (2020-04-30T13:27:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。