論文の概要: Latent-Kernel Discrete Flow Maps for Few-Step Generation
- arxiv url: http://arxiv.org/abs/2607.27529v1
- Date: Wed, 29 Jul 2026 23:46:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-31 21:37:00.347657
- Title: Latent-Kernel Discrete Flow Maps for Few-Step Generation
- Title（参考訳）: 有限ステップ生成のための潜時カーネル離散フローマップ
- Abstract要約: 我々は,M因子化成分を1つの潜伏子で結合したフローマップカーネルを構築する。
1つのステップが、因数分解モデルと同じサンプリング時間複雑度で相関完備化に質量を置くことを示す。
One-Billion-Word (LM1B) とWikiText-103ベンチマークを用いた無条件テキスト生成実験により,LKFモデルが強ヘテロジニアス成分を学習していることが判明した。
- 参考スコア（独自算出の注目度）: 4.159429302112398
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Discrete diffusion and flow-matching models denoise a sequence over many steps, but to keep each step cheap, they factorize the transition across positions and decide every token independently. This makes few-step generation challenging for text when the target couples two positions, such as a subject and a verb that must agree. An independent update commits to them separately, and many function evaluations are spent repairing the mismatch. Existing few-step methods buy back the lost correlation by distilling or rectifying a slow teacher, and so inherit the teacher's quality ceiling. We ask instead whether a model can express correlated steps natively, and answer with Latent-Kernel Discrete Flow Maps (LKF), a from-scratch flow-map kernel that is a mixture of M factorized components tied by a single shared latent. Conditioned on the latent, each component is cheap, and the mixture is summed over the latent in closed form for small M. We show that a single step places mass on correlated completions with the same sampling time complexity as a factorized model, since one latent is drawn per sequence and reused across the entire denoising trajectory. We also show that the Masked Diffusion Language Model (MDLM) is a special case of our LKF model at M=1. The experiments for unconditional text generation on the One-Billion-Word (LM1B) and WikiText-103 benchmarks show that our LKF model learns strongly heterogeneous components and improves generative perplexity by 2.1x to 3.3x over the likelihood baselines without losing diversity. The gain grows with M, and at M=8, it surpasses distilled and rectified few-step samplers. The source code is available at: https://github.com/mansoor181/lkf.git
- Abstract（参考訳）: 離散拡散およびフローマッチングモデルは、多くのステップでシーケンスを識別するが、各ステップを安く保つために、位置間の遷移を分解し、全てのトークンを独立に決定する。
これは、ターゲットが主語と同意しなければならない動詞の2つの位置を結合する場合、テキストに対してわずかなステップ生成が困難になる。
独立したアップデートが個別にコミットされ、多くの機能評価がミスマッチの修復に費やされる。
既存の数段階の手法では、失った相関関係を、遅い教師を蒸留したり修正したりすることで買い戻し、教師の質の高い天井を継承する。
そこで我々は,モデルが相関したステップをネイティブに表現できるかどうかを問うとともに,単一の共有潜時で結合されたM因子化コンポーネントの混合である,スクラッチフローマップカーネルであるLatent-Kernel Discrete Flow Maps (LKF) に答える。
一つのステップで、相関した完了点に質量を配置し、分解されたモデルと同じサンプリング時間で質量を配置することを示す。
また,masked Diffusion Language Model (MDLM) は,M=1のLKFモデルの特別な場合であることを示す。
The experiment for unconditional text generation on the One-Billion-Word (LM1B) and WikiText-103 benchmarks shows that our LKF model learns strong heterogeneous components and improves generative perplexity over the likely baselines without lost diversity。
上昇はMとともに増加し、M=8では蒸留され修正された数段のサンプル装置を超える。
ソースコードは、https://github.com/mansoor181/lkf.git.comで入手できる。
関連論文リスト
- What Iterated Self-Feeding Probes of Language Models Measure, and a test that separates the construction from the model [0.0]
メソッドのクラスは、独自の出力を与えて言語モデルを探索する。
我々は、その問題を鋭くするために選ばれた工事において、そのような調査がどう対処するかを尋ねる。
答えは、見た目が似ている読書において、一度に2つの異なるものを測定することだ。
論文 参考訳（メタデータ） (2026-08-11T14:40:35Z) - UNIFUSION: Adapting Autoregressive Language Models into Discrete Diffusion under a Unified Reverse-Rate Objective [17.48959208263029]
本稿では,事前学習したGPT2チェックポイントを均一な雑音拡散に適応させるための,簡易な事前学習手法を提案する。
我々の研究は、サンプリング予算の増加に伴い、生成的複雑度(GenPPL)とユニグラムエントロピーのトレードオフを着実に改善する。
両スケールで比較した拡散モデルの中で,WinoGrande,SIQA,BBHの精度が最も高い。
論文 参考訳（メタデータ） (2026-07-27T14:40:26Z) - Semantic DLM+: Improving Diffusion Language Models through Bias-variance Trade-off in Transition Kernel Design [59.05127237532803]
拡散言語モデル(DLM)は、自己回帰言語モデルの代替として、強力なスケーリング能力を示している。
本稿では,この感度を一般化誤差の原理解析により検討し,3つの重要な因子を同定する。
本稿では,サンプリング中にグローバルな遷移と意味頻度のペナルティを付加するSemDLM+を提案する。
論文 参考訳（メタデータ） (2026-06-13T14:41:55Z) - Scaling Categorical Flow Maps [29.25832277355597]
連続拡散とフローマッチングモデルは、言語モデリングにおける自己回帰的なアプローチの強力な代替となるかもしれない。
ほぼデータレベルのトークンエントロピーを維持しつつ,4ドル程度の推論ステップで多種多様な高品質テキストを生成する方法を示す。
これらのモデルを大規模にトレーニングすることで生じる課題を明らかにし、損失重み付けと時間スケジューリングに関する規範的な洞察を提供する。
論文 参考訳（メタデータ） (2026-05-08T14:50:57Z) - Coupling Models for One-Step Discrete Generation [50.37847093567075]
カップリングモデル(英: Coupling Models)は、離散列とガウス列の間の直接結合を学習する一段階の離散生成モデルである。
単純なデータ間結合と手動で特定したデータ間結合による複雑な連続フローを回避する。
LM1Bテキスト生成パープレキシティを最低パープレキシティ動作ポイントで33%削減する。
論文 参考訳（メタデータ） (2026-05-08T03:40:39Z) - Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching [66.39914384073145]
本稿では,安価な拡散サンプリング推論をステップレベル候補の再利用プールに変換する自己整合性フレームワークを提案する。
ステップレベルの再結合は、難しい問題に対して最も有益であることがわかった。
トレーニング不要のフレームワークは、6つの数学およびコーディングタスクの平均精度を最大2倍改善します。
論文 参考訳（メタデータ） (2026-02-26T11:08:39Z) - Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models [58.946955321428845]
本研究は自己回帰型モンテカルロ(SMC)を提示する。
提案アルゴリズムは,既存のMDLMのほとんどが信頼性に基づくサンプリング戦略に依存している点に起因している。
粒子重み付けのための自己回帰信号として軌道レベルの信頼性を導入する。
論文 参考訳（メタデータ） (2026-02-02T09:21:45Z) - Adversarial Schrödinger Bridge Matching [66.39774923893103]
反復マルコフフィッティング(IMF)手順は、マルコフ過程の相互射影と相互射影を交互に交互に行う。
本稿では、プロセスの学習を離散時間でほんの少しの遷移確率の学習に置き換える新しい離散時間IMF(D-IMF)手順を提案する。
D-IMFの手続きは、数百ではなく数世代のステップで、IMFと同じ品質の未完成のドメイン翻訳を提供できることを示す。
論文 参考訳（メタデータ） (2024-05-23T11:29:33Z) - AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。
最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。
第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。
3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
論文 参考訳（メタデータ） (2020-01-15T18:32:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。