論文の概要: A Continuous-Time Markov Chain Framework for Insertion Language Models
- arxiv url: http://arxiv.org/abs/2606.10199v1
- Date: Mon, 08 Jun 2026 21:39:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-10 15:40:58.205321
- Title: A Continuous-Time Markov Chain Framework for Insertion Language Models
- Title（参考訳）: 挿入言語モデルのための連続時間マルコフチェインフレームワーク
- Authors: Dhruvesh Patel, Benjamin Rozonoyer, Soumitra Das, Tahira Naseem, Tim G. J. Rudner, Andrew McCallum,
- Abstract要約: 挿入言語モデル(ILM)は、左から右への生成とマスクベースの生成に対していくつかの利点がある。
連続時間マルコフ連鎖としてノイズ発生過程を定式化することにより,ILMの拡散型遮音目標を導出する。
提案手法は,左から右への生成とマスク拡散モデルに対する挿入ベース生成の利点を保っていることを示す。
- 参考スコア（独自算出の注目度）: 32.80034692578456
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Insertion Language Models (ILMs) offer several advantages over left-to-right generation and mask-based generation. However, existing formulations of insertion-based generation have largely been ad-hoc. In this paper, we derive a diffusion-style denoising objective for ILMs from first principles by formulating the noising process as a continuous-time Markov chain on the space of variable-length sequences. We show that previous formulations of ILMs can be viewed as special cases of this denoising framework. Through empirical evaluation on a synthetic planning task, we show that the proposed approach retains the benefits of insertion-based generation over left-to-right generation and masked diffusion models. In language modeling, our diffusion-based approach is competitive with left-to-right generation and masked diffusion models, while offering additional flexibility in sampling compared to existing insertion language models.
- Abstract（参考訳）: 挿入言語モデル(ILM)は、左から右への生成とマスクベースの生成に対していくつかの利点がある。
しかし、既存の挿入ベース生成の定式化は主にアドホックである。
本稿では、可変長列の空間上の連続時間マルコフ連鎖としてノイズ発生過程を定式化することにより、第一原理からILMの拡散型復号化目標を導出する。
我々は,従来のILMの定式化を,この認知フレームワークの特別な事例とみなすことができることを示す。
合成計画課題における経験的評価を通じて,提案手法は,左から右への生成とマスク拡散モデルに対する挿入ベース生成の利点を保っていることを示す。
言語モデリングにおいて、我々の拡散に基づくアプローチは、既存の挿入言語モデルと比較してサンプリングの柔軟性を増し、左から右への生成とマスク付き拡散モデルと競合する。
関連論文リスト
- Unifying Masked Diffusion Models with Various Generation Orders and Beyond [56.70289720766803]
仮面拡散モデル(MDM)は、言語生成のための自己回帰モデル(ARM)の潜在的な代替品である。
広範な拡散生成過程のための秩序表現型マスク拡散モデル(OeMDM)を提案する。
生成順序と拡散バックボーンを共同で学習する学習順マスク拡散モデル(LoMDM)を導入する。
論文 参考訳（メタデータ） (2026-02-02T13:54:32Z) - Towards Latent Diffusion Suitable For Text [7.293508593001522]
NFDMの拡張である言語生成のためのニューラルフロー拡散モデルを導入し、離散状態空間への連続拡散モデルの直接適用を可能にする。
本モデルでは, 従来の潜伏拡散モデルに匹敵する試料品質を達成しつつ, 自己回帰モデルと同一サイズの自己回帰モデルとの差を大幅に低減する。
論文 参考訳（メタデータ） (2026-01-07T20:50:59Z) - Bridging the Discrete-Continuous Gap: Unified Multimodal Generation via Coupled Manifold Discrete Absorbing Diffusion [60.186310080523135]
離散データ(テキスト)に対する自己回帰的アプローチと連続データ(画像)に対する拡散的アプローチへの生成的モデリングの分岐は、真に統一されたマルチモーダルシステムの開発を妨げる。
階層的二重プロセスとしてマルチモーダル生成を再構成する新しい確率的フレームワークである textbfCoM-DAD を提案する。
提案手法は、標準的なマスキングモデルよりも優れた安定性を示し、スケーラブルで統一されたテキスト画像生成のための新しいパラダイムを確立する。
論文 参考訳（メタデータ） (2026-01-07T16:21:19Z) - Unifying Autoregressive and Diffusion-Based Sequence Generation [3.1853022872760186]
拡散に基づくシーケンス生成モデルに対して,自己回帰型言語モデルで行を曖昧にする重要な拡張を提示する。
個別のトークン位置に異なるノイズスケジュールを割り当てるハイパースケジューリングを導入する。
第二に,吸収過程と一様過程の間に介在する2つのハイブリッドトークン単位のノイズ発生過程を提案し,過去の誤りを解消する。
論文 参考訳（メタデータ） (2025-04-08T20:32:10Z) - Generalized Interpolating Discrete Diffusion [65.74168524007484]
仮面拡散はその単純さと有効性のために一般的な選択である。
ノイズ発生過程の設計において、より柔軟性の高い離散拡散(GIDD)を補間する新しいファミリを一般化する。
GIDDの柔軟性をエクスプロイトし、マスクと均一ノイズを組み合わせたハイブリッドアプローチを探索し、サンプル品質を向上する。
論文 参考訳（メタデータ） (2025-03-06T14:30:55Z) - RDPM: Solve Diffusion Probabilistic Models via Recurrent Token Prediction [17.005198258689035]
拡散確率モデル(DPM)は、高忠実度画像合成のデファクトアプローチとして登場した。
本稿では, 再帰的拡散確率モデル(RDPM, Recurrent Diffusion Probabilistic Model)を提案する。
論文 参考訳（メタデータ） (2024-12-24T12:28:19Z) - Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。
我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
論文 参考訳（メタデータ） (2024-10-28T17:25:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。