論文の概要: Diffusion Language Models as Open Quantum Systems

• arxiv url: http://arxiv.org/abs/2610.21672v1
• Date: Thu, 15 Oct 2026 10:57:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.042204
• Title: Diffusion Language Models as Open Quantum Systems
• Title（参考訳）: オープン量子システムとしての拡散言語モデル
• Abstract要約: 拡散言語モデルは、古典的な拡散過程をトークン列に反転させてテキストを生成する。 連続時間フォワードとリバースダイナミクスをオープン量子システムの枠組みに組み込むことができることを示す。
• 参考スコア（独自算出の注目度）: 2.490741096667126
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion language models generate text by reversing a classical diffusion process over token sequences. We show that their continuous-time forward and reverse dynamics can be embedded in the framework of open quantum systems, which describes quantum systems interacting with their environment. This connection provides a basis for extending diffusion sampling to superpositions of sentence states and for modifying the underlying generation dynamics. We construct a $τ$-leaping unraveling scheme that simulates stochastic trajectories of these states while updating multiple token positions at each step. This enables generation conditioned on superposed prompts or thoughts, which we call Superposition of Prompts (SoP) and Superposition of Thoughts (SoT). The same formulation yields Quantum-Inspired Remasking (QIR): perturbing the masked-diffusion dynamics produces a confidence-based rule for revising previously generated tokens. Experiments with pretrained diffusion language models show that superposition-based generation can retain information from conditioning components not selected at the final measurement, while QIR improves LLM-assessed text quality when applied at an appropriate stage of generation.
• Abstract（参考訳）: 拡散言語モデルは、古典的な拡散過程をトークン列に反転させてテキストを生成する。 本研究では, 環境と相互作用する量子系を記述するオープン量子系の枠組みに, 連続時間フォワードとリバースダイナミクスを組み込むことができることを示す。 この接続は、拡散サンプリングを文状態の重ね合わせに拡張し、基礎となる生成ダイナミクスを変更する基盤を提供する。 我々はこれらの状態の確率的軌道をシミュレートし、各ステップで複数のトークン位置を更新する、$τ$-leaping unravelingスキームを構築する。 これにより、スーパープロンプト(SoP)とスーパーポレーション(SoT)と呼ばれる、スーパープロンプトや思考に条件付けされた生成が可能になる。 同じ定式化は量子インスパイアされたリマッシング(QIR: Quantum-Inspired Remasking)をもたらす。 事前学習した拡散言語モデルを用いて実験したところ、重ね合わせに基づく生成は最終測定時に選択されていない条件付け成分からの情報を保持することができ、一方、QIRは、生成の適切な段階で適用された場合のLLM評価テキストの品質を改善する。

関連論文リスト

• Hierarchical Continuous Diffusion Language Models [50.34180702812139]
  階層型連続拡散言語モデル(HC-DLM)を提案する。 HC-DLMは離散トークン生成と連続的な潜在軌道を1つの原理化過程で結合する。 これは、一致したモデルサイズでの離散的かつ連続的な拡散ベースライン、スドゥークとカウントダウンのパズル精度、およびLM1Bの生成パープレキシティを向上する。
  論文  参考訳（メタデータ） (2026-10-01T17:59:39Z)
• AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling [60.04959047453115]
  AURORA-LMは、デオード可能なテキスト表現の構築と、その分布のモデル化を分離した連続ラテント言語モデルである。 AURORA-LM は OpenWebText のフリージェネレーションと XSum の要約で評価された連続および拡散に基づく言語モデルの中で最も高い性能を達成している。
  論文  参考訳（メタデータ） (2026-08-03T17:59:50Z)
• Masked Language Flow Models [10.204151640924454]
  フロー言語モデル(FLM)は、ノイズをクリーンなシーケンスへ輸送する連続的な流れを学習することで、この制限を横切る。 本研究では,マスキングをFLMに組み込んだMLFM(Masked Language Flow Models)を導入する。 フローベースの言語モデルがダウンストリーム推論や命令追従タスクを解決するために,初めてスケールできることが分かりました。
  論文  参考訳（メタデータ） (2026-06-26T00:16:40Z)
• A Continuous-Time Markov Chain Framework for Insertion Language Models [32.80034692578456]
  挿入言語モデル(ILM)は、左から右への生成とマスクベースの生成に対していくつかの利点がある。 連続時間マルコフ連鎖としてノイズ発生過程を定式化することにより,ILMの拡散型遮音目標を導出する。 提案手法は,左から右への生成とマスク拡散モデルに対する挿入ベース生成の利点を保っていることを示す。
  論文  参考訳（メタデータ） (2026-06-08T21:39:43Z)
• TextLDM: Language Modeling with Continuous Latent Diffusion [89.69255520673248]
  拡散変換器(DiT)は、VAEラテント空間におけるフローマッチングで訓練され、画像やビデオ間で統一された視覚生成を行う。 最小限のアーキテクチャ変更で視覚的潜伏拡散のレシピをテキスト生成に転送するTextLDMを提案する。
  論文  参考訳（メタデータ） (2026-05-08T13:54:34Z)
• Stochastic Schrödinger Diffusion Models for Pure-State Ensemble Generation [29.736351530340674]
  量子機械学習(QML)では、古典的なデータは量子純粋状態として符号化され、直接量子表現として処理される。 本稿では,Fubini-Study (FS) 計量を用いて,$mathbbCPd-1$の内在的なスコアベース生成フレームワークを提案する。 SSDMは、観測可能なモーメント、重なり合い、絡み合いなどの純状態アンサンブル統計を忠実に捉えていることを示す。
  論文  参考訳（メタデータ） (2026-05-05T09:44:14Z)
• Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models [58.946955321428845]
  本研究は自己回帰型モンテカルロ(SMC)を提示する。 提案アルゴリズムは,既存のMDLMのほとんどが信頼性に基づくサンプリング戦略に依存している点に起因している。 粒子重み付けのための自己回帰信号として軌道レベルの信頼性を導入する。
  論文  参考訳（メタデータ） (2026-02-02T09:21:45Z)
• State Fourier Diffusion Language Model (SFDLM): A Scalable, Novel Iterative Approach to Language Modeling [0.0]
  本稿では,変圧器や大きな畳み込みモジュールを使わずに構築した完全拡散駆動離散テキスト生成モデルを提案する。 ローカルな状態空間の更新をグローバルなFourierベースのミキシングと組み合わせることで、このアプローチはショートおよびロングレンジの依存関係を効果的にキャプチャする。
  論文  参考訳（メタデータ） (2025-03-16T02:17:40Z)
• Dior-CVAE: Pre-trained Language Models and Diffusion Priors for Variational Dialog Generation [70.2283756542824]
  Dior-CVAEは階層型条件変分オートエンコーダ(CVAE)である。 拡散モデルを用いて、従来の分布の複雑さを増大させ、PLMが生成した分布との整合性を高める。 2つのオープンドメインダイアログデータセットを対象とした実験により,大規模ダイアログ事前学習を必要とせずに,より多様な応答を生成できることが判明した。
  論文  参考訳（メタデータ） (2023-05-24T11:06:52Z)
• Diffusion-LM Improves Controllable Text Generation [80.50044830018442]
  言語モデル(LM)の振る舞いを再学習せずに制御することは、自然言語生成において大きな問題である。 拡散-LMと呼ばれる連続拡散に基づく非自己回帰型言語モデルを開発した。 本研究では,6つのきめ細粒度制御タスクに対してDiffusion-LMの制御に成功したことを実証した。
  論文  参考訳（メタデータ） (2022-05-27T20:12:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。