注目論文デイリーレポート

Abstractの概要

本論文では、単一の逆過程において離散トークン生成と連続潜在軌道を結合する拡散フレームワークであるHierarchical Continuous Diffusion Language Models（HC-DLM）を提案します。本モデルでは連続潜在変数が唯一の持続的な生成状態であり、各ノイズ除去ステップで潜在変数からトークンが読み出され、再ノイズ化された上で次の潜在変数更新を条件付けるためにフィードバックされます。訓練目的関数は結合された連続・離散軌道に対する変分下界から導出され、再構成項、エントロピー正則化項、および連続ノイズ除去項をもたらします。本論文では数独、Countdown、LM1Bにおいて本手法を評価し、構造化された推論、計画、および無条件言語生成を検証しています。

新規性

主な新規性は、離散拡散と連続拡散のチェーンを独立した並行プロセスとして扱うのではなく、連続潜在軌道と各ステップの離散トークン読み出しを階層的に結合した点にあります。また、この結合プロセスに特化した変分尤度下界を導出することで、トークンフィードバック機構をヒューリスティックな補助信号ではなく生成モデル自体の一部として定式化しています。

成果

HC-DLMはベンチマークごとに改善幅は異なるものの、報告されたタスク全般において対応する離散および連続拡散ベースラインを上回りました。数独ではeasy分割で94.21%、hard分割で72.41%を達成し、再現されたハイブリッドCCDDベースラインに対してeasy分割ではわずかに下回るもののhard分割で上回りました。Countdownでは6MパラメータのHC-DLMがCD4とCD5の双方で対応するCCDDベースラインを上回り、LM1Bでは比較対象の拡散モデル中で最良となる生成パープレキシティ75.5を達成しました。

論文の注目点

1. HC-DLMは連続潜在変数を唯一の持続的状態として用い、各ステップでトークンを読み出して後続のノイズ除去の足場としてフィードバックする。
2. 本手法は結合された連続・離散軌道に対する変分目的関数を通じて訓練され、トークン予測と潜在変数のノイズ除去を単一の原理的フレームワークに統合している。
3. 実験では大域的制約タスクや言語モデリングで優れた性能を示し、数独hard分割での精度向上、6M規模のCountdownでのベースライン超過、LM1Bでの比較対象拡散モデル中最良の生成パープレキシティを達成した。

参考リンク

• arXiv: https://arxiv.org/abs/2610.02193v1
• Fugu-MT: https://fugumt.com/fugumt/paper_check/2610.02193v1
• Hugging Face Papers: https://huggingface.co/papers/2610.02193
• Project: https://hc-dlm.github.io/