論文の概要: Loopholing All the Way: Language Modeling with pure Self-Conditioning

• arxiv url: http://arxiv.org/abs/2610.30068v1
• Date: Wed, 21 Oct 2026 17:25:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 09:50:43.264444
• Title: Loopholing All the Way: Language Modeling with pure Self-Conditioning
• Title（参考訳）: ループホリング:純粋な自己定義による言語モデリング
• Abstract要約: 最近の拡散言語モデル(DLM)は、自己定義(SC)またはループホリング(Loopholing)を使用してパフォーマンスを改善する。 提案するLAW (Loopholing All the Way'') は,各ステップにまたがるデノイザの予測の下で,期待される埋め込みを伝搬する。 Sudokuでは、LAWは以前の離散および連続拡散モデルより優れています。 Mazeでは、LAWは2から64 NFEが最も正確である。
• 参考スコア（独自算出の注目度）: 54.97073429458703
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent Diffusion Language Models (DLMs) use Self-Conditioning (SC), or Loopholing, to improve their performance. While SC is traditionally seen as an auxiliary heuristic, its empirical success raises the question: can a continuous generative model be based purely on Self-Conditioning? We answer affirmatively with LAW (``Loopholing All the Way''), which propagates the Expected Embedding under the denoiser's prediction across steps, decoding the tokens once, at the end. On Sudoku, LAW outperforms previous Discrete and Continuous Diffusion Models, including Loopholing Discrete Diffusion. On Maze, LAW is the most accurate from 2 to 64 NFE. After training on TinyGSM and sampling at temperature 1 with 1024 NFE, LAW solves 42.2% of GSM8K problems against 34.5% for uniform Loopholing Discrete Diffusion. Additionally, fine-tuning a pre-trained Uniform Diffusion Model (Duo) with LAW increases its accuracy from 17.2% to 48.1%. Finally, on OpenWebText, LAW pushes the Pareto frontier and approaches Autoregressive Models (ARMs) with 64 NFE. Find our code at https://github.com/ilievanadezhda/law.
• Abstract（参考訳）: 最近の拡散言語モデル(DLM)は、自己定義(SC)またはループホリング(Loopholing)を使用してパフォーマンスを改善する。 SCは伝統的に補助ヒューリスティックと見なされているが、その経験的成功は疑問を提起している。 我々はLAW (``Loopholing All the Way'') で肯定的に答える。 Sudokuでは、LAWはLoopholing Discrete Diffusionを含む、従来の離散および連続拡散モデルよりも優れています。 Mazeでは、LAWは2から64 NFEが最も正確である。 TinyGSMのトレーニングと1024 NFEによる温度1でのサンプリングの後、LAWはGSM8K問題の42.2%を、均一なループホリング離散拡散の34.5%に対して解決した。 さらに、LAWによる事前訓練された均一拡散モデル(Duo)の微調整により、精度は17.2%から48.1%に向上した。 最後に、OpenWebText上で、LAWはParetoフロンティアをプッシュし、64 NFEでAutoregressive Models(ARM)にアプローチする。 コードをhttps://github.com/ilievanadezhda/lawで確認してください。

関連論文リスト

• CAI-DLLM: Convergence Aware Inference for Diffusion Language Models [1.8883742168400344]
  拡散言語モデルは、多くのトークンを並列に生成できるが、推論中に繰り返しデノイングステップが必要になる。 CAI-DLLMは,第1ステップの信頼度を用いて推論時間を導出し,推論時間を短縮する訓練自由推論手法である。 LLaDA-8B-インストラクタとドリーム-7B-インストラクタを用いたCAI-DLLMの評価を行った。
  論文  参考訳（メタデータ） (2026-08-23T23:03:59Z)
• DiffusionGemma Technical Report [72.10570774996219]
  DiffusionGemma(ディフュージョン・ジェマ)は、離散拡散を用いてテキストを生成する言語モデルである。 DiffusionGemmaは、一度に1つのトークンをデコードする代わりに、256個のトークンのブロックを並列に繰り返し洗練する。 私たちの計算効率の良い2段階トレーニングパイプラインは、開始したARモデルの総トレーニングトークン予算の10%未満を使用します。
  論文  参考訳（メタデータ） (2026-07-31T16:11:46Z)
• Sumi: Open Uniform Diffusion Language Model from Scratch [13.559605580540293]
  umiは、1.5Tトークンのスクラッチから事前訓練された、完全にオープンな7B均一拡散言語モデルである。 利用可能なコーパス上のデータ混在の完全な仕様を含む、モデルウェイト、チェックポイント、および完全なトレーニングレシピをリリースします。
  論文  参考訳（メタデータ） (2026-06-17T12:32:46Z)
• Sequential Diffusion Language Models [110.06562906987052]
  拡散言語モデル(DLM)は理論効率が強いが、固定長の復号化とキー値キャッシュとの非互換性によって制限される。 次点と次点の予測を統一するNext Sequence Prediction (NSP)を導入する。 本稿では,事前学習した自己回帰言語モデル(ALM)を最小限のコストで再現可能な逐次拡散言語モデル(SDLM)を提案する。
  論文  参考訳（メタデータ） (2025-09-28T17:59:15Z)
• Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
  拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。 我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。 Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
  論文  参考訳（メタデータ） (2025-08-27T15:40:25Z)
• Generative Audio Language Modeling with Continuous-valued Tokens and Masked Next-Token Prediction [63.26850431270348]
  離散トークンを使わずに因果言語モデル(LM)を用いた音声生成について検討する。 トークンの拡散を利用して、次の連続値トークンの連続分布をモデル化する。 本稿では,マスク付き予測を因果的LMフレームワークに組み込んだ,マスク付き次世代予測タスクを提案する。
  論文  参考訳（メタデータ） (2025-07-14T00:14:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。