論文の概要: Learning to Couple: Context-Adaptive Joint Denoising for Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2610.25723v1
• Date: Mon, 19 Oct 2026 03:22:33 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:27:44.883355
• Title: Learning to Couple: Context-Adaptive Joint Denoising for Diffusion Language Models
• Title（参考訳）: 共用学習:拡散言語モデルのための文脈適応型関節認知
• Abstract要約: 拡散言語モデルは複数のトークンを並列に予測することで生成を加速するが、分解されたデノイザは同時予測を条件に依存しないものとして扱う。 ジョイント・モデリングは問題の根源に対処するが、既存の手法は学習した層をフリーズ・デノイザに別々にアタッチする。 Codpula は Transformer と tractable probabilistic inference layer を組み合わせる。 Codpulaは、さまざまな推論ベンチマークで、最先端の結果を新たに設定する。
• 参考スコア（独自算出の注目度）: 41.38746120272062
• License:
• Abstract: Diffusion language models accelerate generation by predicting multiple tokens in parallel, but factorized denoisers treat simultaneous predictions as conditionally independent. Decoding heuristics reduce the resulting errors by controlling which tokens are committed, but leave the underlying distribution factorized. Joint modeling addresses the source of the problem, yet existing methods attach separately learned layers to frozen denoisers, leaving the backbone unadapted to the joint objective and the coupling parameters fixed across contexts. We propose Codpula, a context-parameterized denoiser combining a Transformer with a tractable probabilistic inference layer. Given a partially masked input, the Transformer produces token potentials that shape per-position predictions and compact gates that modulate the layer's coupling parameters, yielding a context-dependent joint distribution while retaining exact conditional inference. We jointly optimize both components under a conditional denoising objective using a dual-flow multiplicative update that preserves valid probabilistic parameters. At inference, Codpula supports standard heuristics and uses conditional queries to adapt commitments to dependencies among proposed tokens without extra Transformer evaluations within a step. Codpula sets new state-of-the-art results across a broad suite of reasoning benchmarks while advancing the accuracy-latency Pareto frontier in mathematical reasoning and code generation.
• Abstract（参考訳）: 拡散言語モデルは複数のトークンを並列に予測することで生成を加速するが、分解されたデノイザは同時予測を条件に依存しないものとして扱う。 復号ヒューリスティックは、どのトークンがコミットされているかを制御することによって、結果のエラーを減らすが、基礎となる分布は分解される。 ジョイント・モデリングは問題の根源に対処するが、既存の手法は学習した層をフリーズ・デノイザに別々にアタッチし、バックボーンは共同目的とコンテキストに固定された結合パラメータに適応しないままにしておく。 本研究では,トランスフォーマとトラクタブル確率推論層を組み合わせた文脈パラメータ化デノイザCodpulaを提案する。 部分的にマスクされた入力が与えられた場合、Transformerは、配置ごとの予測を形作るトークン電位と、層の結合パラメータを変調するコンパクトゲートを生成し、正確な条件推論を保持しながらコンテキスト依存の関節分布を生成する。 両コンポーネントを条件付き復号化対象として,有効確率パラメータを保存する二流乗算更新を用いて協調的に最適化する。 推論では、Codpulaは標準的なヒューリスティックをサポートし、条件付きクエリを使用して、提案されたトークン間の依存関係へのコミットメントをステップ内でTransformerによる追加評価なしで適応する。 Codpulaは、数学的な推論とコード生成において、精度の高いParetoフロンティアを前進させながら、幅広い推論ベンチマークで新しい最先端の結果をセットする。

関連論文リスト

• Distilling Sequential Computation in Transformer Language Models [27.155933358949213]
  Transformer言語モデルでは、トークン単位のシーケンスを自動回帰的に処理する。 入力トークンのスパンを崩壊表現に置き換えることで逐次計算を蒸留する手法を提案する。
  論文  参考訳（メタデータ） (2026-09-23T02:02:57Z)
• Mean-Field Parallel Decoding for Discrete Diffusion Language Models [47.086589631406035]
  並列更新をコーディネートするトレーニングフリーなデコードフレームワークを導入する。 変動緩和は、矛盾する同時コミットを抑制する単純な固定点更新をもたらす。 推論とコード生成ベンチマークの実験では、品質とレイテンシのトレードオフが一貫した改善を示している。
  論文  参考訳（メタデータ） (2026-06-14T13:17:58Z)
• Path-Dependent Denoising: A Non-Conservative Field Perspective on Order Collapse in Diffusion Language Models [0.0]
  拡散言語モデル(DLM)は自己回帰生成の代替となる構造を提供する。 高速DLM復号法は命令に強く敏感であり、しばしば自己回帰的な軌道に向かってドリフトする。 順序付き擬似結合と局所的認知循環を定義することで、この見解を定式化する。
  論文  参考訳（メタデータ） (2026-05-10T04:00:52Z)
• Dependency-Guided Parallel Decoding in Discrete Diffusion Language Models [21.699371484195865]
  我々は,dLLMの最終隠れ状態にアタッチする軽量依存予測器DEMASKを提案する。 実証的に、DEMASKはDream-7Bで1.7-2.2$times$ Speedupを達成し、信頼性ベースのベースラインやKLベースのベースラインと比較して精度が向上した。
  論文  参考訳（メタデータ） (2026-04-02T22:21:24Z)
• Breaking the Factorization Barrier in Diffusion Language Models [59.946071582340146]
  ベクトル化障壁」は拡散言語モデルの効率的な並列生成を妨げる。 完全分解出力分布を置き換えるための結合離散拡散法を提案する。 我々は, CoDD が多種多様な言語モデルアーキテクチャをシームレスに拡張し, オーバーヘッドを無視できることを示した。
  論文  参考訳（メタデータ） (2026-02-09T08:36:39Z)
• Semantic Fusion with Fuzzy-Membership Features for Controllable Language Modelling [0.0]
  意味融合は、トランスフォーマー言語モデル(LM)をファジィメンバーシップ機能チャネルで拡張する軽量なスキームである。 それぞれのトークンは解釈可能な特徴のベクトルで表され、値が微分可能なメンバシップ関数から次数になる。 このアプローチは、小さなオーバーヘッドのみを追加し、接続された入出力埋め込みと完全に互換性を持ち、条件付き自然言語生成のための解釈可能な経路を提供する。
  論文  参考訳（メタデータ） (2025-09-14T22:11:09Z)
• Hierarchical Phrase-based Sequence-to-Sequence Learning [94.10257313923478]
  本稿では、学習中の帰納バイアスの源として階層的フレーズを取り入れ、推論中の明示的な制約として、標準的なシーケンス・ツー・シーケンス(seq2seq)モデルの柔軟性を維持するニューラルトランスデューサについて述べる。 本手法では,木が原文と対象句を階層的に整列するブラケット文法に基づく識別的導出法と,整列した句を1対1で翻訳するニューラルネットワークセク2セックモデルという2つのモデルを訓練する。
  論文  参考訳（メタデータ） (2022-11-15T05:22:40Z)
• Adaptive Correlated Monte Carlo for Contextual Categorical Sequence Generation [77.7420231319632]
  我々は,モンテカルロ (MC) ロールアウトの集合を分散制御のために評価する政策勾配推定器に,カテゴリー列の文脈的生成を適用する。 また,二分木ソフトマックスモデルに相関したMCロールアウトを用いることで,大語彙シナリオにおける高生成コストを低減できることを示す。
  論文  参考訳（メタデータ） (2019-12-31T03:01:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。