論文の概要: Bidirectional Centered Score Matching for Discrete Diffusion Distillation

• arxiv url: http://arxiv.org/abs/2611.04279v2
• Date: Wed, 04 Nov 2026 03:21:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.749204
• Title: Bidirectional Centered Score Matching for Discrete Diffusion Distillation
• Title（参考訳）: 離散拡散蒸留のための双方向中心スコアマッチング
• Abstract要約: そこで本研究では, 双方向中心スコアマッチング (BCSM) を効率よく内部蒸着する目的として提案する。 BCSM は数学カルオ(K) の双方向能動集合を構築し、対比較を数学カルオ(K) と比較し、それらを数学カルオ(K) の目的に分解する。 16.9%のHumanEvalゲインと15.1%のMMMUゲインを1段階の推論で達成した。
• 参考スコア（独自算出の注目度）: 14.28288893201986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Discrete diffusion models with parallel decoding are often distilled using token-wise KL objectives. Although token-wise KL exactly matches the corresponding product-form block distributions, its probability-space optimization geometry and teacher-only candidate truncation may provide insufficient supervision under aggressive few-step distillation. Concrete Score Matching (CSM) provides an alternative within-position objective by aligning relative logit geometry, but its complete pairwise form incurs \mathcal{O}(|\mathcal{V}|^2) complexity. We propose Bidirectional Centered Score Matching (BCSM), an efficient within-position distillation objective that constructs an \mathcal{O}(K) bidirectional active set, reduces pairwise comparisons to \mathcal{O}(K^2), and factorizes them into an \mathcal{O}(K) objective. We further introduce cross-timestep transition alignment. Experiments demonstrate strong quality--efficiency trade-offs, including up to 6\times NFE reduction with a 16.9\% relative HumanEval gain and a 15.1\% relative MMMU gain at single-step inference.
• Abstract（参考訳）: 並列復号化を伴う離散拡散モデルはしばしばトークンワイドKLの目的を用いて蒸留される。 トークン単位のKLは、対応する積-形式ブロック分布と正確に一致するが、確率空間の最適化と教師のみの候補切り離しは、積極的な数段階蒸留の下では不十分な監督を与える可能性がある。 コンクリートスコアマッチング (CSM) は、相対ロジット幾何を整列させることによって、代替的な配置の目的を提供するが、その完全なペア形式は、複雑さを生じる。 両方向中心スコアマッチング (BCSM) は, 双方向能動集合を構成する効率のよい内部蒸着目標であり, 両方向比較を<mathcal{O}(K^2) に還元し, それらを \mathcal{O}(K) の目的に分解する。 さらに、時間間遷移アライメントを導入します。 実験では、最大6\times NFEの削減と16.9\%のHumanEvalの利得、15.1\%のMMMUの利得を含む、強い品質効率のトレードオフが示されている。

関連論文リスト

• SCAFFOLD under Hessian Similarity: Sharp Convergence Rates [63.995660330510105]
  フェデレーション学習の主な課題の1つは、クライアント間での不均一なデータ分割であり、クライアントドリフトと呼ばれるローカル更新にバイアスがかかる。 SCAFFOLD(Karimireddy et al., 2020)は、クライアントのドリフトを二次的に補正するが、元の保証との関係はまだ完全には理解されていない。 我々は,クライアント選択の変種に対して,均一なヘッセン類似性の下で,類似した局データ保証を証明した。
  論文  参考訳（メタデータ） (2026-10-26T16:09:02Z)
• SQUARE: Structured Quantum Representation Adapters as Compact Quadratic Feature Maps for Frozen Language Models [50.300302932452006]
  凍結言語モデル(LM)は、下流の再ランク付け、スコアリング、嗜好モデリングのための固定された特徴抽出器として、ますます使われている。 本稿では、ボトルネックベクトルを振幅符号化し、パラメータ化量子回路を適用し、その結果の状態を測定する構造量子表現アダプタを提案する。 各基底確率関数は、ちょうどボトルネック座標における正規化された二次形式であり、追加のPauli$Z$読み出しはそれらの確率の線形結合であることを示す。
  論文  参考訳（メタデータ） (2026-09-29T09:38:29Z)
• Exact Rank-Space KL Projection for Shared-Marginal Low-Rank Factors: Application to Doubly Stochastic Clustering [0.7614628596146601]
  等しい全質量の任意の正の行辺に対して、合同KL射影はちょうど$r-1の有効変数のみを持つ厳密な凸ゲージ固定双対に還元される。 この幾何学を専門とし、$W=UnameDiag(g)-1Vtop$で2倍グラフ学習を誘導する。 観察されたスパースフィッティング、アンカーエッジ多様体正規化器、ブレグマンのバックトラックと組み合わせることで、ミラー・ディフレッシュ法は受け入れられたステップごとに正確な実現可能性を維持する。
  論文  参考訳（メタデータ） (2026-08-09T11:29:05Z)
• Contraction-Gauge Preconditioning for Quantized Matrix Multiplication [0.14680035572775532]
  両因子を定量化したC=ABの低精度計算について検討した。 期待される2乗積誤差に対して、正確な有限次元の恒等式を導出する。 決定論的ラウンド・トゥ・アレスト誤差を実験的に評価した。
  論文  参考訳（メタデータ） (2026-07-21T06:09:08Z)
• Inverse Design for Conditional Distribution Matching [0.0]
  条件分布マッチング(CDM)は、生成モデルにおける新しい逆設計問題クラスである。 MLGD-F (Matching-Loss Guided Diffusion with a Fast inner sampler) は,事前学習したスコアベース拡散モデルと事前学習した高速条件付きサンプルモデルを組み合わせたプラグアンドプレイ推論時アルゴリズムである。 MLGD-Fは1ステップの条件付きサンプリングを利用することで、引き込み可能な勾配計算を可能にし、$mathcalP(Y mid X)$$をメモリ効率と計算量の両方に軽量にする。
  論文  参考訳（メタデータ） (2026-05-10T09:27:55Z)
• Near-Optimal Clustering in Mixture of Markov Chains [74.3828414695655]
  我々は、長さ$H$の軌跡を、大きさ$S$の有限状態空間上の未知のエルゴードマルコフ鎖の1つによって生成される、$T$ trajectories of length $H$の問題を研究する。 我々は、連鎖の遷移核間の重み付きKL分散によって支配されるクラスタリングエラー率に基づいて、インスタンス依存で高い確率の低い境界を導出する。 次に,新しい2段階クラスタリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-02T05:10:40Z)
• Theoretical guarantees in KL for Diffusion Flow Matching [9.618473763561418]
  Flow Matching (FM) は、ターゲット分布 $nustar$ を補助分布 $mu$ で有限時間にブリッジすることを目的としている。 ブラウン運動に付随する条件分布を橋渡しする拡散フローマッチング(DFM)モデルの非漸近保証を得る。
  論文  参考訳（メタデータ） (2024-09-12T15:19:00Z)
• Semidefinite programming relaxations and debiasing for MAXCUT-based clustering [1.9761774213809036]
  2つのガウス分布を$mathbbRp$で混合して引き出す小さなデータサンプルを$n$で分割する問題を考察する。 グラフ上の最大カットを求めるように定式化された整数二次プログラムの半定値プログラミング緩和を用いる。
  論文  参考訳（メタデータ） (2024-01-16T03:14:24Z)
• Learning Halfspaces with Tsybakov Noise [50.659479930171585]
  テュバコフ雑音の存在下でのハーフスペースの学習可能性について検討する。 真半空間に関して誤分類誤差$epsilon$を達成するアルゴリズムを与える。
  論文  参考訳（メタデータ） (2020-06-11T14:25:02Z)
• Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and Variance Reduction [63.41789556777387]
  非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。 Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
  論文  参考訳（メタデータ） (2020-06-04T17:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。