論文の概要: Target Concrete Score Matching: A Holistic Framework for Discrete Diffusion

• arxiv url: http://arxiv.org/abs/2504.16431v1
• Date: Wed, 23 Apr 2025 05:32:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.011481
• Title: Target Concrete Score Matching: A Holistic Framework for Discrete Diffusion
• Title（参考訳）: ターゲットコンクリートのスコアマッチング:離散拡散のための全体的枠組み
• Authors: Ruixiang Zhang, Shuangfei Zhai, Yizhe Zhang, James Thornton, Zijing Ou, Joshua Susskind, Navdeep Jaitly,
• Abstract要約: 本稿では,学習用および微調整用離散拡散モデルのための新規かつ汎用的な目標であるTCSMについて述べる。 TCSMはデータサンプルから直接事前学習された離散拡散モデルをサポートしており、多くの既存の離散拡散アプローチは特殊ケースとして自然に現れる。 同じTCSMの目的は、報酬関数や選好データを用いた微調整や、事前訓練された自己回帰モデルからの知識の蒸留など、離散拡散モデルのポストトレーニングにまで拡張されている。
• 参考スコア（独自算出の注目度）: 20.440337013897658
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Discrete diffusion is a promising framework for modeling and generating discrete data. In this work, we present Target Concrete Score Matching (TCSM), a novel and versatile objective for training and fine-tuning discrete diffusion models. TCSM provides a general framework with broad applicability. It supports pre-training discrete diffusion models directly from data samples, and many existing discrete diffusion approaches naturally emerge as special cases of our more general TCSM framework. Furthermore, the same TCSM objective extends to post-training of discrete diffusion models, including fine-tuning using reward functions or preference data, and distillation of knowledge from pre-trained autoregressive models. These new capabilities stem from the core idea of TCSM, estimating the concrete score of the target distribution, which resides in the original (clean) data space. This allows seamless integration with reward functions and pre-trained models, which inherently only operate in the clean data space rather than the noisy intermediate spaces of diffusion processes. Our experiments on language modeling tasks demonstrate that TCSM matches or surpasses current methods. Additionally, TCSM is versatile, applicable to both pre-training and post-training scenarios, offering greater flexibility and sample efficiency.
• Abstract（参考訳）: 離散拡散は離散データのモデリングと生成のための有望なフレームワークである。 本研究は, 学習用および微調整型離散拡散モデルのための新規かつ汎用的な目標である, ターゲットコンクリートスコアマッチング(TCSM)を提案する。 TCSMは広く適用可能な一般的なフレームワークを提供する。 データサンプルから直接、個別拡散モデルの事前学習をサポートし、より一般的なTCSMフレームワークの特別なケースとして、多くの既存の離散拡散アプローチが自然に現れます。 さらに、同じTCSMの目的は、報酬関数や選好データを用いた微調整や、事前訓練された自己回帰モデルからの知識の蒸留など、離散拡散モデルのポストトレーニングにまで拡張されている。 これらの新機能は、元の(クリーンな)データ空間に存在するターゲット分布の具体的なスコアを推定する、TCSMのコアアイデアに由来する。 これにより、報酬関数や事前訓練されたモデルとのシームレスな統合が可能になり、本質的には拡散過程のノイズのある中間空間ではなく、クリーンなデータ空間でのみ動作する。 言語モデリングタスクに関する我々の実験は、TCSMが現在の手法と一致するか、超えていることを示す。 さらに、TCSMは汎用的で、事前トレーニングと後トレーニングの両方のシナリオに適用でき、柔軟性とサンプル効率が向上する。

関連論文リスト

• Continuous Diffusion Model for Language Modeling [57.396578974401734]
  離散データに対する既存の連続拡散モデルは、離散的アプローチと比較して性能が限られている。 本稿では,下層の分類分布の幾何学を組み込んだ言語モデリングのための連続拡散モデルを提案する。
  論文  参考訳（メタデータ） (2025-02-17T08:54:29Z)
• Unleashing the Potential of the Diffusion Model in Few-shot Semantic Segmentation [56.87049651707208]
  セマンティックはインコンテクストタスクへと発展し、一般化的セグメンテーションモデルを評価する上で重要な要素となった。 我々の最初の焦点は、クエリイメージとサポートイメージの相互作用を容易にする方法を理解することであり、その結果、自己注意フレームワーク内のKV融合法が提案される。 そこで我々はDiffewSというシンプルで効果的なフレームワークを構築し,従来の潜在拡散モデルの生成フレームワークを最大限に保持する。
  論文  参考訳（メタデータ） (2024-10-03T10:33:49Z)
• A Score-Based Density Formula, with Applications in Diffusion Generative Models [6.76974373198208]
  スコアベース生成モデル(SGM)は、生成モデリングの分野に革命をもたらし、現実的で多様なコンテンツを生成するのに前例のない成功を収めた。 実験的な進歩にもかかわらず、ログライクリッド上でのエビデンスローバウンド(ELBO)の最適化がDDPMなどの拡散生成モデルの訓練に有効である理由に関する理論的根拠はほとんど未解明のままである。
  論文  参考訳（メタデータ） (2024-08-29T17:59:07Z)
• Constrained Diffusion Models via Dual Training [80.03953599062365]
  拡散プロセスは、トレーニングデータセットのバイアスを反映したサンプルを生成する傾向がある。 所望の分布に基づいて拡散制約を付与し,制約付き拡散モデルを構築する。 本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。
  論文  参考訳（メタデータ） (2024-08-27T14:25:42Z)
• Model-Based Diffusion for Trajectory Optimization [8.943418808959494]
  データ無しで軌道最適化(TO)問題を解決するために拡散法を用いた最適化手法であるモデルベース拡散(MBD)を導入する。 MBDは外部データを必要としないが、様々な性質のデータと自然に統合して拡散過程を制御できる。 MBDは、最先端の強化学習とサンプリングベースのTOメソッドを上回り、コンタクトリッチなタスクに挑戦する。
  論文  参考訳（メタデータ） (2024-05-28T22:14:25Z)
• Transfer Learning for Diffusion Models [43.10840361752551]
  拡散モデルは高品質な合成サンプルを一貫して生成する。 コレクションコストや関連するリスクのため、現実のアプリケーションでは実用的ではありません。 本稿では,従来の微調整法や正規化法とは異なる新しいアプローチであるTransfer Guided Diffusion Process (TGDP)を紹介する。
  論文  参考訳（メタデータ） (2024-05-27T06:48:58Z)
• MG-TSD: Multi-Granularity Time Series Diffusion Models with Guided Learning Process [26.661721555671626]
  本稿では,最先端の予測性能を実現する新しい多粒度時系列(MG-TSD)モデルを提案する。 われわれのアプローチは外部データに頼らず、様々な領域にまたがって汎用的で適用可能である。
  論文  参考訳（メタデータ） (2024-03-09T01:15:03Z)
• Guided Diffusion from Self-Supervised Diffusion Features [49.78673164423208]
  ガイダンスは拡散モデルにおいて重要な概念として機能するが、その効果は追加のデータアノテーションや事前学習の必要性によって制限されることが多い。 本稿では,拡散モデルからガイダンスを抽出するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-14T11:19:11Z)
• Variance-Preserving-Based Interpolation Diffusion Models for Speech Enhancement [53.2171981279647]
  本稿では,VP-および分散拡散(VE)に基づく拡散法の両方をカプセル化するフレームワークを提案する。 本研究では,拡散モデルで発生する一般的な困難を解析し,性能の向上とモデルトレーニングの容易化を図る。 我々は,提案手法の有効性を示すために,公開ベンチマークを用いたいくつかの手法によるモデルの評価を行った。
  論文  参考訳（メタデータ） (2023-06-14T14:22:22Z)
• Optimal Transport Model Distributional Robustness [33.24747882707421]
  これまでの研究は主に、データ空間における分散ロバスト性を活用することに焦点を当ててきた。 我々は、最適なロバストな中心モデル分布を学習できる理論を開発する。 我々のフレームワークはSharpness-Aware Minimizationの確率的拡張と見なすことができる。
  論文  参考訳（メタデータ） (2023-06-07T06:15:12Z)
• Diff-Instruct: A Universal Approach for Transferring Knowledge From Pre-trained Diffusion Models [77.83923746319498]
  本稿では,任意の生成モデルの学習を指導するDiff-Instructというフレームワークを提案する。 Diff-Instructは、最先端の単一ステップ拡散モデルであることを示す。 GANモデルの精製実験により、Diff-InstructはGANモデルの事前訓練されたジェネレータを一貫して改善できることが示されている。
  論文  参考訳（メタデータ） (2023-05-29T04:22:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。