論文の概要: Ambient Discrete Diffusion: Using the Wrong Data at the Right Time for Data Efficient Learning

• arxiv url: http://arxiv.org/abs/2610.12340v1
• Date: Thu, 08 Oct 2026 17:15:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.205955
• Title: Ambient Discrete Diffusion: Using the Wrong Data at the Right Time for Data Efficient Learning
• Title（参考訳）: ランダム離散拡散:データ効率学習における正しいタイミングでの誤りデータの利用
• Abstract要約: RefineMixは、重度のデータ不足下で離散拡散モデルをトレーニングするためのフレームワークである。 選択した拡散時間における分布外データを用いて、サンプリング分布を偏りなく一般化を改善する。 タンパク質配列生成では、わずか197個のドメインの例で微調整すると、生成したタンパク質の約2倍になる。
• 参考スコア（独自算出の注目度）: 22.16429250366289
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce RefineMix, a framework for training discrete diffusion models under severe data scarcity, a common constraint in scientific applications. RefineMix uses out-of-distribution data at selected diffusion times to improve generalization without biasing the sampling distribution. Although this strategy has been explored in continuous diffusion, discrete diffusion presents a distinct challenge: unlike Gaussian noise, masking preserves domain information in surviving tokens, limiting the use of related data at high noise levels. At low noise levels, however, the domains effectively disjoint supports become an advantage, allowing the model to learn from both in-domain and out-of-distribution data without biasing the sampler. We formalize these intuitions and provide a theoretical analysis for the proposed method. Experimentally, across five domain-shift settings, RefineMix matches or outperforms in-domain finetuning and data mixing. For protein sequence generation, finetuning with just 197 in-domain examples nearly doubles the fraction of generated proteins that are simultaneously novel, foldable, and in-family compared to standard finetuning.
• Abstract（参考訳）: RefineMixは、科学的応用に共通する制約である重大データ不足下で離散拡散モデルを訓練するためのフレームワークである。 RefineMixは、選択された拡散時間における分布外データを使用して、サンプリング分布を偏りなく一般化を改善する。 この戦略は連続拡散において検討されているが、離散拡散はガウスノイズとは異なり、マスキングは生き残ったトークンのドメイン情報を保存し、高いノイズレベルにおける関連するデータの使用を制限する。 しかし、低ノイズレベルでは、ドメインが効果的に解離することが利点となり、サンプルデータにバイアスをかけることなく、ドメイン内およびアウト・オブ・ディストリビューションデータからモデルを学習することができる。 これらの直観を定式化し,提案手法の理論的解析を行う。 実験的に、5つのドメインシフト設定で、RefineMixはドメイン内の微調整とデータミキシングにマッチする。 タンパク質配列生成では、ドメイン内のわずか197の例による微調整は、通常の微調整と比較して、新規で折り畳み可能な、家族内で同時に発生するタンパク質の分画をほぼ2倍にしている。

関連論文リスト

• Impute-EM: Native Mixed-State Diffusion Models for Heterogeneous Data Imputation [71.74203645336385]
  Impute-EMは、現在のモデルとインプットされていないエントリを交換し、完了したデータに拡散バックボーンをリフィットする。 我々は、この更新を特徴付け、観測されたマスクインデクシングされた辺縁線が、その限界で目標と一致していることを示す。
  論文  参考訳（メタデータ） (2026-09-14T09:39:13Z)
• Binomial flows: Denoising and flow matching for discrete ordinal data [7.873384401007258]
  連続空間におけるフローベース生成モデリングは、ツイーディの公式を利用して、デノイザーをスコア関数として表現する。 本研究では、このギャップを、ビノミアルフローを導入することで、離散非負の順序データに対して埋める。
  論文  参考訳（メタデータ） (2026-05-01T02:42:06Z)
• Discrete diffusion samplers and bridges: Off-policy algorithms and applications in latent spaces [25.53140530160344]
  離散拡散サンプリングのためのオフ・ポリシー・トレーニング手法を導入する。 これらの手法により, 確立されたベンチマークと新しいベンチマークの両方において, 離散サンプリング性能が向上することを示す。 最後に,画像生成モデルの離散潜在空間におけるデータフリー後方サンプリングへの拡散サンプリングの適用について述べる。
  論文  参考訳（メタデータ） (2026-02-05T18:16:57Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  一般のスコアミスマッチ拡散サンプリング器に対する明示的な次元依存性を持つ最初の性能保証を示す。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Consistent Diffusion Meets Tweedie: Training Exact Ambient Diffusion Models with Noisy Data [74.2507346810066]
  アンビエント拡散(アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散 本稿では,ノイズの多い学習データのみを考慮し,故障のない分布から確実にサンプルを採取する拡散モデルのトレーニングのための最初のフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-20T14:22:12Z)
• Unified Discrete Diffusion for Categorical Data [37.56355078250024]
  離散拡散のためのより正確で容易に最適なトレーニングを可能にする変分下界の数学的単純化について述べる。 本稿では, 精密かつ高速なサンプリングが可能な後方復調法と, 離散時間および連続時間離散拡散のエレガントな統一法を導出する。
  論文  参考訳（メタデータ） (2024-02-06T04:42:36Z)
• From Denoising Diffusions to Denoising Markov Models [38.33676858989955]
  デノイング拡散は、顕著な経験的性能を示す最先端の生成モデルである。 本稿では、この手法を広い範囲に一般化し、スコアマッチングのオリジナル拡張につながる統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-07T14:34:27Z)
• Diffusion-GAN: Training GANs with Diffusion [135.24433011977874]
  GAN(Generative Adversarial Network)は、安定してトレーニングすることが難しい。 フォワード拡散チェーンを利用してインスタンスノイズを生成する新しいGANフレームワークであるDiffusion-GANを提案する。 我々は,Diffusion-GANにより,最先端のGANよりも高い安定性とデータ効率で,よりリアルな画像を生成することができることを示す。
  論文  参考訳（メタデータ） (2022-06-05T20:45:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。