論文の概要: Skipping the Zeros in Diffusion Models for Sparse Data Generation

• arxiv url: http://arxiv.org/abs/2605.01817v1
• Date: Sun, 03 May 2026 10:51:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:49.950024
• Title: Skipping the Zeros in Diffusion Models for Sparse Data Generation
• Title（参考訳）: スパースデータ生成のための拡散モデルにおけるゼロのスキーピング
• Authors: Phil Sidney Ostheimer, Mayank Nagda, Andriy Balinskyy, Gabriel Vicente Rodrigues, Jean Radig, Carl Herrmann, Stephan Mandt, Marius Kloft, Sophie Fellenz,
• Abstract要約: 拡散モデル(DM)は、信号の意図的な欠如を表す正確な零点をモデル化しない。 Sparsity-Exploiting Diffusion (SED)では、スパーシを保った非ゼロ値のみをモデル化する。 SEDは、トレーニングと推論中にゼロをスキップすることで、生成品質を維持または改善しながら、計算的な節約を提供する。
• 参考スコア（独自算出の注目度）: 31.439187562045532
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models (DMs) excel on dense continuous data, but are not designed for sparse continuous data. They do not model exact zeros that represent the deliberate absence of a signal. As a result, they erase sparsity patterns and perform unnecessary computation on mostly zero entries. With Sparsity-Exploiting Diffusion (SED), we model only non-zero values, preserving sparsity. SED delivers computational savings while maintaining or improving generation quality by skipping zeros during training and inference. Across physics and biology benchmarks, SED matches or surpasses conventional DMs and domain-specific baselines, while vision experiments provide intuitive insights into the limitations of dense DMs and the benefits of SED.
• Abstract（参考訳）: 拡散モデル(DM)は高密度連続データに優れるが、疎連続データには設計されていない。 それらは、信号の意図的な欠如を表す正確な零点をモデル化しない。 結果として、スパーシティパターンを消去し、ほとんどゼロエントリで不要な計算を行う。 Sparsity-Exploiting Diffusion (SED)では、スパーシを保った非ゼロ値のみをモデル化する。 SEDは、トレーニングと推論中にゼロをスキップすることで、生成品質を維持または改善しながら、計算的な節約を提供する。 物理学や生物学のベンチマーク全体において、SEDは従来のDMやドメイン固有のベースラインと一致するか、あるいは超越する一方、視覚実験は高密度DMの限界とSEDの利点に関する直感的な洞察を提供する。

関連論文リスト

• Improving MoE Compute Efficiency by Composing Weight and Data Sparsity [50.654297246411545]
  Mixture-of-Experts 層は重量空間によって計算効率を向上する。 各専門家がトークンのサブセットだけを処理するようなデータスパシティは、補完的な軸を提供する。
  論文  参考訳（メタデータ） (2026-01-21T18:53:58Z)
• Diffusion Beats Autoregressive in Data-Constrained Settings [50.56893491038853]
  自己回帰(AR)モデルは長い間、大きな言語モデルのランドスケープを支配してきた。 近年,ARモデルよりもアドバンテージが低いものの,拡散型言語モデルが将来性のある選択肢として浮上している。 本研究では,限られたデータ上で繰り返し学習を行うデータ制約付き環境で,マスク拡散モデルについて系統的に研究する。 我々の結果は、データが計算ではなくボトルネックである場合、拡散モデルは標準的なARパラダイムに代わる魅力的な代替手段となることを示唆している。
  論文  参考訳（メタデータ） (2025-07-21T17:59:57Z)
• Continuous Visual Autoregressive Generation via Score Maximization [69.67438563485887]
  本稿では,ベクトル量子化なしで直接視覚的自己回帰生成を可能にする連続VARフレームワークを提案する。 このフレームワークの中で必要なのは、厳密な適切なスコアを選択し、最適化のトレーニング目標として設定することだけです。
  論文  参考訳（メタデータ） (2025-05-12T17:58:14Z)
• Sparse Data Generation Using Diffusion Models [32.0051633707266]
  本稿では,スパースデータを生成する新しい手法であるスパースデータ拡散(SDD)を紹介する。 SDD は連続状態空間拡散モデルを拡張し、空間空間をモデル化することで正確な零点を明示する。 物理学と生物学の2つの科学的応用を含む様々な分野における実証的検証は、SDDがデータの空間性を表現する上で高い忠実性を達成することを示した。
  論文  参考訳（メタデータ） (2025-02-04T16:14:28Z)
• Breaking Determinism: Fuzzy Modeling of Sequential Recommendation Using Discrete State Space Diffusion Model [66.91323540178739]
  シークエンシャルレコメンデーション(SR)は、ユーザーが過去の行動に基づいて興味を持つかもしれない項目を予測することを目的としている。 我々はSRを新しい情報理論の観点から再検討し、逐次モデリング手法がユーザの行動のランダム性と予測不可能性を適切に把握できないことを発見した。 ファジィ情報処理理論に触発された本論文では,制限を克服し,ユーザの関心事の進化をよりよく捉えるために,ファジィなインタラクションシーケンスの組を導入する。
  論文  参考訳（メタデータ） (2024-10-31T14:52:01Z)
• Latent Space Score-based Diffusion Model for Probabilistic Multivariate Time Series Imputation [6.9295879301090535]
  確率的時系列計算のための遅延空間スコアベース拡散モデル(LSSDM)を提案する。 LSSDMは、計算機構のより良い説明と不確実性解析を提供しながら、優れた計算性能を実現する。
  論文  参考訳（メタデータ） (2024-09-13T15:32:26Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)
• Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
  そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。 我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。 CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-05-18T15:13:00Z)
• Disentangled Recurrent Wasserstein Autoencoder [17.769077848342334]
  Recurrent Wasserstein Autoencoder (R-WAE)はシーケンシャルデータの生成モデリングのための新しいフレームワークである。 R-WAEは入力シーケンスの表現を静的および動的因子に切り離す。 私達のモデルは無条件のビデオ生成およびdisentanglementの点では同じ設定の他のベースラインを上回ります。
  論文  参考訳（メタデータ） (2021-01-19T07:43:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。