論文の概要: Does Uniform Discrete Diffusion Need Time?
- arxiv url: http://arxiv.org/abs/2609.30977v1
- Date: Fri, 25 Sep 2026 08:24:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 18:27:51.294833
- Title: Does Uniform Discrete Diffusion Need Time?
- Title(参考訳): 一様離散拡散は時間を必要とするか?
- Abstract要約: 人口最適 UDM 予測器は一般に時間によって異なることを示す。
次に、言語に関連する有限データ設定において、この依存が無視可能であることを示す。
経験的に、訓練された言語UDMは、ほとんどの軌道に対して限られた時間感度を示す。
- 参考スコア(独自算出の注目度): 77.18639144244969
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Uniform discrete diffusion models (UDMs) commonly use explicit time conditioning, but we find that it can often be unnecessary in practice. In this paper, we first show that the population-optimal UDM predictor generally depends on time: time controls how much the model should trust the observed context. We then show that this dependence can become negligible in finite-data settings relevant to language. When a corrupted training sequence remains much closer to its original clean sequence than to competing training sequences, the empirical-optimal predictor is nearly insensitive to time over most of the diffusion trajectory, where the guarantee weakens toward the high-noise endpoint. Empirically, trained language UDMs exhibit limited time sensitivity over most of the trajectory, while time-agnostic predictors remain competitive with, and often outperform, time-conditioned models across datasets and training objectives. These results challenge the use of explicit time conditioning in UDMs: although the population optimum depends on time, explicitly conditioning on it may often be unnecessary in practice.
- Abstract(参考訳): 一様離散拡散モデル(UDM)は、通常、明示的な時間条件付けを用いるが、実際は不要であることが多い。
本稿では、まず、人口最適 UDM 予測器が一般的に時間に依存することを示し、そのモデルが観測された文脈をどれだけ信頼すべきかを時間で制御する。
次に、言語に関連する有限データ設定において、この依存が無視可能であることを示す。
破損したトレーニングシーケンスが、競合するトレーニングシーケンスよりも元のクリーンシーケンスにかなり近い場合、経験的最適予測器は、高雑音の終端に向かって保証が弱まる拡散軌道のほとんどよりも時間にほとんど敏感である。
経験的に、訓練された言語UDMは、ほとんどの軌道に対して限られた時間感度を示し、一方、時間に依存しない予測器は、データセットと訓練目標をまたいだ時間条件付きモデルに競争力があり、しばしば優れています。
これらの結果は、UDMにおける明示的な時間条件の使用に挑戦する: 人口の最適度は時間に依存するが、明示的な条件付けは実際は不要であることが多い。
関連論文リスト
- Discretizing Continuous Time Series for Imputation with Masked Diffusion Training [3.978640858147917]
時系列計算は信頼性のある時系列解析にとって重要な領域であるが、実世界のデータの複雑な時間的ダイナミクスとノイズのため、依然として困難である。
しかし、既存のアプローチには2つの制限がある: 欠落と観測された値は明示的な構造的分離なしに同じ表現空間に埋め込まれる。
本研究では,マスク拡散モデルのトレーニングパラダイムを応用したMasked Diffusion Time-Series Imputation Model (MDTIM)を提案する。
実験の結果, MDTIMは優れた堅牢性とスケーラビリティを達成でき, 様々なシナリオにおいて, 最先端の意思決定的, 生成的ベースラインを一貫して上回っていることがわかった。
論文 参考訳(メタデータ) (2026-08-19T17:16:27Z) - Guided Transfer Learning for Discrete Diffusion Models [21.909689920217982]
離散拡散モデル(GTL)のためのガイド伝達学習を提案する。
GTLは、事前訓練されたデノイザを変更することなく、ターゲット分布からのサンプリングを可能にする。
また、プランナー選択された位置と上位候補トークンの評価に集中する効率的なガイド付きサンプリング手法を提案する。
論文 参考訳(メタデータ) (2025-12-11T18:05:55Z) - A Unified Frequency Domain Decomposition Framework for Interpretable and Robust Time Series Forecasting [81.73338008264115]
時系列予測の現在のアプローチは、時間領域であれ周波数領域であれ、主に線形層やトランスフォーマーに基づいたディープラーニングモデルを使用する。
本稿では,多種多様な時系列を数学的に抽象化する統合周波数領域分解フレームワークFIREを提案する。
火は長期予測ベンチマークで最先端のモデルを一貫して上回る。
論文 参考訳(メタデータ) (2025-10-11T09:59:25Z) - Channel-aware Contrastive Conditional Diffusion for Multivariate Probabilistic Time Series Forecasting [19.383395337330082]
本稿では,CCDM(Contrastive Conditional Diffusion)モデルを提案する。
提案したCCDMは,現在最先端の拡散予測器と比較して優れた予測能力を示すことができる。
論文 参考訳(メタデータ) (2024-10-03T03:13:15Z) - Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。
本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。
そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
論文 参考訳(メタデータ) (2024-01-17T07:58:18Z) - Instructed Diffuser with Temporal Condition Guidance for Offline
Reinforcement Learning [71.24316734338501]
テンポラリ・コンポラブル・ディフューザ(TCD)を用いた実効時間条件拡散モデルを提案する。
TCDは、相互作用シーケンスから時間情報を抽出し、時間条件で生成を明示的にガイドする。
提案手法は,従来のSOTAベースラインと比較して最高の性能を達成または一致させる。
論文 参考訳(メタデータ) (2023-06-08T02:12:26Z) - Deep diffusion-based forecasting of COVID-19 by incorporating
network-level mobility information [22.60685417365995]
我々は、自己回帰混合密度拡散動的ネットワーク(ARM3Dnet)と呼ばれる確率予測のためのディープラーニングに基づく時系列モデルを開発した。
アメリカ合衆国におけるCovid-19の死亡数やケースの予測において,我々のモデルは従来の統計モデルとディープラーニングモデルの両方を上回っていることを示す。
論文 参考訳(メタデータ) (2021-11-09T15:18:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。