論文の概要: Weighting Schedules Govern What and When Score-Based Generative Models Learn from Multimodal Data

• arxiv url: http://arxiv.org/abs/2609.35322v1
• Date: Mon, 28 Sep 2026 14:51:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 06:29:45.545001
• Title: Weighting Schedules Govern What and When Score-Based Generative Models Learn from Multimodal Data
• Title（参考訳）: マルチモーダルデータからスコアベース生成モデルを学習する際の重み付けスケジューリング
• Abstract要約: スコアベース生成モデルは、ガウス雑音を対象分布に運ぶ時間依存ドリフトを統合することで、新しいサンプルを生成する。 統合損失を1回のコントリビューションに分解し、それぞれを固定信号対雑音比で分析する。 時間積分目標に基づいて訓練されたモデルの場合、学習力学は、重み付けのどれ程が発散時間付近に効果的に置かれるかによって支配される。
• 参考スコア（独自算出の注目度）: 8.207196072624464
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Score-based generative models generate new samples by integrating a time-dependent drift that carries Gaussian noise onto the target distribution. In practice this drift is modeled by a neural network, trained on a loss integrated over time $t$ with a weighting schedule $w(t)$. Along the backward dynamics, and for multi-modal distributions, trajectories commit to modes of the target within a narrow time window, the \textit{speciation time}. In this work, focusing on high-dimensional data, we decompose the integrated loss into its single-time contributions and analyze each at fixed signal-to-noise ratio $Λ(t)$: we show that $Λ(t)$ sets the rate at which each feature of a multimodal target - the mode directions and their relative weights - is acquired during training. Crucially, at high $Λ(t)$ all mode directions are acquired together, on a single timescale insensitive to their amplitudes, while the relative weights are not learned at all. Only near the speciation time, where $Λ(t)$ becomes of order one, do all features become learnable, each on its own timescale: the weights are acquired jointly with the directions, and the directions at rates set by their relative amplitudes. For models trained on time-integrated objectives, the learning dynamics is then governed by how much of the weighting effectively sits near the speciation time, which provides insights on $w(t)$ design choices. These results follow from an exact high-dimensional analysis of the training dynamics of unbalanced and hierarchical Gaussian mixtures. Numerical experiments on image and human genome haplotype generation recover the predicted hierarchy of learning timescales in more complex settings.
• Abstract（参考訳）: スコアベース生成モデルは、ガウス雑音を対象分布に運ぶ時間依存ドリフトを統合することで、新しいサンプルを生成する。 実際には、このドリフトはニューラルネットワークによってモデル化され、重み付けスケジュールが$w(t)$で時間の経過とともに統合された損失に基づいてトレーニングされる。 後方ダイナミクスとマルチモーダル分布に沿って、トラジェクトリは狭い時間ウィンドウ内でターゲットのモードにコミットする。 本研究では,高次元データに着目して,統合的損失を単一時間のコントリビューションに分解し,固定信号対雑音比$(t)$:$(t)$で解析することにより,マルチモーダルターゲットのそれぞれの特徴(モード方向と相対重み)がトレーニング中に取得される速度を設定できることを示す。 重要なことに、すべてのモード方向を高い$(t)$で、その振幅に敏感な単一の時間スケールで取得するが、相対重みは全く学習されない。 差分時間(英語版)に近づき、$(t)$が次数1となると、全ての特徴が学習可能となり、それぞれの特徴は時間スケールで学習可能となる:重みは方向とともに取得され、相対振幅によって設定される速度で方向が決定される。 時間積分された目的に基づいて訓練されたモデルの場合、学習力学は、重み付けのどれ程が発散時間付近に有効に置かれるかによって支配され、設計選択の$w(t)$についての洞察を提供する。 これらの結果は、非平衡なガウス混合と階層的なガウス混合の訓練力学の正確な高次元解析から導かれる。 画像およびヒトゲノムハプロタイプ生成に関する数値実験は、より複雑な環境で学習時間スケールの予測階層を復元する。

関連論文リスト

• Deep learning-based prediction of time-resolved adhesive forces in viscoelastic Hertzian contacts [0.0]
  我々は、所定の変位履歴から全力進化を予測するために、ステートフルでシークエンス・ツー・シークエンス深層学習モデルを訓練する。 モデルは、未知のパラメータの組み合わせと分析的制限ケースに対してテストされる。 制御指向アプリケーションで潜在的に使用可能な数値評価を繰り返すために、高速なサロゲートを提供する。
  論文  参考訳（メタデータ） (2026-07-21T12:48:48Z)
• Disordered Dynamics in High Dimensions: Connections to Random Matrices and Machine Learning [52.26396748560348]
  ランダム行列によって駆動される高次元力学系について概説する。 機械学習理論における学習と一般化の単純なモデルへの応用に焦点を当てる。
  論文  参考訳（メタデータ） (2026-01-03T00:12:32Z)
• Scaling Collapse Reveals Universal Dynamics in Compute-Optimally Trained Neural Networks [59.552873049024775]
  計算最適化モデルでは, 極めて高精度な普遍性を示すことを示す。 学習速度が減衰すると、崩壊は非常に厳しくなり、モデル間の正規化曲線の差はノイズフロアより下になる。 これらの現象は、典型的なニューラルスケーリング法則において、崩壊とパワー・ロー構造を結びつけることによって説明される。
  論文  参考訳（メタデータ） (2025-07-02T20:03:34Z)
• Revisiting Gradient Descent: A Dual-Weight Method for Improved Learning [4.751362812627724]
  本稿では、各ニューロンの重みベクトルを2つの異なる部分に分解することで、ニューラルネットワークで学習するための新しいフレームワークを提案する。 この分解によって一般化が促進され、特にトレーニングデータが疎かでノイズの多い場合、過度に適合することを示す。
  論文  参考訳（メタデータ） (2025-03-15T02:32:47Z)
• Dynamical Decoupling of Generalization and Overfitting in Large Two-Layer Networks [10.591718074748895]
  本研究では,2層ニューラルネットワークの動的平均場理論による学習ダイナミクスについて検討する。 大きなネットワーク幅$m$と入力次元$n/d$あたりのサンプル数に対して、トレーニングダイナミクスは時間スケールの分離を示す。
  論文  参考訳（メタデータ） (2025-02-28T17:45:26Z)
• Learning Gaussian Mixture Representations for Tensor Time Series Forecasting [8.31607451942671]
  我々は、時間、位置、およびソース変数に暗示される各不均一成分を個別にモデル化する新しいTS予測フレームワークを開発する。 2つの実世界のTSデータセットによる実験結果は、最先端のベースラインと比較して、我々のアプローチの優位性を検証する。
  論文  参考訳（メタデータ） (2023-06-01T06:50:47Z)
• Characterizing and overcoming the greedy nature of learning in multi-modal deep neural networks [62.48782506095565]
  深層ニューラルネットワークにおける学習の欲張った性質から、モデルは一つのモダリティにのみ依存する傾向にあり、他のモダリティには不適合であることを示す。 本稿では,学習中のモーダル間の条件付き学習速度のバランスをとるアルゴリズムを提案し,グリージー学習の問題に対処できることを実証する。
  論文  参考訳（メタデータ） (2022-02-10T20:11:21Z)
• Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
  本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。 これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。 この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-02-21T05:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。