論文の概要: Drifting Fields are not Conservative
- arxiv url: http://arxiv.org/abs/2604.06333v1
- Date: Tue, 07 Apr 2026 18:14:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-09 17:30:51.173833
- Title: Drifting Fields are not Conservative
- Title(参考訳): ドリフトフィールドは保守的ではない
- Authors: Leonard Franz, Sebastian Hoffmann, Georg Martius,
- Abstract要約: ドリフトモデルでは、生成したサンプルをデータ分布に向けて輸送することで、単一の前方通過で高品質なサンプルを生成する。
この手順がスカラー損失の最適化と等価かどうかを考察し、一般には、ドリフト場は保守的でない。
本稿では,任意のラジアルカーネルの保守性を回復する,関連するカーネルによる代替正規化を提案する。
- 参考スコア(独自算出の注目度): 24.92453832125672
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Drifting models generate high-quality samples in a single forward pass by transporting generated samples toward the data distribution using a vector valued drift field. We investigate whether this procedure is equivalent to optimizing a scalar loss and find that, in general, it is not: drift fields are not conservative - they cannot be written as the gradient of any scalar potential. We identify the position-dependent normalization as the source of non-conservatism. The Gaussian kernel is the unique exception where the normalization is harmless and the drift field is exactly the gradient of a scalar function. Generalizing this, we propose an alternative normalization via a related kernel (the sharp kernel) which restores conservatism for any radial kernel, yielding well-defined loss functions for training drifting models. While we identify that the drifting field matching objective is strictly more general than loss minimization, as it can implement non-conservative transport fields that no scalar loss can reproduce, we observe that practical gains obtained utilizing this flexibility are minimal. We thus propose to train drifting models with the conceptually simpler formulations utilizing loss functions.
- Abstract(参考訳): ドリフトモデルでは, ベクトル値ドリフト場を用いて, 生成したサンプルをデータ分布へ輸送することにより, 単一の前方通過で高品質なサンプルを生成する。
この手順がスカラー損失の最適化と等価かどうかを考察し、一般には、ドリフト場は保守的ではなく、スカラーポテンシャルの勾配として書けないことを見出す。
位置依存正規化を非保守主義の源とみなす。
ガウス核は正規化が無害である唯一の例外であり、ドリフト場はまさにスカラー関数の勾配である。
そこで本研究では,任意のラジアルカーネルの保守性を回復し,ドリフトモデルをトレーニングするためのよく定義された損失関数を生成する,関連カーネル(シャープカーネル)による代替正規化を提案する。
ドリフトフィールドマッチングの目的は損失最小化よりも厳密に汎用的であるが、スカラー損失を再現できない非保守輸送体を実装できるため、この柔軟性を利用して得られる実用的なゲインは最小限である。
そこで我々は,損失関数を利用して,概念的にシンプルな定式化でドリフトモデルを訓練することを提案する。
関連論文リスト
- Generative Drifting is Secretly Score Matching: a Spectral and Variational Perspective [33.2175112734242]
ドリフトによる生成モデリングは、カーネルベースのドリフト演算子を通じて最先端のワンステップ画像生成を実現した。
ガウス核の下では、ドリフト作用素はちょうど滑らかな分布のスコア差である。
論文 参考訳(メタデータ) (2026-03-10T17:30:35Z) - On the Convergence of Gradient Descent for Large Learning Rates [55.33626480243135]
固定ステップサイズを使用すると収束が不可能であることを示す。
正方形損失を持つ線形ニューラルネットワークの場合,これを証明した。
また、勾配に対するリプシッツ連続性のような強い仮定を必要とせず、より一般的な損失に対する収束の不可能性も証明する。
論文 参考訳(メタデータ) (2024-02-20T16:01:42Z) - Towards Optimal Sobolev Norm Rates for the Vector-Valued Regularized Least-Squares Algorithm [30.08981916090924]
無限次元ベクトル値リッジ回帰の最初の最適速度を、$L$と仮説空間の間を補間するノルムの連続スケールに提示する。
これらの値は、ほとんどの場合最適であり、出力空間の次元に依存しないことを示す。
論文 参考訳(メタデータ) (2023-12-12T11:48:56Z) - Stationarity without mean reversion in improper Gaussian processes [6.4322891559626125]
本研究では,不適切なGPプリエントを無限分散で使用することにより,定常だが逆転を意味するものではないプロセスを定義することができることを示す。
合成データと実データの両方を解析することにより、これらの非正のカーネルが平均反転GP回帰の既知の病態を解くことを実証する。
論文 参考訳(メタデータ) (2023-10-04T15:11:26Z) - Sampling from Gaussian Process Posteriors using Stochastic Gradient
Descent [43.097493761380186]
勾配アルゴリズムは線形系を解くのに有効な方法である。
最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。
実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
論文 参考訳(メタデータ) (2023-06-20T15:07:37Z) - Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。
データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。
ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文 参考訳(メタデータ) (2022-11-02T16:39:42Z) - Robust Differentiable SVD [117.35644933471401]
対称行列の固有分解は多くのコンピュータビジョンアルゴリズムの中心にある。
不安定性は互いに近い固有値の存在によって生じる。
SVD勾配のテイラー展開は、反復過程に依存することなくPIを用いて得られる勾配と理論的に等価であることを示す。
論文 参考訳(メタデータ) (2021-04-08T15:04:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。