論文の概要: Spatial Transport of Integration Error in Generative ODEs
- arxiv url: http://arxiv.org/abs/2607.16361v1
- Date: Fri, 17 Jul 2026 12:38:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.131069
- Title: Spatial Transport of Integration Error in Generative ODEs
- Title(参考訳): 生成型ODEにおける積分誤差の空間移動
- Abstract要約: 数ステップの統合エラーがどこに注入され、どのようにエンドポイントに到達するのかを問う。
2562解像度の5つのモデルに対する摂動実験は、学習されたダイナミクスが局所的な乱れを広範囲に広げていることを示している。
この予測は、終端誤差が注入された大きさだけでなく、その符号、タイミング、学習された力学を通しての輸送に依存するため、部分的である。
- 参考スコア(独自算出の注目度): 1.8782750537161614
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A trained flow or diffusion model is usually run with only a handful of solver steps, and the integration error this leaves behind is unevenly distributed across the image. We ask where that error is injected and how it reaches the endpoint, and answer with a signed source-and-transport accounting of few-step integration error, tested to first order. A perturbation experiment on five models at 256^2 resolution shows the learned dynamics spread local disturbances widely: near the start of sampling, under 10% of the summed endpoint response remains at the source. Signed one-step truncation residuals, propagated through the model's own linearized dynamics, reconstruct much of the endpoint error's direction and regional structure (cosine 0.81-0.87), and a region's error owes more to what arrives from elsewhere than to its own injection. Structure-destroying nulls, with protocols frozen before evaluation, locate what carries the account: randomizing contribution signs halves it, and reassigning which region receives each contribution, with content, norms, and signs intact, destroys it entirely. Where the injections land is readable from the model itself. The variation of its velocity or prediction field along the trajectory, a structure that emerges during training, predicts the final per-region gap (within-image rho of 0.57-0.70 on fine trajectories, weaker from the cheap solve alone). The prediction is partial because endpoint error depends not only on injected magnitude but on its sign, timing, and transport through the learned dynamics. A training penalty on the injected variation lowers few-step error, so the structure is one a model can be trained to change.
- Abstract(参考訳): トレーニングされたフローまたは拡散モデルは、通常、ほんの数ステップで実行され、後に残される統合エラーは、画像全体に不均一に分散される。
我々は、そのエラーがどこに注入され、どのようにエンドポイントに到達するのかを尋ね、ファーストオーダーでテストされた数ステップの統合エラーの署名されたソース・アンド・トランスポート会計で答える。
256^2解像度の5つのモデルに対する摂動実験は、学習されたダイナミクスが局所的な乱れを広範囲に広げたことを示している。
モデル自身の線形化力学を通して伝播し、終点誤差の方向と地域構造の多くを再構成する(cosine 0.81-0.87)。
コントリビューションサインのランダム化、コントリビューションの受信地域の再割り当て、コントリビューション、ノルム、サインの無傷化。
射出地はモデル自体から読み取ることができる。
軌道に沿った速度や予測場の変動は、訓練中に現れる構造であり、最終的な領域ごとのギャップを予測している(細かい軌道上では0.57-0.70で、安価な解法だけでは弱くなる)。
この予測は、終端誤差が注入された大きさだけでなく、その符号、タイミング、学習された力学を通しての輸送に依存するため、部分的である。
インジェクトされたバリエーションに対するトレーニングペナルティは、数ステップのエラーを低減します。
関連論文リスト
- SynthSentry: Detecting Synthetic Data Contamination in Language Model Training Data [2.998247765202193]
コーパスレベルのモデルに依存しない汚染信号は生成モデルへのアクセスを必要とせず、生成履歴も合成ラベルも不要である。
我々は,小型オープンウェイト発生器が汚染したコーパスと,アウト・ワン・ジェネレータ・アウトプロトコルに基づく命令調整オープンウェイト・モデルについて検討した。
スコアは、ジェネレータファミリー全体が持ち出されるときにほとんど損失のない重大さでコーパスをランク付けする。
論文 参考訳(メタデータ) (2026-09-11T02:25:18Z) - Structured Extrema Errors in Classical Surrogates for Viscous Burgers: A Physics-Consistent Interpretation [0.0]
粘性バーガース方程式の時間発展を近似した機械学習サロゲートモデルの局所誤差について検討した。
4つのモデル全体において、ここで定義されている1ステップ残差は、各格子点における予測値を無視する真の値として定義され、予測された最大値と最小値の近くに明確な曲線の枝を形成する。
KRRのより詳細な分析により、これらの誤差は第1の空間微分よりも局所曲率を測定する第2の空間微分と強く関連していることが示された。
論文 参考訳(メタデータ) (2026-09-07T20:17:58Z) - Supervising the Path to Fine Scales: GalerkinFlow for Scientific-Field and Image Super-Resolution [0.0]
GalerkinFlowは方程式に依存しないフレームワークで、各粗いペアを再構築パス全体に沿って監督する。
Navier-StokesとDarcy Flowで評価された方程式に依存しないベースラインの中で、最も低い生空間誤差を達成する。
論文 参考訳(メタデータ) (2026-08-17T13:18:58Z) - Self-Consistent Generative Paths via Admissible Random Variational Transport [14.74009385288423]
確率経路はいつ自己整合するのか?
自己整合性生成経路を許容可能な局所変分輸送補正のランダムな固定点として定義する。
結果として生じる理論は、エンドポイントマッチングを経路自己整合性テストに変換する。
論文 参考訳(メタデータ) (2026-06-08T02:56:06Z) - Divergence is Uncertainty: A Closed-Form Posterior Covariance for Flow Matching [8.603039700922809]
フローマッチングは生成モデルの主要なフレームワークとなっているが、サンプルの不確かさの定量化は未解決の問題である。
これらのトレードオフはいずれも必要ありません。
MNISTの実験により、ピクセルごとの不確実性マップが意味論的に意味があることが確認された。
論文 参考訳(メタデータ) (2026-05-01T04:25:00Z) - Generative Modeling with Continuous Flows: Sample Complexity of Flow Matching [60.37045080890305]
本稿では,フローマッチングに基づく生成モデルにおいて,サンプルの複雑さを初めて解析する。
速度場推定誤差をニューラルネットワーク近似誤差、有限標本サイズによる統計的誤差、速度場推定のための有限個の最適化ステップによる最適化誤差に分解する。
論文 参考訳(メタデータ) (2025-12-01T05:14:25Z) - The Principles of Diffusion Models [81.12042238390075]
拡散モデリングは、データを徐々にノイズに分解するフォワードプロセスを定義することから始まる。
目標は、ノイズをデータに変換しながら、同じ中間体を回復するリバースプロセスを学ぶことだ。
エネルギーベースモデリングに根ざしたスコアベースビューは、進化するデータ分布の勾配を学習する。
フローベースのビューは、フローの正規化に関連するもので、サンプルをノイズからデータに移すスムーズなパスに従って生成する。
論文 参考訳(メタデータ) (2025-10-24T02:29:02Z) - Understanding Warmup-Stable-Decay Learning Rates: A River Valley Loss Landscape Perspective [66.80315289020487]
Warmup-Stable-Decay (WSD) スケジュールは、一定の学習率を使用して、所定の計算予算なしで無限に継続できるイテレーションのメインブランチを生成する。
プレトレーニング損失は,河底に川がある深い谷に類似した河谷景観を呈することを示す。
この理論にインスパイアされたWSD-Sは、従来のチェックポイントの崩壊フェーズを再利用し、メインブランチを1つだけ保持するWSDの変種である。
論文 参考訳(メタデータ) (2024-10-07T16:49:39Z) - Evaluating the design space of diffusion-based generative models [21.483299796597404]
この記事では、生成プロセス全体について、初めて定量的に理解する。
勾配降下下での復調スコアマッチングの非漸近収束解析を行う。
分散爆発モデルに対する精密サンプリング誤差解析も提供する。
論文 参考訳(メタデータ) (2024-06-18T17:56:10Z) - Improving Consistency Models with Generator-Augmented Flows [16.049476783301724]
一貫性モデルは、ニューラルネットワークの単一前方通過におけるスコアベース拡散の多段階サンプリングを模倣する。
それらは、一貫性の蒸留と一貫性のトレーニングの2つの方法を学ぶことができる。
本稿では,一貫性モデルから得られたノイズデータを対応する出力へ転送する新しい流れを提案する。
論文 参考訳(メタデータ) (2024-06-13T20:22:38Z) - Rejection via Learning Density Ratios [50.91522897152437]
拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。
そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。
私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
論文 参考訳(メタデータ) (2024-05-29T01:32:17Z) - Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be
Consistent [97.64313409741614]
本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。
CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
論文 参考訳(メタデータ) (2023-02-17T18:45:04Z) - Neuro-Symbolic Entropy Regularization [78.16196949641079]
構造化予測では、目的は構造化されたオブジェクトをエンコードする多くの出力変数を共同で予測することである。
エントロピー正則化(Entropy regularization)という1つのアプローチは、決定境界が低確率領域にあるべきであることを示唆している。
我々は、モデルが有効対象を確実に予測することを奨励する損失、ニューロシンボリックエントロピー正規化を提案する。
論文 参考訳(メタデータ) (2022-01-25T06:23:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。