論文の概要: Tracking High-order Evolutions via Cascading Low-rank Fitting

• arxiv url: http://arxiv.org/abs/2604.10980v1
• Date: Mon, 13 Apr 2026 04:39:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.320179
• Title: Tracking High-order Evolutions via Cascading Low-rank Fitting
• Title（参考訳）: カスケード低ランクフィッティングによる高次進化の追跡
• Authors: Zhao Song,
• Abstract要約: 高次力学は生成モデリングにおける有望なフロンティアとして現れている。 逐次微分を近似する通常の微分方程式にインスパイアされたカスケードローランクフィッティングを導入する。 初期差分が線形分解可能であれば、高次微分の一般ランクは単調に増加しないことが保証される。
• 参考スコア（独自算出の注目度）: 10.036945747389058
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Diffusion models have become the de facto standard for modern visual generation, including well-established frameworks such as latent diffusion and flow matching. Recently, modeling high-order dynamics has emerged as a promising frontier in generative modeling. Rather than only learning the first-order velocity field that transports random noise to a target data distribution, these approaches simultaneously learn higher-order derivatives, such as acceleration and jerk, yielding a diverse family of higher-order diffusion variants. To represent higher-order derivatives, naive approaches instantiate separate neural networks for each order, which scales the parameter space linearly with the derivative order. To overcome this computational bottleneck, we introduce cascading low-rank fitting, an ordinary differential equation inspired method that approximates successive derivatives by applying a shared base function augmented with sequentially accumulated low-rank components. Theoretically, we analyze the rank dynamics of these successive matrix differences. We prove that if the initial difference is linearly decomposable, the generic ranks of high-order derivatives are guaranteed to be monotonically non-increasing. Conversely, we demonstrate that without this structural assumption, the General Leibniz Rule allows ranks to strictly increase. Furthermore, we establish that under specific conditions, the sequence of derivative ranks can be designed to form any arbitrary permutation. Finally, we present a straightforward algorithm to efficiently compute the proposed cascading low-rank fitting.
• Abstract（参考訳）: 拡散モデルは、遅延拡散やフローマッチングのような確立されたフレームワークを含む、現代の視覚生成のデファクトスタンダードとなっている。 近年,高次力学のモデリングが生成モデリングにおける有望なフロンティアとして出現している。 ランダムノイズを対象データ分布に伝達する一階速度場を学習するだけでなく、加速度やジャークなどの高階微分を同時に学習し、高階拡散変種を多種に生成する。 高次導関数を表現するために、ネーブなアプローチは、各順序ごとに別々のニューラルネットワークをインスタンス化し、導関数順序と線形にパラメータ空間をスケールする。 この計算ボトルネックを克服するために、逐次的に蓄積された低ランク成分を付加した共有基底関数を適用することで、逐次微分を近似する通常の微分方程式にインスパイアされたカスケードローランクフィッティングを導入する。 理論的には、これらの連続行列差のランクダイナミクスを解析する。 初期差分が線形分解可能であれば、高次微分の一般ランクは単調に増加しないことが保証される。 逆に、この構造的仮定がなければ、一般ライプニッツ規則は階級を厳格に増やすことを許す。 さらに、特定の条件下では、微分階数の列は任意の置換を形成するように設計できる。 最後に,提案するカスケーディング低ランクフィッティングを効率よく計算するアルゴリズムを提案する。

関連論文リスト

• Rethinking Diffusion Models with Symmetries through Canonicalization with Applications to Molecular Graph Generation [56.361076943802594]
  CanonFlowは、挑戦的なGEOM-DRUGデータセット上で最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-02-16T18:58:55Z)
• PRISM: Parallel Residual Iterative Sequence Model [52.26239951489612]
  我々はこの緊張を解決するためにPRISM(Parallel Residual Iterative Sequence Model)を提案する。 PRISMは、パラレル化可能な形で多段階精製の重要な構造特性を捉える、ソルバに着想を得た帰納バイアスを導入している。 この定式化が Rank-$L$ の蓄積を達成することを証明し、更新多様体を単一ステップの Rank-$1$ ボトルネックを超えて構造的に拡張する。
  論文  参考訳（メタデータ） (2026-02-11T12:39:41Z)
• Diffusion Models: A Mathematical Introduction [3.8673630752805437]
  本稿では拡散に基づく生成モデルの自己完結型導出について述べる。 第一原理から拡散確率モデルを構築する。 読者はこの理論に従い、実際に対応するアルゴリズムを実装することができる。
  論文  参考訳（メタデータ） (2025-11-13T16:20:52Z)
• Learning Optical Flow Field via Neural Ordinary Differential Equation [44.16275288019991]
  近年の光学フロー推定では、ニューラルネットワークを用いて、ある画像の位置を他方の位置にマッピングする流れ場を予測している。 連続モデル,すなわちニューラル常微分方程式(ODE)を用いて流れの微分を予測する新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-06-03T18:30:14Z)
• Theoretical Guarantees for High Order Trajectory Refinement in Generative Flows [40.884514919698596]
  フローマッチングは、生成モデリングの強力なフレームワークとして登場した。 我々は,高次フローマッチングが分布推定器として最悪の場合の最適性を保っていることを証明した。
  論文  参考訳（メタデータ） (2025-03-12T05:07:07Z)
• On the Relation Between Linear Diffusion and Power Iteration [42.158089783398616]
  相関機械として生成過程を研究する」 生成過程の早い段階で低周波が出現し, 固有値に依存する速度で, 偏極基底ベクトルが真のデータにより整合していることが示される。 このモデルにより、線形拡散モデルが、一般的な電力反復法と同様に、基礎データの先頭固有ベクトルに平均的に収束することを示すことができる。
  論文  参考訳（メタデータ） (2024-10-16T07:33:12Z)
• Broadening Target Distributions for Accelerated Diffusion Models via a Novel Analysis Approach [49.97755400231656]
  本研究では,新しいDDPMサンプリング器が,これまで考慮されていなかった3種類の分散クラスに対して高速化性能を実現することを示す。 この結果から, DDPM型加速サンプリング器におけるデータ次元$d$への依存性が改善された。
  論文  参考訳（メタデータ） (2024-02-21T16:11:47Z)
• Linear convergence of forward-backward accelerated algorithms without knowledge of the modulus of strong convexity [14.0409219811182]
  我々はネステロフの加速勾配降下(NAG)とFISTAの両方が強い凸関数に対して線形収束を示すことを示した。 我々は、運動エネルギーの動的適応係数を含むリアプノフ関数の創出に際し、特異なアプローチを強調した。
  論文  参考訳（メタデータ） (2023-06-16T08:58:40Z)
• Last-Iterate Convergence of Saddle-Point Optimizers via High-Resolution Differential Equations [83.3201889218775]
  広く使われている1次サドル点最適化法は、帰納的導出時に同一の連続時間常微分方程式(ODE)を導出する。 しかし、これらの方法の収束特性は、単純な双線型ゲームでさえ質的に異なる。 いくつかのサドル点最適化法のための微分方程式モデルの設計に流体力学の研究フレームワークを採用する。
  論文  参考訳（メタデータ） (2021-12-27T18:31:34Z)
• Estimating High Order Gradients of the Data Distribution by Denoising [81.24581325617552]
  スコアマッチングを復調することにより、データ密度の第1次微分を効率的に推定することができる。 サンプルからデータ密度の高次微分(スコア)を直接推定する手法を提案する。
  論文  参考訳（メタデータ） (2021-11-08T18:59:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。