論文の概要: Tracking High-order Evolutions via Cascading Low-rank Fitting

• arxiv url: http://arxiv.org/abs/2604.10980v1
• Date: Mon, 13 Apr 2026 04:39:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.320179
• Title: Tracking High-order Evolutions via Cascading Low-rank Fitting
• Title（参考訳）: カスケード低ランクフィッティングによる高次進化の追跡
• Abstract要約: 高次力学は生成モデリングにおける有望なフロンティアとして現れている。 逐次微分を近似する通常の微分方程式にインスパイアされたカスケードローランクフィッティングを導入する。 初期差分が線形分解可能であれば、高次微分の一般ランクは単調に増加しないことが保証される。
• 参考スコア（独自算出の注目度）: 10.036945747389058
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Diffusion models have become the de facto standard for modern visual generation, including well-established frameworks such as latent diffusion and flow matching. Recently, modeling high-order dynamics has emerged as a promising frontier in generative modeling. Rather than only learning the first-order velocity field that transports random noise to a target data distribution, these approaches simultaneously learn higher-order derivatives, such as acceleration and jerk, yielding a diverse family of higher-order diffusion variants. To represent higher-order derivatives, naive approaches instantiate separate neural networks for each order, which scales the parameter space linearly with the derivative order. To overcome this computational bottleneck, we introduce cascading low-rank fitting, an ordinary differential equation inspired method that approximates successive derivatives by applying a shared base function augmented with sequentially accumulated low-rank components. Theoretically, we analyze the rank dynamics of these successive matrix differences. We prove that if the initial difference is linearly decomposable, the generic ranks of high-order derivatives are guaranteed to be monotonically non-increasing. Conversely, we demonstrate that without this structural assumption, the General Leibniz Rule allows ranks to strictly increase. Furthermore, we establish that under specific conditions, the sequence of derivative ranks can be designed to form any arbitrary permutation. Finally, we present a straightforward algorithm to efficiently compute the proposed cascading low-rank fitting.
• Abstract（参考訳）: 拡散モデルは、遅延拡散やフローマッチングのような確立されたフレームワークを含む、現代の視覚生成のデファクトスタンダードとなっている。 近年,高次力学のモデリングが生成モデリングにおける有望なフロンティアとして出現している。 ランダムノイズを対象データ分布に伝達する一階速度場を学習するだけでなく、加速度やジャークなどの高階微分を同時に学習し、高階拡散変種を多種に生成する。 高次導関数を表現するために、ネーブなアプローチは、各順序ごとに別々のニューラルネットワークをインスタンス化し、導関数順序と線形にパラメータ空間をスケールする。 この計算ボトルネックを克服するために、逐次的に蓄積された低ランク成分を付加した共有基底関数を適用することで、逐次微分を近似する通常の微分方程式にインスパイアされたカスケードローランクフィッティングを導入する。 理論的には、これらの連続行列差のランクダイナミクスを解析する。 初期差分が線形分解可能であれば、高次微分の一般ランクは単調に増加しないことが保証される。 逆に、この構造的仮定がなければ、一般ライプニッツ規則は階級を厳格に増やすことを許す。 さらに、特定の条件下では、微分階数の列は任意の置換を形成するように設計できる。 最後に,提案するカスケーディング低ランクフィッティングを効率よく計算するアルゴリズムを提案する。

関連論文リスト

• A Hyperfinite Framework for Score-Based Generative Modeling [0.8122270502556375]
  非標準解析の枠組みの中でスコアベース生成モデリングの超有限定式化を開発する。 内部スコアマッチング対象値の最小化は、逆時間ダイナミクスで要求されるスコア関数を復元することを示す。 適切な仮定の下では、超有限ギルサノフ式を導出し、可能性最適化とフィッシャー偏差目標の関係を確立する。
  論文  参考訳（メタデータ） (2026-08-03T18:51:44Z)
• Tensor-Train Joint Modeling for Few-Step Discrete Diffusion [25.442970567297326]
  本稿では、テンソル分解による離散拡散における明示的な関節分布モデリングの枠組みを提案する。 我々のフレームワークは、軽量な微調整により事前訓練されたMDMに統合され、スクラッチからトレーニングコストのごく一部で、数ステップ生成を大幅に改善する。
  論文  参考訳（メタデータ） (2026-07-04T09:32:12Z)
• Probability-Conserving Flow Guidance [49.03107678763765]
  Adaptive Manifold Guidance (AdaMaG)はリアリズムを改善し、幻覚を減らし、高誘導下での劣化を制御する。 画像生成ベンチマーク全体で、AdaMaGはリアリズムを改善し、幻覚を減らし、高誘導下での劣化を制御する。
  論文  参考訳（メタデータ） (2026-05-19T16:34:01Z)
• Hessian-vector products for tensor networks via recursive tangent-state propagation [1.5282767384702272]
  線形写像の任意の合成のために設計された解析的ヘッセンベクトル積カーネルを導入する。 我々の2次アプローチは、素粒子のトロッタライゼーションよりも4次精度の向上が達成される。
  論文  参考訳（メタデータ） (2026-04-22T09:38:08Z)
• Rethinking Diffusion Models with Symmetries through Canonicalization with Applications to Molecular Graph Generation [56.361076943802594]
  CanonFlowは、挑戦的なGEOM-DRUGデータセット上で最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-02-16T18:58:55Z)
• PRISM: Parallel Residual Iterative Sequence Model [52.26239951489612]
  我々はこの緊張を解決するためにPRISM(Parallel Residual Iterative Sequence Model)を提案する。 PRISMは、パラレル化可能な形で多段階精製の重要な構造特性を捉える、ソルバに着想を得た帰納バイアスを導入している。 この定式化が Rank-$L$ の蓄積を達成することを証明し、更新多様体を単一ステップの Rank-$1$ ボトルネックを超えて構造的に拡張する。
  論文  参考訳（メタデータ） (2026-02-11T12:39:41Z)
• Diffusion Models: A Mathematical Introduction [3.8673630752805437]
  本稿では拡散に基づく生成モデルの自己完結型導出について述べる。 第一原理から拡散確率モデルを構築する。 読者はこの理論に従い、実際に対応するアルゴリズムを実装することができる。
  論文  参考訳（メタデータ） (2025-11-13T16:20:52Z)
• Learning Optical Flow Field via Neural Ordinary Differential Equation [44.16275288019991]
  近年の光学フロー推定では、ニューラルネットワークを用いて、ある画像の位置を他方の位置にマッピングする流れ場を予測している。 連続モデル,すなわちニューラル常微分方程式(ODE)を用いて流れの微分を予測する新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-06-03T18:30:14Z)
• Theoretical Guarantees for High Order Trajectory Refinement in Generative Flows [40.884514919698596]
  フローマッチングは、生成モデリングの強力なフレームワークとして登場した。 我々は,高次フローマッチングが分布推定器として最悪の場合の最適性を保っていることを証明した。
  論文  参考訳（メタデータ） (2025-03-12T05:07:07Z)
• On the Relation Between Linear Diffusion and Power Iteration [42.158089783398616]
  相関機械として生成過程を研究する」 生成過程の早い段階で低周波が出現し, 固有値に依存する速度で, 偏極基底ベクトルが真のデータにより整合していることが示される。 このモデルにより、線形拡散モデルが、一般的な電力反復法と同様に、基礎データの先頭固有ベクトルに平均的に収束することを示すことができる。
  論文  参考訳（メタデータ） (2024-10-16T07:33:12Z)
• Derivative-Free Guidance in Continuous and Discrete Diffusion Models with Soft Value-Based Decoding [84.3224556294803]
  拡散モデルは、画像、分子、DNA、RNA、タンパク質配列の自然なデザイン空間を捉えるのに優れている。 これらの設計空間の自然性を保ちながら、下流の報酬関数を最適化することを目指している。 提案アルゴリズムは,中間雑音状態が将来高い報酬をもたらすことの先駆けとして,ソフトバリュー関数を統合する。
  論文  参考訳（メタデータ） (2024-08-15T16:47:59Z)
• Broadening Target Distributions for Accelerated Diffusion Models via a Novel Analysis Approach [49.97755400231656]
  本研究では,新しいDDPMサンプリング器が,これまで考慮されていなかった3種類の分散クラスに対して高速化性能を実現することを示す。 この結果から, DDPM型加速サンプリング器におけるデータ次元$d$への依存性が改善された。
  論文  参考訳（メタデータ） (2024-02-21T16:11:47Z)
• Linear convergence of forward-backward accelerated algorithms without knowledge of the modulus of strong convexity [14.0409219811182]
  我々はネステロフの加速勾配降下(NAG)とFISTAの両方が強い凸関数に対して線形収束を示すことを示した。 我々は、運動エネルギーの動的適応係数を含むリアプノフ関数の創出に際し、特異なアプローチを強調した。
  論文  参考訳（メタデータ） (2023-06-16T08:58:40Z)
• Last-Iterate Convergence of Saddle-Point Optimizers via High-Resolution Differential Equations [83.3201889218775]
  広く使われている1次サドル点最適化法は、帰納的導出時に同一の連続時間常微分方程式(ODE)を導出する。 しかし、これらの方法の収束特性は、単純な双線型ゲームでさえ質的に異なる。 いくつかのサドル点最適化法のための微分方程式モデルの設計に流体力学の研究フレームワークを採用する。
  論文  参考訳（メタデータ） (2021-12-27T18:31:34Z)
• Estimating High Order Gradients of the Data Distribution by Denoising [81.24581325617552]
  スコアマッチングを復調することにより、データ密度の第1次微分を効率的に推定することができる。 サンプルからデータ密度の高次微分(スコア)を直接推定する手法を提案する。
  論文  参考訳（メタデータ） (2021-11-08T18:59:23Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。