論文の概要: Critically Damped Third-Order Langevin Dynamics

• arxiv url: http://arxiv.org/abs/2409.07697v1
• Date: Thu, 12 Sep 2024 01:59:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-13 18:02:00.559960
• Title: Critically Damped Third-Order Langevin Dynamics
• Title（参考訳）: 臨界減衰3次ランゲヴィンダイナミクス
• Authors: Benjamin Sterling, Monica Bugallo,
• Abstract要約: 本研究は, 3次ランゲヴィンダイナミクス(TOLD)の改良について述べる。 DockhornのCritically-Damped Langevin Dynamics(CLD)と同様、TOLD前方遷移行列を臨界減衰させることによって行われる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While systems analysis has been studied for decades in the context of control theory, it has only been recently used to improve the convergence of Denoising Diffusion Probabilistic Models. This work describes a novel improvement to Third- Order Langevin Dynamics (TOLD), a recent diffusion method that performs better than its predecessors. This improvement, abbreviated TOLD++, is carried out by critically damping the TOLD forward transition matrix similarly to Dockhorn's Critically-Damped Langevin Dynamics (CLD). Specifically, it exploits eigen-analysis of the forward transition matrix to derive the optimal set of dynamics under the original TOLD scheme. TOLD++ is theoretically guaranteed to converge faster than TOLD, and its faster convergence is verified on the Swiss Roll toy dataset and CIFAR-10 dataset according to the FID metric.
• Abstract（参考訳）: システム分析は制御理論の文脈で何十年も研究されてきたが、近年になって拡散確率モデル(英語版)の収束を改善するためにしか使われていない。 本研究は,最近の拡散法である第3次ランゲヴィンダイナミクス(TOLD)の改良について述べる。 この改良(略称TOLD++)は、DockhornのCritically Damped Langevin Dynamics (CLD)と同様、TOLD転送遷移行列を臨界減衰させることによって行われる。 具体的には、フォワード遷移行列の固有解析を利用して、元のTOLDスキームの下で最適なダイナミクスの集合を導出する。 TOLD++は理論的にはTOLDよりも早く収束することが保証されており、その高速収束はFID測定値に従ってSwiss RollのおもちゃデータセットとCIFAR-10データセットで検証されている。

関連論文リスト

• Stochastic Control for Fine-tuning Diffusion Models: Optimality, Regularity, and Convergence [11.400431211239958]
  拡散モデルは生成モデリングの強力なツールとして登場してきた。 微調整拡散モデルのための制御フレームワークを提案する。 PI-FTは線形速度で大域収束することを示す。
  論文  参考訳（メタデータ） (2024-12-24T04:55:46Z)
• Breaking Determinism: Fuzzy Modeling of Sequential Recommendation Using Discrete State Space Diffusion Model [66.91323540178739]
  シークエンシャルレコメンデーション(SR)は、ユーザーが過去の行動に基づいて興味を持つかもしれない項目を予測することを目的としている。 我々はSRを新しい情報理論の観点から再検討し、逐次モデリング手法がユーザの行動のランダム性と予測不可能性を適切に把握できないことを発見した。 ファジィ情報処理理論に触発された本論文では,制限を克服し,ユーザの関心事の進化をよりよく捉えるために,ファジィなインタラクションシーケンスの組を導入する。
  論文  参考訳（メタデータ） (2024-10-31T14:52:01Z)
• Attractor Memory for Long-Term Time Series Forecasting: A Chaos Perspective [63.60312929416228]
  textbftextitAttraosはカオス理論を長期時系列予測に取り入れている。 本研究では,AttraosがPatchTSTと比較して,パラメータの12分の1しか持たない主流データセットやカオスデータセットにおいて,LTSF法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-18T05:35:01Z)
• Dynamic Residual Classifier for Class Incremental Learning [4.02487511510606]
  古いクラスと新しいクラスの間に不均衡なサンプル番号があれば、学習はバイアスを受けることができる。 既存のCIL手法は、例えば、調整された損失やデータ再サンプリング手法など、Longtailed (LT) 認識技術を利用する。 この挑戦的なシナリオに対処するために、新しい動的残留適応(DRC)を提案する。
  論文  参考訳（メタデータ） (2023-08-25T11:07:11Z)
• Langevin Autoencoders for Learning Deep Latent Variable Models [27.60436426879683]
  我々はLangevin autoencoder (LAE) という新しい潜伏変数モデルを提案する。 ALDに基づいて、Langevin autoencoder (LAE) という新しい深層潜伏変数モデルも提示する。
  論文  参考訳（メタデータ） (2022-09-15T04:26:22Z)
• Score-Guided Intermediate Layer Optimization: Fast Langevin Mixing for Inverse Problem [97.64313409741614]
  ランダム重み付きDNNジェネレータを反転させるため,Langevinアルゴリズムの定常分布を高速に混合し,特徴付ける。 本稿では,事前学習した生成モデルの潜時空間における後部サンプリングを提案する。
  論文  参考訳（メタデータ） (2022-06-18T03:47:37Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• Bayesian Learning via Neural Schr\"odinger-F\"ollmer Flows [3.07869141026886]
  我々は、勾配ランゲヴィン力学(SGLD)のような一般的な定常法に代わる有限時間制御を提唱する。 我々は、このフレームワークの既存の理論的保証について議論し、SDEモデルにおける既存のVIルーチンとの接続を確立する。
  論文  参考訳（メタデータ） (2021-11-20T03:51:18Z)
• Optimizing Information-theoretical Generalization Bounds via Anisotropic Noise in SGLD [73.55632827932101]
  SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。 低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
  論文  参考訳（メタデータ） (2021-10-26T15:02:27Z)
• Improving Transformer-Kernel Ranking Model Using Conformer and Query Term Independence [29.442579683405913]
  Transformer-Kernel(TK)モデルは、TREC Deep Learningベンチマークで強力なリランクパフォーマンスを示しています。 TKLと呼ばれるTKモデルの変種が開発され、より長い入力シーケンスを効率的に処理するためにローカルの自己意識が組み込まれている。 本稿では,より長い入力列にtkをスケールするための代替手法として,新しい適合層を提案する。
  論文  参考訳（メタデータ） (2021-04-19T15:32:34Z)
• Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
  GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
  論文  参考訳（メタデータ） (2020-10-28T15:23:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。