論文の概要: Efficiently Access Diffusion Fisher: Within the Outer Product Span Space

• arxiv url: http://arxiv.org/abs/2505.23264v1
• Date: Thu, 29 May 2025 09:13:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.777539
• Title: Efficiently Access Diffusion Fisher: Within the Outer Product Span Space
• Title（参考訳）: 外部製品スパン空間における拡散式漁業の効率的な利用
• Authors: Fangyikang Wang, Hubery Yin, Shaobin Zhuang, Huminhao Zhu, Yinan Li, Lei Qian, Chao Zhang, Hanbin Zhao, Hui Qian, Chen Li,
• Abstract要約: 拡散フィッシャーは実際に、スコアと初期データの外部積によって区切られた空間内に存在することを示す。 DFのトレース乗算と行列ベクトル乗算の2つの効率的な近似アルゴリズムを開発した。 確率評価と随伴最適化の実験により,提案アルゴリズムの精度と計算コストの低減が図られた。
• 参考スコア（独自算出の注目度）: 18.839096876681644
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent Diffusion models (DMs) advancements have explored incorporating the second-order diffusion Fisher information (DF), defined as the negative Hessian of log density, into various downstream tasks and theoretical analysis. However, current practices typically approximate the diffusion Fisher by applying auto-differentiation to the learned score network. This black-box method, though straightforward, lacks any accuracy guarantee and is time-consuming. In this paper, we show that the diffusion Fisher actually resides within a space spanned by the outer products of score and initial data. Based on the outer-product structure, we develop two efficient approximation algorithms to access the trace and matrix-vector multiplication of DF, respectively. These algorithms bypass the auto-differentiation operations with time-efficient vector-product calculations. Furthermore, we establish the approximation error bounds for the proposed algorithms. Experiments in likelihood evaluation and adjoint optimization demonstrate the superior accuracy and reduced computational cost of our proposed algorithms. Additionally, based on the novel outer-product formulation of DF, we design the first numerical verification experiment for the optimal transport property of the general PF-ODE deduced map.
• Abstract（参考訳）: 最近の拡散モデル (DM) の進歩は、ログ密度の負のヘシアンとして定義された2次拡散フィッシャー情報 (DF) を様々な下流タスクや理論解析に組み入れることを模索してきた。 しかし、現在の実践は一般的に、学習したスコアネットワークに自動微分を適用することで拡散フィッシャーを近似する。 このブラックボックス方式は単純だが、精度の保証がなく、時間がかかる。 本稿では、拡散フィッシャーが実際に、スコアと初期データの外部積に分散された空間内に存在することを示す。 本研究では,外積構造に基づいて,DFのトレース乗算と行列ベクトル乗算にそれぞれアクセスする2つの効率的な近似アルゴリズムを開発した。 これらのアルゴリズムは、時間効率のベクトル積計算で自動微分演算をバイパスする。 さらに,提案アルゴリズムの近似誤差境界を確立する。 確率評価と随伴最適化の実験により,提案アルゴリズムの精度と計算コストの低減が図られた。 さらに、DFの新規な外積定式化に基づいて、一般PF-ODE推定写像の最適輸送特性に関する最初の数値的な検証実験を設計する。

関連論文リスト

• Derivative-Free Optimization via Finite Difference Approximation: An Experimental Study [1.3886390523644807]
  微分自由最適化(DFO)は、関数評価のみをオラクルで利用できるような複雑な最適化問題の解決に不可欠である。 2つの古典的なイテレーションアプローチは、Kiefer-Wolfowitz (KW) と同時摂動近似 (SPSA) アルゴリズムである。 本稿では,これらの手法の総合的な比較実験を行う。
  論文  参考訳（メタデータ） (2024-10-31T18:07:44Z)
• Faster WIND: Accelerating Iterative Best-of-$N$ Distillation for LLM Alignment [81.84950252537618]
  本稿では,反復的BONDと自己プレイアライメントの統一的なゲーム理論接続を明らかにする。 WINレート支配(WIN rate Dominance, WIND)という新しいフレームワークを構築し, 正規化利率支配最適化のためのアルゴリズムを多数提案する。
  論文  参考訳（メタデータ） (2024-10-28T04:47:39Z)
• On the Wasserstein Convergence and Straightness of Rectified Flow [54.580605276017096]
  Rectified Flow (RF) は、ノイズからデータへの直流軌跡の学習を目的とした生成モデルである。 RFのサンプリング分布とターゲット分布とのワッサーシュタイン距離に関する理論的解析を行った。 本稿では,従来の経験的知見と一致した1-RFの特異性と直線性を保証する一般的な条件について述べる。
  論文  参考訳（メタデータ） (2024-10-19T02:36:11Z)
• Flow-based Distributionally Robust Optimization [23.232731771848883]
  We present a framework, called $textttFlowDRO$, for solve flow-based distributionally robust optimization (DRO) problem with Wasserstein uncertainty set。 我々は、連続した最悪のケース分布(Last Favorable Distribution, LFD)とそれからのサンプルを見つけることを目指している。 本稿では、逆学習、分布論的に堅牢な仮説テスト、およびデータ駆動型分布摂動差分プライバシーの新しいメカニズムを実証する。
  論文  参考訳（メタデータ） (2023-10-30T03:53:31Z)
• Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods [75.34939761152587]
  2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。 本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
  論文  参考訳（メタデータ） (2023-01-30T15:46:39Z)
• Adaptive deep density approximation for fractional Fokker-Planck equations [6.066542157374599]
  本稿では,フローベース深層生成モデルKRnetによって誘導される明示的なPDFモデルについて述べる。 分数ラプラシアンを近似する2つの方法を考える。 これらの2種類のラプラシアン近似法に基づいて、定常FPEと時間依存FPEを近似するために、MCNFとGRBFNFの2つのモデルを提案する。
  論文  参考訳（メタデータ） (2022-10-26T00:58:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。