論文の概要: Accelerating Particle-based Energetic Variational Inference

• arxiv url: http://arxiv.org/abs/2504.03158v1
• Date: Fri, 04 Apr 2025 04:31:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-07 14:49:32.147079
• Title: Accelerating Particle-based Energetic Variational Inference
• Title（参考訳）: 粒子に基づくエネルギー変動推定の高速化
• Authors: Xuelian Bao, Lulu Kang, Chun Liu, Yiwei Wang,
• Abstract要約: EVI-Im を高速化する粒子ベース変分推定法 (ParVI) を提案する。 勾配流のエネルギー四分法(EQ)と演算子分割法に着想を得て,本手法は粒子を目標分布へ効率的に駆動する。
• 参考スコア（独自算出の注目度）: 5.618322163107168
• License:
• Abstract: In this work, we propose a novel particle-based variational inference (ParVI) method that accelerates the EVI-Im. Inspired by energy quadratization (EQ) and operator splitting techniques for gradient flows, our approach efficiently drives particles towards the target distribution. Unlike EVI-Im, which employs the implicit Euler method to solve variational-preserving particle dynamics for minimizing the KL divergence, derived using a "discretize-then-variational" approach, the proposed algorithm avoids repeated evaluation of inter-particle interaction terms, significantly reducing computational cost. The framework is also extensible to other gradient-based sampling techniques. Through several numerical experiments, we demonstrate that our method outperforms existing ParVI approaches in efficiency, robustness, and accuracy.
• Abstract（参考訳）: 本研究では, EVI-Im を加速する新しい粒子ベース変分推定法 (ParVI) を提案する。 勾配流のエネルギー四分法(EQ)と演算子分割法に着想を得て,本手法は粒子を目標分布へ効率的に駆動する。 KL分散を最小化するために暗黙のオイラー法を用いるEVI-Imとは異なり、提案アルゴリズムは粒子間相互作用項の繰り返し評価を回避し、計算コストを大幅に削減する。 このフレームワークは他の勾配に基づくサンプリング手法にも拡張可能である。 いくつかの数値実験により,提案手法は既存のParVI手法よりも効率,堅牢性,精度が優れていることを示した。

関連論文リスト

• Faster WIND: Accelerating Iterative Best-of-$N$ Distillation for LLM Alignment [81.84950252537618]
  本稿では,反復的BONDと自己プレイアライメントの統一的なゲーム理論接続を明らかにする。 WINレート支配(WIN rate Dominance, WIND)という新しいフレームワークを構築し, 正規化利率支配最適化のためのアルゴリズムを多数提案する。
  論文  参考訳（メタデータ） (2024-10-28T04:47:39Z)
• Semi-Implicit Functional Gradient Flow for Efficient Sampling [30.32233517392456]
  本稿では,ガウス雑音を近似系とする摂動粒子を用いた関数勾配ParVI法を提案する。 ニューラルネットワークと一致するスコアをデノナイズすることで推定できる機能的勾配流は,強い理論的収束保証を示す。 さらに,サンプリング中の適切な雑音の大きさを自動的に選択する適応バージョンを提案する。
  論文  参考訳（メタデータ） (2024-10-23T15:00:30Z)
• Sample-efficient Bayesian Optimisation Using Known Invariances [56.34916328814857]
  バニラと制約付きBOアルゴリズムは、不変目的を最適化する際の非効率性を示す。 我々はこれらの不変カーネルの最大情報ゲインを導出する。 核融合炉用電流駆動システムの設計に本手法を用い, 高性能溶液の探索を行った。
  論文  参考訳（メタデータ） (2024-10-22T12:51:46Z)
• Particle Semi-Implicit Variational Inference [2.555222031881788]
  半単純変分推論(SIVI)は、カーネルと混合分布を利用して変分族を表現する。 既存のSIVI法は、暗黙の分布を用いて混合分布をパラメータ化し、難解な変動密度をもたらす。 本研究では, 最適混合分布を近似する実験手法を用いて, PVI (Particle Variational Inference) と呼ばれるSIVIの新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-30T10:21:41Z)
• D4FT: A Deep Learning Approach to Kohn-Sham Density Functional Theory [79.50644650795012]
  コーンシャム密度汎関数論(KS-DFT)を解くための深層学習手法を提案する。 このような手法はSCF法と同じ表現性を持つが,計算複雑性は低下する。 さらに,本手法により,より複雑なニューラルベース波動関数の探索が可能となった。
  論文  参考訳（メタデータ） (2023-03-01T10:38:10Z)
• Reweighted Interacting Langevin Diffusions: an Accelerated Sampling Methodfor Optimization [28.25662317591378]
  本稿では, サンプリング手法を高速化し, 難解な最適化問題の解法を提案する。 提案手法は, 後部分布サンプリングとLangevin Dynamicsを用いた最適化の関連性について検討する。
  論文  参考訳（メタデータ） (2023-01-30T03:48:20Z)
• Sampling with Mollified Interaction Energy Descent [57.00583139477843]
  モーフィファイド相互作用エネルギー降下(MIED)と呼ばれる新しい最適化に基づくサンプリング手法を提案する。 MIEDは、モル化相互作用エネルギー(MIE)と呼ばれる確率測度に関する新しいクラスのエネルギーを最小化する 我々は,制約のないサンプリング問題に対して,我々のアルゴリズムがSVGDのような既存の粒子ベースアルゴリズムと同等に動作することを示す。
  論文  参考訳（メタデータ） (2022-10-24T16:54:18Z)
• A Discrete Variational Derivation of Accelerated Methods in Optimization [68.8204255655161]
  最適化のための異なる手法を導出できる変分法を導入する。 我々は1対1の対応において最適化手法の2つのファミリを導出する。 自律システムのシンプレクティシティの保存は、ここでは繊維のみに行われる。
  論文  参考訳（メタデータ） (2021-06-04T20:21:53Z)
• Particle-based Energetic Variational Inference [4.079427359693159]
  エネルギー変動推論(EVI)と呼ばれる新しい変動推論(VI)フレームワークを導入する。 我々は,多くの既存のパーティクルベースの変分推論(ParVI)手法を導出し,その適用例をSVGD (Stin Variational Gradient Descent) と呼ぶ。 本稿では,まず粒子に基づく密度近似を行い,その近似密度を変動過程に用いた新しいパーティクルベースEVI法を提案する。
  論文  参考訳（メタデータ） (2020-04-14T12:14:08Z)
• Interpolation Technique to Speed Up Gradients Propagation in Neural ODEs [71.26657499537366]
  本稿では,ニューラルネットワークモデルにおける勾配の効率的な近似法を提案する。 我々は、分類、密度推定、推論近似タスクにおいて、ニューラルODEをトレーニングするリバースダイナミック手法と比較する。
  論文  参考訳（メタデータ） (2020-03-11T13:15:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。