論文の概要: Variational Inference Optimized Using the Curved Geometry of Coupled Free Energy

• arxiv url: http://arxiv.org/abs/2506.09091v1
• Date: Tue, 10 Jun 2025 10:47:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 06:35:01.683409
• Title: Variational Inference Optimized Using the Curved Geometry of Coupled Free Energy
• Title（参考訳）: 結合自由エネルギーの曲線幾何学を用いた変分推論
• Authors: Kenric Nelson, Igor Oliveira, Amenah Al-Najafi, Fode Zhang, Hon Keung Tony Ng,
• Abstract要約: 結合自由エネルギーに基づく変分推論のための最適化フレームワークを提案する。 我々は、結合指数族の曲面幾何学を考慮に入れ、変分推論手法を拡張した。
• 参考スコア（独自算出の注目度）: 4.252549987351643
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We introduce an optimization framework for variational inference based on the coupled free energy, extending variational inference techniques to account for the curved geometry of the coupled exponential family. This family includes important heavy-tailed distributions such as the generalized Pareto and the Student's t. By leveraging the coupled free energy, which is equal to the coupled evidence lower bound (ELBO) of the inverted probabilities, we improve the accuracy and robustness of the learned model. The coupled generalization of Fisher Information metric and the affine connection. The method is applied to the design of a coupled variational autoencoder (CVAE). By using the coupling for both the distributions and cost functions, the reconstruction metric is derived to still be the mean-square average loss with modified constants. The novelty comes from sampling the heavy-tailed latent distribution with its associated coupled probability, which has faster decaying tails. The result is the ability to train a model with high penalties in the tails, while assuring that the training samples have a reduced number of outliers. The Wasserstein-2 or Fr\'echet Inception Distance of the reconstructed CelebA images shows the CVAE has a 3\% improvement over the VAE after 5 epochs of training.
• Abstract（参考訳）: 本稿では,結合された指数族の曲面幾何学を考慮に入れた,結合された自由エネルギーに基づく変分推論のための最適化フレームワークを提案する。 この科には、一般化されたパレートや学生のtのような重要な重尾分布が含まれる。 逆確率の結合エビデンスローバウンド(ELBO)と等しい結合自由エネルギーを利用することで、学習モデルの精度と堅牢性を向上させる。 フィッシャー情報量とアフィン接続の連成一般化 本手法は,結合型変分オートエンコーダ(CVAE)の設計に適用する。 分散関数とコスト関数の両方の結合を用いて、再構成計量は、修正定数を持つ平均2乗平均損失として導出される。 この新奇性は、重い尾を持つ潜伏分布と関連する結合確率をサンプリングすることによって生じる。 その結果、トレーニングサンプルが外れ値の減少を保証しつつ、テールに高いペナルティを持つモデルをトレーニングすることが可能になった。 再建されたCelebA画像のWasserstein-2またはFr'echet Inception Distanceは、CVAEが5時間後のVAEよりも3倍改善したことを示している。

関連論文リスト

• Rectified Diffusion Guidance for Conditional Generation [62.00207951161297]
  CFGの背後にある理論を再検討し、組合せ係数の不適切な構成(すなわち、広く使われている和対1バージョン)が生成分布の期待シフトをもたらすことを厳密に確認する。 本稿では,誘導係数を緩和したReCFGを提案する。 このようにして、修正された係数は観測されたデータをトラバースすることで容易に事前計算でき、サンプリング速度はほとんど影響を受けない。
  論文  参考訳（メタデータ） (2024-10-24T13:41:32Z)
• Bayesian Circular Regression with von Mises Quasi-Processes [57.88921637944379]
  本研究では、円値ランダム関数上の表現的および解釈可能な分布の族を探索する。 後部推論のために,高速ギブズサンプリングに寄与するストラトノビッチ様拡張法を導入する。 本研究では,このモデルを用いて風向予測と走行歩行周期のパーセンテージを関節角度の関数として適用する実験を行った。
  論文  参考訳（メタデータ） (2024-06-19T01:57:21Z)
• Variance-Reducing Couplings for Random Features [57.73648780299374]
  ランダム機能(RF)は、機械学習においてカーネルメソッドをスケールアップする一般的なテクニックである。 ユークリッド空間と離散入力空間の両方で定義されるRFを改善するための結合を求める。 パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
  論文  参考訳（メタデータ） (2024-05-26T12:25:09Z)
• A U-turn on Double Descent: Rethinking Parameter Counting in Statistical Learning [68.76846801719095]
  二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。 これは二重降下と統計的直観の間の緊張を解消する。
  論文  参考訳（メタデータ） (2023-10-29T12:05:39Z)
• Large Skew-t Copula Models and Asymmetric Dependence in Intraday Equity Returns [0.49157446832511503]
  スクリュー・トゥ・コプラモデル(英語版)は、非対称かつ極端なテール依存を可能にするため、財務データのモデリングに魅力的なものである。 Azzalini と Capitanio (2003) の skew-t 分布に暗黙的に表されるコプラは、2つの一般的な代替スキュー-t コプラよりも高レベルな対非対称依存を可能にすることを示す。 本稿では,高速かつ高精度なベイズ変分推論(VI)手法を提案する。
  論文  参考訳（メタデータ） (2023-08-10T13:24:45Z)
• Break The Spell Of Total Correlation In betaTCVAE [4.38301148531795]
  本稿では,全相関の反復的分解経路を提案し,VAEの非絡み合い表現能力について説明する。 新たなモデルにより、VAEはパラメータキャパシティを柔軟に分割し、依存データと独立データの特徴を分割することができる。
  論文  参考訳（メタデータ） (2022-10-17T07:16:53Z)
• A Model for Multi-View Residual Covariances based on Perspective Deformation [88.21738020902411]
  マルチビューSfM, オードメトリ, SLAMセットアップにおける視覚的残差の共分散モデルの導出を行う。 我々は、合成データと実データを用いてモデルを検証し、それを光度および特徴量に基づくバンドル調整に統合する。
  論文  参考訳（メタデータ） (2022-02-01T21:21:56Z)
• The Heavy-Tail Phenomenon in SGD [7.366405857677226]
  最小損失のHessianの構造に依存すると、SGDの反復はエンフェビーテールの定常分布に収束する。 深層学習におけるSGDの行動に関する知見に分析結果を変換する。
  論文  参考訳（メタデータ） (2020-06-08T16:43:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。