論文の概要: Fenchel-Young Variational Learning

• arxiv url: http://arxiv.org/abs/2502.10295v1
• Date: Fri, 14 Feb 2025 16:57:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-17 14:44:55.157041
• Title: Fenchel-Young Variational Learning
• Title（参考訳）: Fenchel-Young変分学習
• Authors: Sophia Sklaviadis, Sweta Agrawal, Antonio Farinhas, Andre Martins, Mario Figueiredo,
• Abstract要約: 本稿では,Fenchel-Young (FY) の損失に基づく新しい変分法について紹介する。 提案した定式化 -- FY変分学習 -- は、FY自由エネルギーの概念、FYエビデンス、FYエビデンス、FY後部といった重要な要素である。
• 参考スコア（独自算出の注目度）: 4.932181263869029
• License:
• Abstract: From a variational perspective, many statistical learning criteria involve seeking a distribution that balances empirical risk and regularization. In this paper, we broaden this perspective by introducing a new general class of variational methods based on Fenchel-Young (FY) losses, treated as divergences that generalize (and encompass) the familiar Kullback-Leibler divergence at the core of classical variational learning. Our proposed formulation -- FY variational learning -- includes as key ingredients new notions of FY free energy, FY evidence, FY evidence lower bound, and FY posterior. We derive alternating minimization and gradient backpropagation algorithms to compute (or lower bound) the FY evidence, which enables learning a wider class of models than previous variational formulations. This leads to generalized FY variants of classical algorithms, such as an FY expectation-maximization (FYEM) algorithm, and latent-variable models, such as an FY variational autoencoder (FYVAE). Our new methods are shown to be empirically competitive, often outperforming their classical counterparts, and most importantly, to have qualitatively novel features. For example, FYEM has an adaptively sparse E-step, while the FYVAE can support models with sparse observations and sparse posteriors.
• Abstract（参考訳）: バリエーションの観点からは、多くの統計的学習基準は経験的リスクと正規化のバランスをとる分布を求めることである。 本稿では、Fenchel-Young(FY)の損失に基づく変分法の新しい一般的なクラスを導入し、古典的変分学習のコアで慣れ親しんだKulback-Leibler分散を一般化(そして包含)する分岐として扱うことにより、この視点を広げる。 提案した定式化 -- FY変分学習 -- は、FY自由エネルギーの概念、FYエビデンス、FYエビデンス、FY後部といった重要な要素である。 我々は、FYエビデンスを計算(または下限)するために、最小化と勾配バックプロパゲーションアルゴリズムの交互化を導出する。 これにより、FY予測最大化(FYEM)アルゴリズムや、FY変分オートエンコーダ(FYVAE)のような潜在変数モデルのような古典アルゴリズムの一般化されたFY変分が導かれる。 私たちの新しい手法は経験的に競争力があり、古典的な手法よりも優れていることが示されています。 例えば、FYEMは適応的にスパースEステップを持ち、FYVAEはスパース観測とスパース後部を持つモデルをサポートすることができる。

関連論文リスト

• Denoising Diffusion Variational Inference: Diffusion Models as Expressive Variational Posteriors [11.01598521921903]
  DDVIは潜在変数モデルのためのブラックボックス変分推論アルゴリズムである。 拡散に基づく変動後肢の表現型クラスを導入する。 我々はこれらの後部を、新しい規則化された証拠を低い境界で訓練する。
  論文  参考訳（メタデータ） (2024-01-05T10:27:44Z)
• Quasi Black-Box Variational Inference with Natural Gradients for Bayesian Learning [84.90242084523565]
  複素モデルにおけるベイズ学習に適した最適化アルゴリズムを開発した。 我々のアプローチは、モデル固有導出に制限のある効率的なトレーニングのための一般的なブラックボックスフレームワーク内の自然な勾配更新に依存している。
  論文  参考訳（メタデータ） (2022-05-23T18:54:27Z)
• Recursive Monte Carlo and Variational Inference with Auxiliary Variables [64.25762042361839]
  再帰的補助変数推論(RAVI)はフレキシブルな提案を利用するための新しいフレームワークである。 RAVIは、表現力のある表現力のある家族を推論するためのいくつかの既存の手法を一般化し、統一する。 RAVIの設計枠組みと定理を,SalimansらによるMarkov Chain Variational Inferenceを用いて解析し,改良することにより示す。
  論文  参考訳（メタデータ） (2022-03-05T23:52:40Z)
• Stochastic Gradient Descent-Ascent: Unified Theory and New Efficient Methods [73.35353358543507]
  SGDA(Gradient Descent-Ascent)は、min-max最適化と変分不等式問題(VIP)を解くための最も顕著なアルゴリズムの1つである。 本稿では,多種多様な降下指数法を網羅した統合収束解析を提案する。 本研究では,新しい分散化手法 (L-SVRGDA) や,新しい分散圧縮方式 (QSGDA, DIANA-SGDA, VR-DIANA-SGDA) ,座標ランダム化方式 (SEGA-SGDA) など,SGDAの新しい変種を開発した。
  論文  参考訳（メタデータ） (2022-02-15T09:17:39Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Loss function based second-order Jensen inequality and its application to particle variational inference [112.58907653042317]
  粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。 PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。 我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
  論文  参考訳（メタデータ） (2021-06-09T12:13:51Z)
• Monotonic Alpha-divergence Minimisation for Variational Inference [0.0]
  本稿では,変化推論の文脈で$alpha$-divergence最小化を実行する新しい反復アルゴリズム群を紹介する。 それらは、変動分布と後続分布の間の$alpha$-divergenceの各ステップにおいて、体系的に減少することを保証する。
  論文  参考訳（メタデータ） (2021-03-09T19:41:03Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。