論文の概要: Variational Learning with Lie Group Exponential Families

• arxiv url: http://arxiv.org/abs/2611.04513v1
• Date: Tue, 03 Nov 2026 08:38:42 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:50:58.666802
• Title: Variational Learning with Lie Group Exponential Families
• Title（参考訳）: Lie Group Exponential Familiesによる変分学習
• Abstract要約: ディープニューラルネットワークに対する変分ベイズ学習は多くの潜在的な利点をもたらす。 実装の難しさは、変分分布のパラメータの制約から生じる。 このような困難を自然に克服する乗法やアフィン群に対するリー群法を提案する。
• 参考スコア（独自算出の注目度）: 14.586080520668103
• License:
• Abstract: Variational Bayesian learning for deep neural networks offers many potential benefits. The difficulty in implementation arises from constraints on the parameters of the variational distributions, as well as the need for low-variance gradient estimators. Our recent work proposes Lie group methods for multiplicative or affine groups that naturally overcome such difficulties. Lie groups are essentially parameter spaces with a binary operator such as addition or multiplication, which allows for natural updates within the parameter space. In this article, we streamline and extend our Lie group framework to any general Lie group, and give an explicit relation to standard natural-gradient variational learning methods such as the Bayesian learning rule (BLR). In particular, we prove that linear approximations of the Lie group algorithm give generalizations of the BLR. The key ingredient is the harmonic exponential family, a general class of Lie group exponential families associated to representations of Lie groups. Our work provides a systematic method to construct from such representations efficiently implementable algorithms for variational learning.
• Abstract（参考訳）: ディープニューラルネットワークに対する変分ベイズ学習は多くの潜在的な利点をもたらす。 実装の難しさは、変動分布のパラメータの制約や、低分散勾配推定器の必要性から生じる。 我々の最近の研究は、そのような困難を自然に克服する乗法やアフィン群に対するリー群法を提案する。 リー群は本質的にパラメータ空間であり、加法や乗法のような二項演算子を持ち、パラメータ空間内での自然な更新を可能にする。 本稿では,リー群フレームワークを任意の一般リー群に合理化して拡張し,ベイズ学習規則(BLR)のような標準の自然段階的な変分学習手法に明示的に関連付ける。 特に、リー群アルゴリズムの線形近似がBLRの一般化をもたらすことを証明している。 鍵となる要素は、リー群の表現に付随するリー群指数族の一般類である調和指数族である。 我々の研究は、変分学習のための効率的な実装可能なアルゴリズムを、そのような表現から構築する体系的な方法を提供する。

関連論文リスト

• Lie Group Decompositions for Equivariant Neural Networks [12.139222986297261]
  コンボリューションカーネルをパラメータ化してアフィン変換に対する同変モデルを構築する方法を示す。 我々は,ベンチマークアフィン不変分類タスクにおいて,モデルのロバスト性と分布外一般化能力を評価する。
  論文  参考訳（メタデータ） (2023-10-17T16:04:33Z)
• The Lie-Group Bayesian Learning Rule [15.058161307401864]
  Bayesian Learning Ruleは汎用アルゴリズム設計のためのフレームワークを提供するが、3つの理由から使うのは難しい。 任意の基底分布の変換によって後続がパラメータ化されるようなリー群に基づく拡張を提案する。 我々は,この新たな学習規則を用いて,生物学的に有望な属性を持つ深層学習のアルゴリズムを導出し,スパースな特徴を学習する。
  論文  参考訳（メタデータ） (2023-03-08T06:14:55Z)
• Discovering Sparse Representations of Lie Groups with Machine Learning [55.41644538483948]
  本手法はローレンツ群の生成元の正準表現を再現することを示す。 このアプローチは完全に一般であり、任意のリー群に対する無限小生成元を見つけるのに使うことができる。
  論文  参考訳（メタデータ） (2023-02-10T17:12:05Z)
• Optimal Online Generalized Linear Regression with Stochastic Noise and Its Application to Heteroscedastic Bandits [88.6139446295537]
  一般化線形モデルの設定におけるオンライン一般化線形回帰の問題について検討する。 ラベルノイズに対処するため、古典的追従正規化リーダ(FTRL)アルゴリズムを鋭く解析する。 本稿では,FTRLに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-02-28T08:25:26Z)
• Commutative Lie Group VAE for Disentanglement Learning [96.32813624341833]
  本研究では,データに表される因子の変動を同変的に反映する基盤構造を見いだすこととして,非絡み合い学習を考察する。 グループベースの非絡み合い学習を実現するために、Communative Lie Group VAEというシンプルなモデルが導入された。 実験により,本モデルでは,教師なしの非絡み合い表現を効果的に学習し,余分な制約を伴わずに最先端のパフォーマンスを達成できることが示されている。
  論文  参考訳（メタデータ） (2021-06-07T07:03:14Z)
• LieTransformer: Equivariant self-attention for Lie Groups [49.9625160479096]
  群等価ニューラルネットワークは群不変ニューラルネットワークの構成要素として用いられる。 我々は、文学の範囲を、ディープラーニングモデルの顕著な構築ブロックとして現れつつある自己注意にまで広げる。 任意のリー群とその離散部分群に同値なリー自己結合層からなる構造であるリー変換器を提案する。
  論文  参考訳（メタデータ） (2020-12-20T11:02:49Z)
• Towards Improved and Interpretable Deep Metric Learning via Attentive Grouping [103.71992720794421]
  グループ化は、様々な特徴の計算にディープ・メトリック・ラーニングでよく用いられてきた。 本稿では,任意のメトリクス学習フレームワークと柔軟に統合可能な,改良された解釈可能なグループ化手法を提案する。
  論文  参考訳（メタデータ） (2020-11-17T19:08:24Z)
• Stochastic Flows and Geometric Optimization on the Orthogonal Group [52.50121190744979]
  直交群 $O(d)$ 上の幾何駆動最適化アルゴリズムの新しいクラスを示す。 提案手法は,深層,畳み込み,反復的なニューラルネットワーク,強化学習,フロー,メトリック学習など,機械学習のさまざまな分野に適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-03-30T15:37:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。