論文の概要: Information Geometry of Variational Bayes
- arxiv url: http://arxiv.org/abs/2509.15641v1
- Date: Fri, 19 Sep 2025 06:07:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-22 18:18:11.021287
- Title: Information Geometry of Variational Bayes
- Title（参考訳）: 変分湾の情報幾何学
- Authors: Mohammad Emtiyaz Khan,
- Abstract要約: 情報幾何学と変分ベイズ(VB)の基本的な関係を強調した。
ベイズ学習規則(Bayesian Learning Rule, BLR)と呼ばれる,Khan and Rue (2023)の自然勾配降下アルゴリズムを用いて,この事実のいくつかの結果を示す。
関連性も結果も新しいものではないが、情報幾何学とベイズの2つの分野の共通起源をさらに強調する。
- 参考スコア（独自算出の注目度）: 14.399888986756196
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We highlight a fundamental connection between information geometry and variational Bayes (VB) and discuss its consequences for machine learning. Under certain conditions, a VB solution always requires estimation or computation of natural gradients. We show several consequences of this fact by using the natural-gradient descent algorithm of Khan and Rue (2023) called the Bayesian Learning Rule (BLR). These include (i) a simplification of Bayes' rule as addition of natural gradients, (ii) a generalization of quadratic surrogates used in gradient-based methods, and (iii) a large-scale implementation of VB algorithms for large language models. Neither the connection nor its consequences are new but we further emphasize the common origins of the two fields of information geometry and Bayes with a hope to facilitate more work at the intersection of the two fields.
- Abstract（参考訳）: 本稿では,情報幾何学と変分ベイズ(VB)の基本的な関係を強調し,その機械学習への影響について論じる。
ある条件下では、VB解は常に自然勾配の推定や計算を必要とする。
Khan と Rue (2023) の自然勾配降下アルゴリズムである Bayesian Learning Rule (BLR) を用いて,この事実のいくつかの結果を示す。
以下を含む。
(i)自然勾配の追加としてベイズの規則を単純化すること。
(二)勾配法で用いられる二次代理の一般化及び
(iii)大規模言語モデルのためのVBアルゴリズムの大規模実装。
接続も結果も新しいものではないが、情報幾何学とベイズの2つの分野の共通起源をさらに強調し、2つの分野の交差点でのさらなる研究を促進することを期待する。
関連論文リスト
- GeoEdit: Geometric Knowledge Editing for Large Language Models [52.37408324849593]
大規模言語モデル(LLM)における最新の知識を維持するためには、定期的な更新が不可欠である。
幾何学的知識編集(GeoEdit)と呼ばれる新しいフレームワークを提案する。
GeoEditは、新しい知識更新に関連するニューロンと、一般的な知識摂動に関連するニューロンを区別する。
残りのニューロンに対しては、整列方向の古知識と新知識を統合し、反対方向の「forget-then-learn」編集戦略を適用した。
論文 参考訳（メタデータ） (2025-02-27T10:27:48Z) - Deep Learning and Bayesian inference for Inverse Problems [8.315530799440554]
我々は,特に逆問題に適応したNN,DL,具体的にはベイズDLに焦点を当てる。
第一に、フォワード演算子が物理学制約として知られ、使用される場合、第二に、より一般的なデータ駆動型DL法である。
論文 参考訳（メタデータ） (2023-08-28T04:27:45Z) - Bayesian Learning for Neural Networks: an algorithmic survey [95.42181254494287]
この自己完結型調査は、ベイズ学習ニューラルネットワークの原理とアルゴリズムを読者に紹介する。
アクセシブルで実践的な視点からこのトピックを紹介します。
論文 参考訳（メタデータ） (2022-11-21T21:36:58Z) - Quasi Black-Box Variational Inference with Natural Gradients for
Bayesian Learning [84.90242084523565]
複素モデルにおけるベイズ学習に適した最適化アルゴリズムを開発した。
我々のアプローチは、モデル固有導出に制限のある効率的なトレーニングのための一般的なブラックボックスフレームワーク内の自然な勾配更新に依存している。
論文 参考訳（メタデータ） (2022-05-23T18:54:27Z) - Bayesian Active Learning by Disagreements: A Geometric Perspective [64.39292542263286]
モデル不確実性推定と相互作用するコアセット構築においてBALDを実行するフレームワークである不一致による幾何学的アクティブラーニング(GBALD)を提案する。
GBALDはノイズや繰り返しのサンプルに対してわずかに摂動があり、BALDやBatchBALDなど既存の深層学習アプローチよりも優れています。
論文 参考訳（メタデータ） (2021-05-06T09:37:59Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳（メタデータ） (2020-06-16T13:41:54Z) - On the Locality of the Natural Gradient for Deep Learning [0.0]
ニューラルネットワークを含むディープベイズネットワークにおける学習の自然な勾配法について検討する。
自然勾配の2つのバージョンの関係を研究するための理論を開発する。
本手法は,深層ネットワークにおける自然勾配法を効率的に適用するための補助モデルとして認識モデルを組み込むことを提案する。
論文 参考訳（メタデータ） (2020-05-21T17:17:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。