論文の概要: Stability-based Generalization Bounds for Variational Inference

• arxiv url: http://arxiv.org/abs/2502.12353v1
• Date: Mon, 17 Feb 2025 22:40:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:06:31.180388
• Title: Stability-based Generalization Bounds for Variational Inference
• Title（参考訳）: 変分推論のための安定性に基づく一般化境界
• Authors: Yadi Wei, Roni Khardon,
• Abstract要約: 変分推論(VI)はベイズ機械学習における近似推論に広く用いられている。 本稿では、近似ベイズアルゴリズムのクラスに対する安定性に基づく一般化境界を開発する。 新しいアプローチはPAC-Bayes分析を補完し、場合によってはより厳密な境界を提供する。
• 参考スコア（独自算出の注目度）: 3.146069168382982
• License:
• Abstract: Variational inference (VI) is widely used for approximate inference in Bayesian machine learning. In addition to this practical success, generalization bounds for variational inference and related algorithms have been developed, mostly through the connection to PAC-Bayes analysis. A second line of work has provided algorithm-specific generalization bounds through stability arguments or using mutual information bounds, and has shown that the bounds are tight in practice, but unfortunately these bounds do not directly apply to approximate Bayesian algorithms. This paper fills this gap by developing algorithm-specific stability based generalization bounds for a class of approximate Bayesian algorithms that includes VI, specifically when using stochastic gradient descent to optimize their objective. As in the non-Bayesian case, the generalization error is bounded by by expected parameter differences on a perturbed dataset. The new approach complements PAC-Bayes analysis and can provide tighter bounds in some cases. An experimental illustration shows that the new approach yields non-vacuous bounds on modern neural network architectures and datasets and that it can shed light on performance differences between variant approximate Bayesian algorithms.
• Abstract（参考訳）: 変分推論(VI)はベイズ機械学習における近似推論に広く用いられている。 この実践的な成功に加えて、変分推論と関連するアルゴリズムの一般化境界が開発され、主にPAC-Bayes解析と結びついている。 2行目の研究は、安定性の議論や相互情報境界によるアルゴリズム固有の一般化のバウンダリを提供し、そのバウンダリが実際は厳密であることを示したが、残念ながらこれらのバウンダリは近似ベイズアルゴリズムに直接適用されない。 本稿では,VIを含む近似ベイズアルゴリズムのクラスに対するアルゴリズム固有の安定性に基づく一般化境界を開発することにより,このギャップを埋める。 非ベイズの場合と同様に、一般化誤差は摂動データセット上の期待パラメータ差によって制限される。 新しいアプローチはPAC-Bayes分析を補完し、場合によってはより厳密な境界を提供する。 実験的な図は、この新しいアプローチが現代のニューラルネットワークアーキテクチャとデータセットに非空境界をもたらすことを示し、可変近似ベイズアルゴリズムのパフォーマンス差に光を当てることができることを示している。

関連論文リスト

• Quantitative Error Bounds for Scaling Limits of Stochastic Iterative Algorithms [10.022615790746466]
  アルゴリズムのサンプルパスとOrnstein-Uhlenbeck近似の非漸近関数近似誤差を導出する。 我々は、L'evy-Prokhorov と有界ワッサーシュタイン距離という2つの一般的な測度で誤差境界を構築するために、主要な結果を使用する。
  論文  参考訳（メタデータ） (2025-01-21T15:29:11Z)
• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• An Information-Theoretic Approach to Generalization Theory [27.87324770020133]
  学習アルゴリズムと学習データ間の依存度を定量化する情報理論境界を解析する。 一定のプライバシーパラメータを持つ場合であっても,最大リークが制限されたアルゴリズムにより一般化が保証されることを示す。
  論文  参考訳（メタデータ） (2024-08-20T10:08:21Z)
• A general error analysis for randomized low-rank approximation with application to data assimilation [42.57210316104905]
  中心行列および非標準行列に対するフロベニウスノルムにおける低ランク近似誤差の解析のための枠組みを提案する。 最小限の仮定の下では、期待と確率の正確な境界を導出する。 私たちの境界には、プロパティを導出し、実践的な選択を動機付けるための明確な解釈があります。
  論文  参考訳（メタデータ） (2024-05-08T04:51:56Z)
• Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
  Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。 解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
  論文  参考訳（メタデータ） (2023-03-31T02:10:30Z)
• Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
  決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。 厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。 このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
  論文  参考訳（メタデータ） (2021-11-29T15:10:09Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Optimal oracle inequalities for solving projected fixed-point equations [53.31620399640334]
  ヒルベルト空間の既知の低次元部分空間を探索することにより、確率観測の集合を用いて近似解を計算する手法を検討する。 本稿では,線形関数近似を用いた政策評価問題に対する時間差分学習手法の誤差を正確に評価する方法について述べる。
  論文  参考訳（メタデータ） (2020-12-09T20:19:32Z)
• Distributed Variational Bayesian Algorithms Over Sensor Networks [6.572330981878818]
  一般ベイズ推論問題に対する2つの新しい分散VBアルゴリズムを提案する。 提案アルゴリズムは、核融合センターで利用可能な全データに依存する集中型VBアルゴリズムとほぼ同等の性能を有する。
  論文  参考訳（メタデータ） (2020-11-27T08:12:18Z)
• Distributed Value Function Approximation for Collaborative Multi-Agent Reinforcement Learning [2.7071541526963805]
  本稿では,多エージェントオフポリシー学習のための分散勾配に基づく時間差分アルゴリズムを提案する。 提案するアルゴリズムは,その形式,可視性トレースの定義,時間スケールの選択,コンセンサス反復を組み込む方法などによって異なる。 より弱い情報構造制約の下で時間差分アルゴリズムにどのように適用できるかを示す。
  論文  参考訳（メタデータ） (2020-06-18T11:46:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。