論文の概要: Scalable Bayesian Meta-Learning through Generalized Implicit Gradients
- arxiv url: http://arxiv.org/abs/2303.17768v1
- Date: Fri, 31 Mar 2023 02:10:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-03 15:27:03.687685
- Title: Scalable Bayesian Meta-Learning through Generalized Implicit Gradients
- Title（参考訳）: 一般化暗黙的勾配によるスケーラブルベイズメタラーニング
- Authors: Yilang Zhang, Bingcong Li, Shijian Gao, Georgios B. Giannakis
- Abstract要約: Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。
解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
- 参考スコア（独自算出の注目度）: 64.21628447579772
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Meta-learning owns unique effectiveness and swiftness in tackling emerging
tasks with limited data. Its broad applicability is revealed by viewing it as a
bi-level optimization problem. The resultant algorithmic viewpoint however,
faces scalability issues when the inner-level optimization relies on
gradient-based iterations. Implicit differentiation has been considered to
alleviate this challenge, but it is restricted to an isotropic Gaussian prior,
and only favors deterministic meta-learning approaches. This work markedly
mitigates the scalability bottleneck by cross-fertilizing the benefits of
implicit differentiation to probabilistic Bayesian meta-learning. The novel
implicit Bayesian meta-learning (iBaML) method not only broadens the scope of
learnable priors, but also quantifies the associated uncertainty. Furthermore,
the ultimate complexity is well controlled regardless of the inner-level
optimization trajectory. Analytical error bounds are established to demonstrate
the precision and efficiency of the generalized implicit gradient over the
explicit one. Extensive numerical tests are also carried out to empirically
validate the performance of the proposed method.
- Abstract（参考訳）: メタラーニングは、限られたデータで新しいタスクに取り組むためのユニークな効果と迅速性を所有している。
その幅広い適用性は、二段階最適化問題と見なすことで明らかにされる。
しかし、アルゴリズムの観点では、内部レベルの最適化が勾配に基づく反復に依存する場合、スケーラビリティの問題に直面している。
暗黙的な分化はこの課題を緩和すると考えられているが、これは等方性ガウス前駆体に限定され、決定論的メタラーニングアプローチのみを好む。
この研究は、確率的ベイズメタラーニングに対する暗黙の微分の利点を交互に活用することで、スケーラビリティのボトルネックを著しく軽減する。
暗黙的ベイズメタラーニング(iBaML)法は、学習可能な事前の範囲を広げるだけでなく、関連する不確実性を定量化する。
さらに、究極の複雑性は、内部レベルの最適化軌道に関わらずよく制御される。
解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
また,提案手法の性能を実証的に検証するために,広範囲な数値実験を行った。
関連論文リスト
- A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。
これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。
我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文 参考訳（メタデータ） (2024-10-14T12:10:06Z) - Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。
ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。
ゲームにおける高速収束と拡張逆最適化への応用について述べる。
論文 参考訳（メタデータ） (2024-08-17T02:22:08Z) - A Learning-Based Optimal Uncertainty Quantification Method and Its
Application to Ballistic Impact Problems [1.713291434132985]
本稿では、入力(または事前)測度が部分的に不完全であるシステムに対する最適(最大および無限)不確実性境界について述べる。
本研究では,不確実性最適化問題に対する学習基盤の枠組みを実証する。
本手法は,工学的実践における性能証明と安全性のためのマップ構築に有効であることを示す。
論文 参考訳（メタデータ） (2022-12-28T14:30:53Z) - Self-adaptive algorithms for quasiconvex programming and applications to
machine learning [0.0]
凸線探索技術や,軽微な仮定の下での汎用的アプローチを含まない,自己適応的なステップサイズ戦略を提案する。
提案手法は,いくつかの計算例から予備的な結果によって検証される。
大規模問題に対する提案手法の有効性を実証するため,機械学習実験に適用した。
論文 参考訳（メタデータ） (2022-12-13T05:30:29Z) - MARS: Meta-Learning as Score Matching in the Function Space [79.73213540203389]
本稿では,一連の関連するデータセットから帰納バイアスを抽出する手法を提案する。
機能的ベイズニューラルネットワーク推論を用いて、前者をプロセスとみなし、関数空間で推論を行う。
本手法は,データ生成プロセスのスコア関数をメタラーニングすることにより,複雑な事前知識をシームレスに獲得し,表現することができる。
論文 参考訳（メタデータ） (2022-10-24T15:14:26Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳（メタデータ） (2021-07-21T17:10:14Z) - High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。
そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
論文 参考訳（メタデータ） (2021-06-10T17:54:21Z) - From inexact optimization to learning via gradient concentration [22.152317081922437]
本稿では,滑らかな損失関数を持つ線形モデルの文脈における現象について検討する。
本稿では、不正確な最適化と確率論、特に勾配集中のアイデアを組み合わせた証明手法を提案する。
論文 参考訳（メタデータ） (2021-06-09T21:23:29Z) - Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate
in Gradient Descent [20.47598828422897]
第一次下降法における学習率の適応的選択のための新しいアプローチであるtextit-Meta-Regularizationを提案する。
本手法は,正規化項を追加して目的関数を修正し,共同処理パラメータをキャストする。
論文 参考訳（メタデータ） (2021-04-12T13:13:34Z) - The Strength of Nesterov's Extrapolation in the Individual Convergence
of Nonsmooth Optimization [0.0]
ネステロフの外挿は、非滑らかな問題に対して勾配降下法の個人収束を最適にする強さを持つことを証明している。
提案手法は,設定の非滑らかな損失を伴って正規化学習タスクを解くためのアルゴリズムの拡張である。
本手法は,大規模な1-正規化ヒンジロス学習問題の解法として有効である。
論文 参考訳（メタデータ） (2020-06-08T03:35:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。