論文の概要: Information-Theoretic Analysis of Epistemic Uncertainty in Bayesian Meta-learning

• arxiv url: http://arxiv.org/abs/2106.00252v1
• Date: Tue, 1 Jun 2021 06:23:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-02 14:01:36.188072
• Title: Information-Theoretic Analysis of Epistemic Uncertainty in Bayesian Meta-learning
• Title（参考訳）: ベイズメタラーニングにおける認識不確実性の情報理論解析
• Authors: Sharu Theresa Jose, Sangwoo Park, Osvaldo Simeone
• Abstract要約: 本稿では,ベイズ的メタラーニングにおける情報理論の枠組みにおける不確実性について論じる。 タスクの数やタスク毎のトレーニングデータの量に不確実性が依存していることに対する洞察をもたらす。 ニューラル相互情報推定器を用いて評価した提案した情報理論境界と,ベイズ的メタラーニング戦略を近似した新しい手法の性能を比較する実験を行った。
• 参考スコア（独自算出の注目度）: 39.615763368644615
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The overall predictive uncertainty of a trained predictor can be decomposed into separate contributions due to epistemic and aleatoric uncertainty. Under a Bayesian formulation, assuming a well-specified model, the two contributions can be exactly expressed (for the log-loss) or bounded (for more general losses) in terms of information-theoretic quantities (Xu and Raginsky, 2020). This paper addresses the study of epistemic uncertainty within an information-theoretic framework in the broader setting of Bayesian meta-learning. A general hierarchical Bayesian model is assumed in which hyperparameters determine the per-task priors of the model parameters. Exact characterizations (for the log-loss) and bounds (for more general losses) are derived for the epistemic uncertainty - quantified by the minimum excess meta-risk (MEMR)- of optimal meta-learning rules. This characterization is leveraged to bring insights into the dependence of the epistemic uncertainty on the number of tasks and on the amount of per-task training data. Experiments are presented that compare the proposed information-theoretic bounds, evaluated via neural mutual information estimators, with the performance of a novel approximate fully Bayesian meta-learning strategy termed Langevin-Stein Bayesian Meta-Learning (LS-BML).
• Abstract（参考訳）: 訓練された予測器の全体的な予測の不確実性は、認識論的不確実性とアレエータ的不確実性のために別個の貢献に分解することができる。 ベイズ的定式化の下では、十分に特定されたモデルとして、2つの寄与は情報理論量(Xu と Raginsky, 2020)の点で(ログロスに関して)正確に表現できる。 本稿では,ベイズメタラーニングにおける情報理論の枠組みにおける認識の不確実性について考察する。 一般的な階層的ベイズモデルでは、ハイパーパラメータがモデルパラメータのタスクごとの事前を決定する。 最適なメタ学習規則の最小過剰メタリスク(MEMR)によって定量化されるてんかんの不確実性に対して、(ログロスに関して)厳密な特徴と境界(より一般的な損失のために)導出される。 この特徴付けは、タスク数とタスク毎のトレーニングデータ量に対する認識の不確かさの依存性に関する洞察をもたらすために利用される。 神経相互情報推定器を用いて評価した情報理論的境界と,langevin-stein bayesian meta-learning(ls-bml)と呼ばれる新しい近似完全ベイズ型メタラーニング戦略の性能を比較する実験を行った。

関連論文リスト

• Deep Evidential Learning for Radiotherapy Dose Prediction [0.0]
  本稿では放射線治療用線量予測分野におけるDeep Evidential Learningと呼ばれる不確実性定量化フレームワークの新たな応用法を提案する。 このモデルは,ネットワークトレーニング完了時の予測誤差と相関関係を持つ不確実性推定に有効に活用できることを見出した。
  論文  参考訳（メタデータ） (2024-04-26T02:43:45Z)
• Seeing Unseen: Discover Novel Biomedical Concepts via Geometry-Constrained Probabilistic Modeling [53.7117640028211]
  同定された問題を解決するために,幾何制約付き確率的モデリング処理を提案する。 構成された埋め込み空間のレイアウトに適切な制約を課すために、重要な幾何学的性質のスイートを組み込む。 スペクトルグラフ理論法は、潜在的な新規クラスの数を推定するために考案された。
  論文  参考訳（メタデータ） (2024-03-02T00:56:05Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Memory-Based Meta-Learning on Non-Stationary Distributions [29.443692147512742]
  メモリベースのメタラーニングはベイズ最適予測器を近似する手法である。 本稿では,Transformer,LSTM,RNNなどのメモリベースニューラルネットワークを用いて,ベイズ最適化アルゴリズムを正確に近似することができることを示す。
  論文  参考訳（メタデータ） (2023-02-06T19:08:59Z)
• MARS: Meta-Learning as Score Matching in the Function Space [79.73213540203389]
  本稿では,一連の関連するデータセットから帰納バイアスを抽出する手法を提案する。 機能的ベイズニューラルネットワーク推論を用いて、前者をプロセスとみなし、関数空間で推論を行う。 本手法は,データ生成プロセスのスコア関数をメタラーニングすることにより,複雑な事前知識をシームレスに獲得し,表現することができる。
  論文  参考訳（メタデータ） (2022-10-24T15:14:26Z)
• Provable Generalization of Overparameterized Meta-learning Trained with SGD [62.892930625034374]
  我々は、広く使われているメタラーニング手法、モデル非依存メタラーニング(MAML)の一般化について研究する。 我々は、MAMLの過大なリスクに対して、上界と下界の両方を提供し、SGDダイナミクスがこれらの一般化境界にどのように影響するかをキャプチャする。 理論的知見は実験によってさらに検証される。
  論文  参考訳（メタデータ） (2022-06-18T07:22:57Z)
• Analytic Mutual Information in Bayesian Neural Networks [0.8122270502556371]
  相互情報は、不確実性を定量化するベイズニューラルネットワークにおける不確実性尺度の例である。 我々は,点過程のエントロピーの概念を利用して,モデルパラメータと予測出力の相互情報の解析式を導出する。 応用として,ディリクレパラメータの推定について考察し,アクティブラーニングの不確実性対策における実例を示す。
  論文  参考訳（メタデータ） (2022-01-24T17:30:54Z)
• When in Doubt: Neural Non-Parametric Uncertainty Quantification for Epidemic Forecasting [70.54920804222031]
  既存の予測モデルは不確実な定量化を無視し、誤校正予測をもたらす。 不確実性を考慮した時系列予測のためのディープニューラルネットワークの最近の研究にもいくつかの制限がある。 本稿では,予測タスクを確率的生成過程としてモデル化し,EPIFNPと呼ばれる機能的ニューラルプロセスモデルを提案する。
  論文  参考訳（メタデータ） (2021-06-07T18:31:47Z)
• Minimum Excess Risk in Bayesian Learning [23.681494934015927]
  最小超過リスク(mer)の定義と上限化により,生成モデルの下でベイズ学習の達成可能な最高の性能を解析する。 MERの定義は、ベイズ学習における不確実性の異なる概念を定義する原則的な方法を提供する。
  論文  参考訳（メタデータ） (2020-12-29T17:41:30Z)
• Learning Partially Known Stochastic Dynamics with Empirical PAC Bayes [12.44342023476206]
  本稿では,これらのモデルの予測精度を3段階で向上させる手法を提案する。 実験では、このレシピは、部分的およびノイズの多い事前知識を改良されたモデル適合に効果的に翻訳することを示した。
  論文  参考訳（メタデータ） (2020-06-17T14:47:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。