論文の概要: Meta Learning Low Rank Covariance Factors for Energy-Based Deterministic
Uncertainty
- arxiv url: http://arxiv.org/abs/2110.06381v1
- Date: Tue, 12 Oct 2021 22:04:19 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-15 05:30:06.893388
- Title: Meta Learning Low Rank Covariance Factors for Energy-Based Deterministic
Uncertainty
- Title(参考訳): エネルギーに基づく決定論的不確かさに対するメタラーニング低ランク共分散因子
- Authors: Jeffrey Ryan Willette, Hae Beom Lee, Juho Lee, Sung Ju Hwang
- Abstract要約: ニューラルネットワーク層のBi-Lipschitz正規化は、各レイヤの特徴空間におけるデータインスタンス間の相対距離を保存する。
注意セットエンコーダを用いて,タスク固有の共分散行列を効率的に構築するために,対角的,対角的,低ランクな要素のメタ学習を提案する。
また,最終的な予測分布を達成するために,スケールしたエネルギーを利用する推論手法を提案する。
- 参考スコア(独自算出の注目度): 58.144520501201995
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Numerous recent works utilize bi-Lipschitz regularization of neural network
layers to preserve relative distances between data instances in the feature
spaces of each layer. This distance sensitivity with respect to the data aids
in tasks such as uncertainty calibration and out-of-distribution (OOD)
detection. In previous works, features extracted with a distance sensitive
model are used to construct feature covariance matrices which are used in
deterministic uncertainty estimation or OOD detection. However, in cases where
there is a distribution over tasks, these methods result in covariances which
are sub-optimal, as they may not leverage all of the meta information which can
be shared among tasks. With the use of an attentive set encoder, we propose to
meta learn either diagonal or diagonal plus low-rank factors to efficiently
construct task specific covariance matrices. Additionally, we propose an
inference procedure which utilizes scaled energy to achieve a final predictive
distribution which can better separate OOD data, and is well calibrated under a
distributional dataset shift.
- Abstract(参考訳): 最近の多くの研究は、ニューラルネットワーク層のバイリプシッツ正規化を利用して、各層の特徴空間におけるデータインスタンス間の相対距離を保存する。
この距離感度は、不確実性キャリブレーションやout-of-distribution (ood) 検出などのタスクにおけるデータ支援に役立つ。
従来の研究では, 距離感度モデルを用いて抽出した特徴を用いて, 決定論的不確実性推定やOOD検出に使用される特徴共分散行列を構築した。
しかしながら、タスクが分散している場合、これらのメソッドはタスク間で共有できる全てのメタ情報を活用できないため、サブ最適である共分散をもたらす。
注意セットエンコーダを用いて, 対角的あるいは対角的および低ランクな因子をメタ学習し, タスク固有共分散行列を効率的に構築することを提案する。
さらに,oodデータの分離が容易な最終予測分布を実現するために,スケールド・エネルギを用いた推定手法を提案する。
関連論文リスト
- Distributed Bayesian Estimation in Sensor Networks: Consensus on
Marginal Densities [15.038649101409804]
連続変数上の確率分布の関数空間において、確率的確率的アルゴリズムを導出する。
これらの結果を利用して、個々のエージェントが観測する変数のサブセットに制限された新しい分散推定器を得る。
これは、協調的なローカライゼーションやフェデレートドラーニングのような応用に関係しており、任意のエージェントで収集されたデータは、関心のあるすべての変数のサブセットに依存する。
論文 参考訳(メタデータ) (2023-12-02T21:10:06Z) - Distributed Variational Inference for Online Supervised Learning [15.038649101409804]
本稿では,スケーラブルな分散確率的推論アルゴリズムを提案する。
センサネットワークにおける連続変数、難解な後部データ、大規模リアルタイムデータに適用できる。
論文 参考訳(メタデータ) (2023-09-05T22:33:02Z) - A Targeted Accuracy Diagnostic for Variational Approximations [8.969208467611896]
変分推論(VI)はマルコフ・チェイン・モンテカルロ(MCMC)の魅力的な代替品である
既存の方法は、全変分分布の品質を特徴付ける。
配電近似精度(TADDAA)のためのTArgeted診断法を提案する。
論文 参考訳(メタデータ) (2023-02-24T02:50:18Z) - Multi-Fidelity Covariance Estimation in the Log-Euclidean Geometry [0.0]
対称正定値多様体の対数ユークリッド幾何学を利用する共分散行列の多値推定器を導入する。
固定予算が与えられた推定器の平均二乗誤差を最小化する最適サンプル割り当て方式を開発した。
物理アプリケーションからのデータによるアプローチの評価は、ベンチマークと比較すると、より正確なメトリック学習と1桁以上のスピードアップを示している。
論文 参考訳(メタデータ) (2023-01-31T16:33:46Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z) - Exploring Covariate and Concept Shift for Detection and Calibration of
Out-of-Distribution Data [77.27338842609153]
キャラクタリゼーションにより、OODデータの検出と信頼性校正には、それぞれのシフトに対する感度が重要であることが明らかになった。
分布内データのみを用いて両シフトでのOOD検出を改善するために,幾何学的に着想を得た手法を提案する。
我々は,OOD検出とキャリブレーションの両面で,異なるタイプのシフトの下でうまく機能する手法を最初に提案する。
論文 参考訳(メタデータ) (2021-10-28T15:42:55Z) - Random Embeddings with Optimal Accuracy [0.0]
この研究では、Jonson-Lindenstrauss埋め込みを、分散、平均二乗誤差および指数長歪みによって測定されるように、最高の精度で構築する。
論文 参考訳(メタデータ) (2020-12-31T19:00:31Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳(メタデータ) (2020-03-10T03:10:41Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳(メタデータ) (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。