論文の概要: Meta Learning Low Rank Covariance Factors for Energy-Based Deterministic Uncertainty

• arxiv url: http://arxiv.org/abs/2110.06381v1
• Date: Tue, 12 Oct 2021 22:04:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-15 05:30:06.893388
• Title: Meta Learning Low Rank Covariance Factors for Energy-Based Deterministic Uncertainty
• Title（参考訳）: エネルギーに基づく決定論的不確かさに対するメタラーニング低ランク共分散因子
• Authors: Jeffrey Ryan Willette, Hae Beom Lee, Juho Lee, Sung Ju Hwang
• Abstract要約: ニューラルネットワーク層のBi-Lipschitz正規化は、各レイヤの特徴空間におけるデータインスタンス間の相対距離を保存する。 注意セットエンコーダを用いて,タスク固有の共分散行列を効率的に構築するために,対角的,対角的,低ランクな要素のメタ学習を提案する。 また,最終的な予測分布を達成するために,スケールしたエネルギーを利用する推論手法を提案する。
• 参考スコア（独自算出の注目度）: 58.144520501201995
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Numerous recent works utilize bi-Lipschitz regularization of neural network layers to preserve relative distances between data instances in the feature spaces of each layer. This distance sensitivity with respect to the data aids in tasks such as uncertainty calibration and out-of-distribution (OOD) detection. In previous works, features extracted with a distance sensitive model are used to construct feature covariance matrices which are used in deterministic uncertainty estimation or OOD detection. However, in cases where there is a distribution over tasks, these methods result in covariances which are sub-optimal, as they may not leverage all of the meta information which can be shared among tasks. With the use of an attentive set encoder, we propose to meta learn either diagonal or diagonal plus low-rank factors to efficiently construct task specific covariance matrices. Additionally, we propose an inference procedure which utilizes scaled energy to achieve a final predictive distribution which can better separate OOD data, and is well calibrated under a distributional dataset shift.
• Abstract（参考訳）: 最近の多くの研究は、ニューラルネットワーク層のバイリプシッツ正規化を利用して、各層の特徴空間におけるデータインスタンス間の相対距離を保存する。 この距離感度は、不確実性キャリブレーションやout-of-distribution (ood) 検出などのタスクにおけるデータ支援に役立つ。 従来の研究では, 距離感度モデルを用いて抽出した特徴を用いて, 決定論的不確実性推定やOOD検出に使用される特徴共分散行列を構築した。 しかしながら、タスクが分散している場合、これらのメソッドはタスク間で共有できる全てのメタ情報を活用できないため、サブ最適である共分散をもたらす。 注意セットエンコーダを用いて, 対角的あるいは対角的および低ランクな因子をメタ学習し, タスク固有共分散行列を効率的に構築することを提案する。 さらに,oodデータの分離が容易な最終予測分布を実現するために,スケールド・エネルギを用いた推定手法を提案する。

関連論文リスト

• Symmetry Discovery for Different Data Types [52.2614860099811]
  等価ニューラルネットワークは、そのアーキテクチャに対称性を取り入れ、より高度な一般化性能を実現する。 本稿では,タスクの入出力マッピングを近似したトレーニングニューラルネットワークによる対称性発見手法であるLieSDを提案する。 我々は,2体問題,慣性行列予測のモーメント,トップクォークタグ付けといった課題におけるLieSDの性能を検証した。
  論文  参考訳（メタデータ） (2024-10-13T13:39:39Z)
• Uncertainty Estimation and Out-of-Distribution Detection for LiDAR Scene Semantic Segmentation [0.6144680854063939]
  新しい環境で安全なナビゲーションを行うには、自動運転車やロボットが環境を正確に解釈する必要がある。 そこで本研究では,分布内(ID)と分布外(OOD)を区別する手法を提案する。 一つの決定論的モデルの特徴空間を用いて、疫学とアレター的不確実性の両方を定量化する。
  論文  参考訳（メタデータ） (2024-10-11T10:19:24Z)
• Embedding Trajectory for Out-of-Distribution Detection in Mathematical Reasoning [50.84938730450622]
  数理推論におけるOOD検出にトラジェクトリボラティリティを用いたトラジェクトリベースのTVスコアを提案する。 本手法は, 数学的推論シナリオ下でのGLM上での従来のアルゴリズムよりも優れる。 提案手法は,複数選択質問などの出力空間における高密度特徴を持つアプリケーションに拡張することができる。
  論文  参考訳（メタデータ） (2024-05-22T22:22:25Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Distributed Bayesian Estimation in Sensor Networks: Consensus on Marginal Densities [15.038649101409804]
  連続変数上の確率分布の関数空間において、確率的確率的アルゴリズムを導出する。 これらの結果を利用して、個々のエージェントが観測する変数のサブセットに制限された新しい分散推定器を得る。 これは、協調的なローカライゼーションやフェデレートドラーニングのような応用に関係しており、任意のエージェントで収集されたデータは、関心のあるすべての変数のサブセットに依存する。
  論文  参考訳（メタデータ） (2023-12-02T21:10:06Z)
• Distributed Variational Inference for Online Supervised Learning [15.038649101409804]
  本稿では,スケーラブルな分散確率的推論アルゴリズムを提案する。 センサネットワークにおける連続変数、難解な後部データ、大規模リアルタイムデータに適用できる。
  論文  参考訳（メタデータ） (2023-09-05T22:33:02Z)
• A Targeted Accuracy Diagnostic for Variational Approximations [8.969208467611896]
  変分推論(VI)はマルコフ・チェイン・モンテカルロ(MCMC)の魅力的な代替品である 既存の方法は、全変分分布の品質を特徴付ける。 配電近似精度(TADDAA)のためのTArgeted診断法を提案する。
  論文  参考訳（メタデータ） (2023-02-24T02:50:18Z)
• Multi-Fidelity Covariance Estimation in the Log-Euclidean Geometry [0.0]
  対称正定値多様体の対数ユークリッド幾何学を利用する共分散行列の多値推定器を導入する。 固定予算が与えられた推定器の平均二乗誤差を最小化する最適サンプル割り当て方式を開発した。 物理アプリケーションからのデータによるアプローチの評価は、ベンチマークと比較すると、より正確なメトリック学習と1桁以上のスピードアップを示している。
  論文  参考訳（メタデータ） (2023-01-31T16:33:46Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Exploring Covariate and Concept Shift for Detection and Calibration of Out-of-Distribution Data [77.27338842609153]
  キャラクタリゼーションにより、OODデータの検出と信頼性校正には、それぞれのシフトに対する感度が重要であることが明らかになった。 分布内データのみを用いて両シフトでのOOD検出を改善するために,幾何学的に着想を得た手法を提案する。 我々は,OOD検出とキャリブレーションの両面で,異なるタイプのシフトの下でうまく機能する手法を最初に提案する。
  論文  参考訳（メタデータ） (2021-10-28T15:42:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。