論文の概要: UQ-ARMED: Uncertainty quantification of adversarially-regularized mixed effects deep learning for clustered non-iid data

• arxiv url: http://arxiv.org/abs/2211.15888v1
• Date: Tue, 29 Nov 2022 02:50:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-30 14:35:53.837638
• Title: UQ-ARMED: Uncertainty quantification of adversarially-regularized mixed effects deep learning for clustered non-iid data
• Title（参考訳）: UQ-ARMED:クラスタ化非イドデータに対する逆正則混合効果深層学習の不確実性定量化
• Authors: Alex Treacher, Kevin Nguyen, Dylan Owens, Daniel Heitjan, Albert Montillo
• Abstract要約: この研究は、モデル適合性、固定効果共分散係数、予測信頼度について、容易に解釈可能な統計メトリクスを作成する能力を示す。 本実験では,UQ法が有益であるだけでなく,いくつかのUQ法が元のARMED法の性能を維持している。
• 参考スコア（独自算出の注目度）: 0.6719751155411076
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work demonstrates the ability to produce readily interpretable statistical metrics for model fit, fixed effects covariance coefficients, and prediction confidence. Importantly, this work compares 4 suitable and commonly applied epistemic UQ approaches, BNN, SWAG, MC dropout, and ensemble approaches in their ability to calculate these statistical metrics for the ARMED MEDL models. In our experiment for AD prognosis, not only do the UQ methods provide these benefits, but several UQ methods maintain the high performance of the original ARMED method, some even provide a modest (but not statistically significant) performance improvement. The ensemble models, especially the ensemble method with a 90% subsampling, performed well across all metrics we tested with (1) high performance that was comparable to the non-UQ ARMED model, (2) properly deweights the confounds probes and assigns them statistically insignificant p-values, (3) attains relatively high calibration of the output prediction confidence. Based on the results, the ensemble approaches, especially with a subsampling of 90%, provided the best all-round performance for prediction and uncertainty estimation, and achieved our goals to provide statistical significance for model fit, statistical significance covariate coefficients, and confidence in prediction, while maintaining the baseline performance of MEDL using ARMED
• Abstract（参考訳）: この研究は、モデル適合性、固定効果共分散係数、予測信頼度について容易に解釈可能な統計メトリクスを作成する能力を示す。 本研究は,BNN,SWAG,MCドロップアウト,アンサンブルアプローチの4つの適切なUQアプローチと,ARMED MEDLモデルに対するこれらの統計指標の計算能力を比較した。 本実験では,uq法がこれらの利点を提供するだけでなく,いくつかのuq法が元の武装法の性能を保ちながら,控えめな(統計的に有意ではない)性能改善も提供する。 アンサンブルモデル,特に90%のサブサンプリングを用いたアンサンブル法は,(1)非UQ ARMEDモデルに匹敵する高い性能,(2)コンバウンドプローブを適切に重み付け,統計的に重要でないp値を割り当てること,(3)出力予測信頼性の比較的高いキャリブレーションを実現した。 結果から,特に90%のサブサンプリングを用いたアンサンブルアプローチは,予測と不確実性推定において最高の全ラウンド性能を実現し,ARMEDを用いたMEDLのベースライン性能を維持しつつ,モデル適合性,統計的有意な共変量係数,予測信頼性の統計的意義を提供することを目標とした。

関連論文リスト

• Ranking and Combining Latent Structured Predictive Scores without Labeled Data [2.5064967708371553]
  本稿では,新しい教師なしアンサンブル学習モデル(SUEL)を提案する。 連続的な予測スコアを持つ予測器のセット間の依存関係を利用して、ラベル付きデータなしで予測器をランク付けし、それらをアンサンブルされたスコアに重み付けする。 提案手法の有効性は、シミュレーション研究とリスク遺伝子発見の現実的応用の両方を通じて厳密に評価されている。
  論文  参考訳（メタデータ） (2024-08-14T20:14:42Z)
• Stratified Prediction-Powered Inference for Hybrid Language Model Evaluation [62.2436697657307]
  予測駆動推論(英: Prediction-powered Inference, PPI)は、人間ラベル付き限られたデータに基づいて統計的推定を改善する手法である。 我々はStratPPI(Stratified Prediction-Powered Inference)という手法を提案する。 単純なデータ階層化戦略を用いることで,基礎的なPPI推定精度を大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2024-06-06T17:37:39Z)
• Overconfidence is a Dangerous Thing: Mitigating Membership Inference Attacks by Enforcing Less Confident Prediction [2.2336243882030025]
  機械学習モデルは、メンバシップ推論攻撃(MIA)に対して脆弱である この研究は、強力なメンバーシップのプライバシと高い精度の両方を、余分なデータを必要とすることなく達成できる防衛技術であるHAMPを提案する。
  論文  参考訳（メタデータ） (2023-07-04T09:50:33Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Newer is not always better: Rethinking transferability metrics, their peculiarities, stability and performance [5.650647159993238]
  小さなカスタマイズされたデータセット上で、大規模で事前訓練された画像と言語モデルの微調整が人気を集めている。 共分散推定における統計的問題により,Hスコアの性能が低下することが示唆された。 そこで我々は,そのような設定における相対的精度に対する相関性能を補正し,評価することを推奨する。
  論文  参考訳（メタデータ） (2021-10-13T17:24:12Z)
• Towards More Fine-grained and Reliable NLP Performance Prediction [85.78131503006193]
  NLPタスクのパフォーマンス予測の改善に2つの貢献をしている。 まず,F1やBLEUのような総合的な精度測定のための性能予測器について検討する。 次に,信頼区間とキャリブレーションの2つの角度から性能予測モデルの信頼性を理解する手法を提案する。
  論文  参考訳（メタデータ） (2021-02-10T15:23:20Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)
• Machine learning for causal inference: on the use of cross-fit estimators [77.34726150561087]
  より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。 平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。 機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2020-04-21T23:09:55Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。