論文の概要: Information-theoretic Analysis of Test Data Sensitivity in Uncertainty

• arxiv url: http://arxiv.org/abs/2307.12456v1
• Date: Sun, 23 Jul 2023 23:42:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-25 16:01:28.013791
• Title: Information-theoretic Analysis of Test Data Sensitivity in Uncertainty
• Title（参考訳）: 不確実性におけるテストデータ感度の情報理論解析
• Authors: Futoshi Futami, Tomoharu Iwata
• Abstract要約: Xu と Raginsky 2022 による最近の分析は、ベイズ予想の不確実性を2つの不確実性に厳密に分解した。 彼らはこれらの不確実性を情報理論的に分析し、モデルが適切に特定され、モデルのパラメータを潜伏変数として扱うと仮定した。 本研究では, 予測不確実性に対する新しい分解法を用いて, このような不確実性について検討する。
• 参考スコア（独自算出の注目度）: 32.27260899727789
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian inference is often utilized for uncertainty quantification tasks. A recent analysis by Xu and Raginsky 2022 rigorously decomposed the predictive uncertainty in Bayesian inference into two uncertainties, called aleatoric and epistemic uncertainties, which represent the inherent randomness in the data-generating process and the variability due to insufficient data, respectively. They analyzed those uncertainties in an information-theoretic way, assuming that the model is well-specified and treating the model's parameters as latent variables. However, the existing information-theoretic analysis of uncertainty cannot explain the widely believed property of uncertainty, known as the sensitivity between the test and training data. It implies that when test data are similar to training data in some sense, the epistemic uncertainty should become small. In this work, we study such uncertainty sensitivity using our novel decomposition method for the predictive uncertainty. Our analysis successfully defines such sensitivity using information-theoretic quantities. Furthermore, we extend the existing analysis of Bayesian meta-learning and show the novel sensitivities among tasks for the first time.
• Abstract（参考訳）: ベイズ推論は不確実な定量化タスクにしばしば用いられる。 xu と raginsky 2022 による最近の分析では、ベイズ推論の予測の不確実性は、データ生成過程に固有のランダム性を表す aleatoric と epistemic uncertainties と呼ばれる2つの不確実性に厳密に分解された。 彼らはこれらの不確実性を情報理論的に分析し、モデルが適切に特定され、モデルのパラメータを潜在変数として扱うと仮定した。 しかし、既存の不確実性の情報理論分析では、テストデータとトレーニングデータの感度として知られる、不確実性の広く信じられている性質を説明できない。 テストデータが何らかの意味でトレーニングデータと類似している場合、認識の不確実性は小さくなるはずである。 本研究では, 予測の不確かさに対する新しい分解法を用いて, 不確かさの感度について検討する。 我々の分析は情報理論量を用いてそのような感度をうまく定義する。 さらに,ベイズ的メタラーニングの既存分析を拡張し,タスク間の新たな感性を示す。

関連論文リスト

• Uncertainty Decomposition and Error Margin Detection of Homodyned-K Distribution in Quantitative Ultrasound [1.912429179274357]
  定量的超音波(QUS)における均質K分布(HK分布)パラメータ推定をベイズニューラルネットワーク(BNN)を用いて最近検討した。 BNNは、精度と精度を損なうことなく、スペックル統計に基づくQUSの計算時間を著しく短縮することが示されている。
  論文  参考訳（メタデータ） (2024-09-17T22:16:49Z)
• How disentangled are your classification uncertainties? [6.144680854063938]
  機械学習における不確実性定量化は、予測における不確実性の原因を予測するために進んでいる。 本研究は,失語症およびてんかんの不確かさの解消を評価するための一連の実験を提案する。
  論文  参考訳（メタデータ） (2024-08-22T07:42:43Z)
• One step closer to unbiased aleatoric uncertainty estimation [71.55174353766289]
  そこで本研究では,観測データのアクティブデノイズ化による新しい推定手法を提案する。 幅広い実験を行うことで,提案手法が標準手法よりも実際のデータ不確実性にはるかに近い近似を与えることを示す。
  論文  参考訳（メタデータ） (2023-12-16T14:59:11Z)
• Identifying Drivers of Predictive Aleatoric Uncertainty [2.5311562666866494]
  本稿では,予測的アレタリック不確実性を説明するための簡単なアプローチを提案する。 我々は、ガウス出力分布にニューラルネットワークを適用することにより、不確実性を予測分散として推定する。 我々は、実世界のデータセットを含むニュアンスなベンチマーク分析を用いて、この結果の定量化を行う。
  論文  参考訳（メタデータ） (2023-12-12T13:28:53Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• The Unreasonable Effectiveness of Deep Evidential Regression [72.30888739450343]
  不確実性を考慮した回帰ベースニューラルネットワーク(NN)による新しいアプローチは、従来の決定論的手法や典型的なベイズ的NNよりも有望であることを示している。 我々は、理論的欠点を詳述し、合成および実世界のデータセットのパフォーマンスを分析し、Deep Evidential Regressionが正確な不確実性ではなく定量化であることを示す。
  論文  参考訳（メタデータ） (2022-05-20T10:10:32Z)
• Dense Uncertainty Estimation via an Ensemble-based Conditional Latent Variable Model [68.34559610536614]
  我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。 そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。 以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-11-22T08:54:10Z)
• Dense Uncertainty Estimation [62.23555922631451]
  本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。 本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
  論文  参考訳（メタデータ） (2021-10-13T01:23:48Z)
• The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
  ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。 本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
  論文  参考訳（メタデータ） (2020-12-05T17:30:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。