論文の概要: Probabilistic Contrastive Learning with Explicit Concentration on the Hypersphere
- arxiv url: http://arxiv.org/abs/2405.16460v1
- Date: Sun, 26 May 2024 07:08:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-28 21:08:36.733617
- Title: Probabilistic Contrastive Learning with Explicit Concentration on the Hypersphere
- Title(参考訳): ハイパースフィアへの明示的な集中による確率論的コントラスト学習
- Authors: Hongwei Bran Li, Cheng Ouyang, Tamaz Amiranashvili, Matthew S. Rosen, Bjoern Menze, Juan Eugenio Iglesias,
- Abstract要約: 本稿では,球面空間に表現を埋め込むことにより,不確実性を比較学習に取り入れる新たな視点を提案する。
我々は、濃度パラメータであるカッパを直接解釈可能な尺度として利用し、不確実性を明示的に定量化する。
- 参考スコア(独自算出の注目度): 3.572499139455308
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Self-supervised contrastive learning has predominantly adopted deterministic methods, which are not suited for environments characterized by uncertainty and noise. This paper introduces a new perspective on incorporating uncertainty into contrastive learning by embedding representations within a spherical space, inspired by the von Mises-Fisher distribution (vMF). We introduce an unnormalized form of vMF and leverage the concentration parameter, kappa, as a direct, interpretable measure to quantify uncertainty explicitly. This approach not only provides a probabilistic interpretation of the embedding space but also offers a method to calibrate model confidence against varying levels of data corruption and characteristics. Our empirical results demonstrate that the estimated concentration parameter correlates strongly with the degree of unforeseen data corruption encountered at test time, enables failure analysis, and enhances existing out-of-distribution detection methods.
- Abstract(参考訳): 自己指導型コントラスト学習は主に決定論的手法を採用しており、不確実性とノイズを特徴とする環境には適していない。
本稿では,von Mises-Fisher分布(vMF)にインスパイアされた球面空間に表現を埋め込むことにより,不確実性を対照的な学習に組み込む新しい視点を提案する。
我々は、不規則な vMF の非正規化形式を導入し、不確かさを明示的に定量化するために、直接解釈可能な指標として、濃度パラメータ kappa を利用する。
このアプローチは、埋め込み空間の確率論的解釈を提供するだけでなく、様々なレベルのデータ破損や特性に対してモデルの信頼性を校正する方法を提供する。
実験の結果, 推定濃度パラメータは, テスト時に発生する予期せぬデータ破損の程度と強く相関し, 故障解析が可能であり, 既存のアウト・オブ・ディストリビューション検出手法の強化を図っている。
関連論文リスト
- Combining Statistical Depth and Fermat Distance for Uncertainty Quantification [3.3975558777609915]
我々は、Fermat Distanceと組み合わせたLens Depth'(LD)という統計的概念を用いて、ニューラルネットワークの予測における領域外不確実性を測定する。
提案手法は,おもちゃのデータセットに対して優れた定性的な結果を与えるとともに,標準的なディープラーニングデータセットに対して,競合的あるいはより良い不確実性評価を行うことができる。
論文 参考訳(メタデータ) (2024-04-12T13:54:21Z) - One step closer to unbiased aleatoric uncertainty estimation [71.55174353766289]
そこで本研究では,観測データのアクティブデノイズ化による新しい推定手法を提案する。
幅広い実験を行うことで,提案手法が標準手法よりも実際のデータ不確実性にはるかに近い近似を与えることを示す。
論文 参考訳(メタデータ) (2023-12-16T14:59:11Z) - Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。
本稿では,LLMのための不確実性分解フレームワークについて述べる。
提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
論文 参考訳(メタデータ) (2023-11-15T05:58:35Z) - Quantification of Predictive Uncertainty via Inference-Time Sampling [57.749601811982096]
本稿では,データあいまいさの予測不確実性を推定するためのポストホックサンプリング手法を提案する。
この方法は与えられた入力に対して異なる可算出力を生成することができ、予測分布のパラメトリック形式を仮定しない。
論文 参考訳(メタデータ) (2023-08-03T12:43:21Z) - A Data-Driven Measure of Relative Uncertainty for Misclassification
Detection [25.947610541430013]
誤分類検出のための観測者に対して,不確実性に関するデータ駆動測度を導入する。
ソフト予測の分布パターンを学習することにより,不確実性を測定することができる。
複数の画像分類タスクに対する経験的改善を示し、最先端の誤分類検出方法より優れていることを示す。
論文 参考訳(メタデータ) (2023-06-02T17:32:03Z) - Integrating Uncertainty into Neural Network-based Speech Enhancement [27.868722093985006]
時間周波数領域における監視されたマスキングアプローチは、ディープニューラルネットワークを使用して乗法マスクを推定し、クリーンな音声を抽出することを目的としている。
これにより、信頼性の保証や尺度を使わずに、各入力に対する単一の見積もりが導かれる。
クリーン音声推定における不確実性モデリングの利点について検討する。
論文 参考訳(メタデータ) (2023-05-15T15:55:12Z) - Decomposing Representations for Deterministic Uncertainty Estimation [34.11413246048065]
我々は,現在の特徴密度に基づく不確実性推定器は,様々なOoD検出設定で一貫した性能を発揮できないことを示す。
本稿では,学習した表現を分解し,それらを個別に推定した不確実性を統合することを提案する。
論文 参考訳(メタデータ) (2021-12-01T22:12:01Z) - Dense Uncertainty Estimation via an Ensemble-based Conditional Latent
Variable Model [68.34559610536614]
我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。
そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。
以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
論文 参考訳(メタデータ) (2021-11-22T08:54:10Z) - DEUP: Direct Epistemic Uncertainty Prediction [56.087230230128185]
認識の不確実性は、学習者の知識の欠如によるサンプル外の予測エラーの一部である。
一般化誤差の予測を学習し, aleatoric uncertaintyの推定を減算することで, 認識的不確かさを直接推定する原理的アプローチを提案する。
論文 参考訳(メタデータ) (2021-02-16T23:50:35Z) - The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。
本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
論文 参考訳(メタデータ) (2020-12-05T17:30:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。