論文の概要: A Simple Framework for Uncertainty in Contrastive Learning

• arxiv url: http://arxiv.org/abs/2010.02038v1
• Date: Mon, 5 Oct 2020 14:17:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 20:47:02.453660
• Title: A Simple Framework for Uncertainty in Contrastive Learning
• Title（参考訳）: コントラスト学習における不確実性の簡単な枠組み
• Authors: Mike Wu, Noah Goodman
• Abstract要約: 我々は、事前訓練されたコントラッシブ表現に対して不確実性を割り当てることを学ぶための単純なアプローチを導入する。 我々は、表現から表現空間の分布への深いネットワークを訓練し、その分散を信頼度尺度として用いることができる。 本実験では,(1) モデル動作の視覚的解釈,(2) 展開モデルへの入力における新しいノイズの検出,(3) 異常検出,そして,11タスクで10のベースライン手法を上回り,最大14%の絶対性向上を実現していることを示す。
• 参考スコア（独自算出の注目度）: 11.64841553345271
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive approaches to representation learning have recently shown great promise. In contrast to generative approaches, these contrastive models learn a deterministic encoder with no notion of uncertainty or confidence. In this paper, we introduce a simple approach based on "contrasting distributions" that learns to assign uncertainty for pretrained contrastive representations. In particular, we train a deep network from a representation to a distribution in representation space, whose variance can be used as a measure of confidence. In our experiments, we show that this deep uncertainty model can be used (1) to visually interpret model behavior, (2) to detect new noise in the input to deployed models, (3) to detect anomalies, where we outperform 10 baseline methods across 11 tasks with improvements of up to 14% absolute, and (4) to classify out-of-distribution examples where our fully unsupervised model is competitive with supervised methods.
• Abstract（参考訳）: 表現学習に対する対照的なアプローチは、最近大きな可能性を秘めている。 生成的アプローチとは対照的に、これらの対照的なモデルは不確実性や信頼性の概念を持たない決定論的エンコーダを学習する。 本稿では,事前学習されたコントラスト表現に対する不確かさを割り当てることを学ぶ「連続分布」に基づく単純なアプローチを提案する。 特に、表現から表現空間の分布への深いネットワークを訓練し、その分散を信頼度尺度として用いることができる。 実験では,(1)モデル行動の視覚的解釈,(2)デプロイされたモデルへの入力における新たなノイズの検出,(3)11タスクにわたるベースラインメソッドの10を上回り,最大14%の絶対値の改善,(4)完全教師なしモデルが教師付きメソッドと競合する分散外サンプルの分類を行う,という,深い不確実性モデルが有効であることを示す。

関連論文リスト

• An Ambiguity Measure for Recognizing the Unknowns in Deep Learning [0.0]
  深層ニューラルネットワークの学習範囲から, 深部ニューラルネットワークの理解について検討する。 任意のモデルに対する入力のあいまいさを定量化する尺度を提案する。
  論文  参考訳（メタデータ） (2023-12-11T02:57:12Z)
• Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval [51.83967175585896]
  UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。 データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
  論文  参考訳（メタデータ） (2022-10-24T17:53:20Z)
• Uncertainty in Contrastive Learning: On the Predictability of Downstream Performance [7.411571833582691]
  このような表現の不確実性は、単一のデータポイントに対して有意義な方法で定量化できるかどうかを考察する。 埋め込み空間におけるトレーニングデータの分布を直接推定することにより,この目標を達成することができることを示す。
  論文  参考訳（メタデータ） (2022-07-19T15:44:59Z)
• Contrastive Learning for Fair Representations [50.95604482330149]
  訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。 対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。 比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
  論文  参考訳（メタデータ） (2021-09-22T10:47:51Z)
• A Low Rank Promoting Prior for Unsupervised Contrastive Learning [108.91406719395417]
  提案手法は,従来の低階の促進をコントラスト学習の枠組みに効果的に組み込む新しい確率的グラフィカルモデルを構築する。 我々の仮説は、同じインスタンスクラスに属するすべてのサンプルが、小さな次元の同じ部分空間上にあることを明示的に要求する。 実証的な証拠は、提案アルゴリズムが複数のベンチマークにおける最先端のアプローチを明らかに上回っていることを示している。
  論文  参考訳（メタデータ） (2021-08-05T15:58:25Z)
• An Effective Baseline for Robustness to Distributional Shift [5.627346969563955]
  ディープラーニングシステムの安全なデプロイには,トレーニング中に見られるものと異なる入力のカテゴリに直面した場合,確実な予測を控えることが重要な要件である。 本論文では, 吸収の原理を用いた分布異常検出の簡便かつ高効率な手法を提案する。
  論文  参考訳（メタデータ） (2021-05-15T00:46:11Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)
• Binary Classification from Positive Data with Skewed Confidence [85.18941440826309]
  肯定的信頼度(Pconf)分類は、有望な弱教師付き学習法である。 実際には、信頼はアノテーションプロセスで生じるバイアスによって歪められることがある。 本稿では、スキュード信頼度のパラメータ化モデルを導入し、ハイパーパラメータを選択する方法を提案する。
  論文  参考訳（メタデータ） (2020-01-29T00:04:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。