論文の概要: Temperature as Uncertainty in Contrastive Learning
- arxiv url: http://arxiv.org/abs/2110.04403v1
- Date: Fri, 8 Oct 2021 23:08:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-12 18:25:18.733346
- Title: Temperature as Uncertainty in Contrastive Learning
- Title（参考訳）: コントラスト学習における不確実性としての温度
- Authors: Oliver Zhang, Mike Wu, Jasmine Bayrooti, Noah Goodman
- Abstract要約: コントラスト法における不確実性スコアを温度再設定により簡易に生成する手法を提案する。
このアプローチを“温度と不確実性(Temperature as Uncertainty)”(TaU)と呼んでいる。
要約すると、TaUは対照的な学習のための不確実性を生成するための単純だが汎用的な方法である。
- 参考スコア（独自算出の注目度）: 5.8927489390473164
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Contrastive learning has demonstrated great capability to learn
representations without annotations, even outperforming supervised baselines.
However, it still lacks important properties useful for real-world application,
one of which is uncertainty. In this paper, we propose a simple way to generate
uncertainty scores for many contrastive methods by re-purposing temperature, a
mysterious hyperparameter used for scaling. By observing that temperature
controls how sensitive the objective is to specific embedding locations, we aim
to learn temperature as an input-dependent variable, treating it as a measure
of embedding confidence. We call this approach "Temperature as Uncertainty", or
TaU. Through experiments, we demonstrate that TaU is useful for
out-of-distribution detection, while remaining competitive with benchmarks on
linear evaluation. Moreover, we show that TaU can be learned on top of
pretrained models, enabling uncertainty scores to be generated post-hoc with
popular off-the-shelf models. In summary, TaU is a simple yet versatile method
for generating uncertainties for contrastive learning. Open source code can be
found at: https://github.com/mhw32/temperature-as-uncertainty-public.
- Abstract（参考訳）: 対照的な学習は、アノテーションなしで表現を学習する優れた能力を示し、教師付きベースラインよりも優れています。
しかし、現実世界のアプリケーションに有用な重要な性質はいまだに欠けている。
本稿では,スケーリングに使用される謎のハイパーパラメータである温度を再設定することで,多くのコントラスト法で不確実性スコアを生成する方法を提案する。
温度が特定の埋め込み位置に対する目標の感度を制御していることを観察して、入力依存変数として温度を学習し、それを埋め込み信頼の尺度として扱う。
このアプローチを"温度を不確実性として"tauと呼んでいる。
実験により,TaUは線形評価のベンチマークと競合しながら,分布外検出に有用であることが示された。
さらに, 事前学習モデルに基づいてTaUを学習し, 一般的な市販モデルを用いて, 不確実性スコアをポストホックに生成できることを示す。
要約すると、TaUは対照的な学習のための不確実性を生成するための単純だが汎用的な方法である。
オープンソースコードは、https://github.com/mhw32/temperature-as-uncertainty-publicで参照できる。
関連論文リスト
- Temperature-Free Loss Function for Contrastive Learning [7.229820415732795]
温度を使わずにInfoNCEの損失を発生させる新しい手法を提案する。
具体的には, 温度スケーリングを逆双曲型タンジェント関数に置き換え, 改良されたInfoNCE損失をもたらす。
提案手法は, コントラスト学習の5つのベンチマークで検証し, 温度調整を伴わない良好な結果を得た。
論文 参考訳（メタデータ） (2025-01-29T14:43:21Z) - Logit Standardization in Knowledge Distillation [83.31794439964033]
教師と学生の共用温度の仮定は、ロジット範囲と分散の点で、ロジット間の厳密な一致を暗示している。
温度をロジットの重み付け標準偏差として設定し、ロジット標準化のプラグアンドプレイZスコア前処理を実行することを提案する。
我々の前処理により、学生はマグニチュードマッチを必要とせず、教師の本質的なロジット関係に集中することができ、既存のロジットベースの蒸留法の性能を向上させることができる。
論文 参考訳（メタデータ） (2024-03-03T07:54:03Z) - Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。
トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
論文 参考訳（メタデータ） (2024-02-13T11:25:20Z) - Improving Training and Inference of Face Recognition Models via Random
Temperature Scaling [45.33976405587231]
ランダム温度スケーリング(RTS)は,信頼度の高い顔認識アルゴリズムを学習するために提案される。
RTSは、顔認識とアウト・オブ・ディストリビューション検出タスクの両方で最高のパフォーマンスを達成することができる。
提案されたモジュールは軽量であり、モデルに無視できるコストしか加えない。
論文 参考訳（メタデータ） (2022-12-02T08:00:03Z) - The Implicit Delta Method [61.36121543728134]
本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。
有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
論文 参考訳（メタデータ） (2022-11-11T19:34:17Z) - Reliability-Aware Prediction via Uncertainty Learning for Person Image
Retrieval [51.83967175585896]
UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。
データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
論文 参考訳（メタデータ） (2022-10-24T17:53:20Z) - Learning Uncertainty For Safety-Oriented Semantic Segmentation In
Autonomous Driving [77.39239190539871]
自律運転における安全クリティカル画像セグメンテーションを実現するために、不確実性推定をどのように活用できるかを示す。
相似性関数によって測定された不一致予測に基づく新しい不確実性尺度を導入する。
本研究では,提案手法が競合手法よりも推論時間において計算集約性が低いことを示す。
論文 参考訳（メタデータ） (2021-05-28T09:23:05Z) - Deep Learning based Uncertainty Decomposition for Real-time Control [9.067368638784355]
本稿では,ディープラーニングを用いたトレーニングデータの欠如を検出する新しい手法を提案する。
合成および実世界のデータセットに対する既存のアプローチに対する利点を示す。
さらに、シミュレーションされたクアッドコプターにオンラインデータ効率制御を展開させる上で、この不確実性推定の実用性を実証する。
論文 参考訳（メタデータ） (2020-10-06T10:46:27Z) - Data Uncertainty Learning in Face Recognition [23.74716810099911]
不確実性はノイズの多い画像にとって重要であるが、顔認識のために探索されることはめったにない。
不確実性が特徴学習にどのような影響を及ぼすかは不明である。
この研究は、顔認識にデータ不確実性学習を適用します。
論文 参考訳（メタデータ） (2020-03-25T11:40:38Z) - Binary Classification from Positive Data with Skewed Confidence [85.18941440826309]
肯定的信頼度(Pconf)分類は、有望な弱教師付き学習法である。
実際には、信頼はアノテーションプロセスで生じるバイアスによって歪められることがある。
本稿では、スキュード信頼度のパラメータ化モデルを導入し、ハイパーパラメータを選択する方法を提案する。
論文 参考訳（メタデータ） (2020-01-29T00:04:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。