Fugu-MT 論文翻訳(概要): Probabilistic Contrastive Loss for Self-Supervised Learning

論文の概要: Probabilistic Contrastive Loss for Self-Supervised Learning

arxiv url: http://arxiv.org/abs/2112.01642v1
Date: Thu, 2 Dec 2021 23:41:52 GMT
ステータス: 処理完了
システム内更新日: 2021-12-06 16:02:54.715602
Title: Probabilistic Contrastive Loss for Self-Supervised Learning
Title（参考訳）: 自己監督型学習における確率的コントラスト損失
Authors: Shen Li, Jianqing Xu, Bryan Hooi
Abstract要約: 本稿では,自己教師型学習のための確率的コントラスト損失関数を提案する。提案した損失関数の興味深い性質は実証的に示され、人間のような予測に一致する。
参考スコア（独自算出の注目度）: 25.097498223895016
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: This paper proposes a probabilistic contrastive loss function for self-supervised learning. The well-known contrastive loss is deterministic and involves a temperature hyperparameter that scales the inner product between two normed feature embeddings. By reinterpreting the temperature hyperparameter as a quantity related to the radius of the hypersphere, we derive a new loss function that involves a confidence measure which quantifies uncertainty in a mathematically grounding manner. Some intriguing properties of the proposed loss function are empirically demonstrated, which agree with human-like predictions. We believe the present work brings up a new prospective to the area of contrastive learning.
Abstract（参考訳）: 本稿では,自己教師付き学習のための確率的コントラスト損失関数を提案する。よく知られたコントラスト損失は決定論的であり、2つのノルム特徴埋め込みの間の内積をスケールする温度超パラメータを含んでいる。温度超パラメータを超球半径に関連する量として再解釈することにより、数学的に接地した方法で不確かさを定量化する信頼度測度を含む新しい損失関数を導出する。提案した損失関数の興味深い性質は実証的に示され、人間のような予測に一致する。今回の研究は、コントラスト学習の分野に新たな展望をもたらすと信じています。

関連論文リスト

Large Margin Discriminative Loss for Classification [3.3975558777609915]
本稿では,Deep Learning の文脈において,大きなマージンを持つ新たな識別的損失関数を提案する。この損失は、クラス内コンパクト性とクラス間分離性によって表されるニューラルネットの識別力を高める。
論文参考訳（メタデータ） (2024-05-28T18:10:45Z)
Uncertainty-boosted Robust Video Activity Anticipation [72.14155465769201]
ビデオアクティビティの予測は、ロボットビジョンから自動運転まで幅広い応用可能性を受け入れることで、将来何が起こるかを予測することを目的としている。近年の進展にもかかわらず、コンテンツ進化過程やイベントラベルの動的相関として反映されたデータ不確実性問題は、何らかの形で無視されている。本研究では,予測結果の信頼性を示す不確実な値を生成する,不確実性を考慮した頑健なビデオアクティビティ予測フレームワークを提案する。
論文参考訳（メタデータ） (2024-04-29T12:31:38Z)
Evidential Deep Learning: Enhancing Predictive Uncertainty Estimation for Earth System Science Applications [0.32302664881848275]
エビデンシャル・ディープ・ラーニング(Evidential Deep Learning)は、パラメトリック・ディープ・ラーニングを高次分布に拡張する手法である。本研究では,明らかなニューラルネットワークから得られる不確実性とアンサンブルから得られる不確実性を比較する。本研究では,従来の手法に匹敵する予測精度を実現するとともに,両方の不確実性源をしっかりと定量化しながら,明らかな深層学習モデルを示す。
論文参考訳（メタデータ） (2023-09-22T23:04:51Z)
Causal inference for the expected number of recurrent events in the presence of a terminal event [0.0]
終端イベントの存在下での繰り返し事象の因果推論と効率的な推定について検討した。絶対連続性の仮定は、障害、検閲、観察されたデータの基本的な確率分布についてなされない。
論文参考訳（メタデータ） (2023-06-28T21:31:25Z)
On the Joint Interaction of Models, Data, and Features [82.60073661644435]
本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
論文参考訳（メタデータ） (2023-06-07T21:35:26Z)
On Second-Order Scoring Rules for Epistemic Uncertainty Quantification [8.298716599039501]
本研究では,2次学習者が不確実性を忠実に表現する動機となる損失関数が存在しないことを示す。この結果を証明するための主要な数学的ツールとして,2次スコアリングルールの一般化概念を導入する。
論文参考訳（メタデータ） (2023-01-30T08:59:45Z)
Monotonicity and Double Descent in Uncertainty Estimation with Gaussian Processes [52.92110730286403]
限界確率はクロスバリデーションの指標を思い起こさせるべきであり、どちらもより大きな入力次元で劣化すべきである、と一般的に信じられている。我々は,ハイパーパラメータをチューニングすることにより,入力次元と単調に改善できることを証明した。また、クロスバリデーションの指標は、二重降下の特徴である質的に異なる挙動を示すことも証明した。
論文参考訳（メタデータ） (2022-10-14T08:09:33Z)
Data-Driven Influence Functions for Optimization-Based Causal Inference [105.5385525290466]
統計的汎関数に対するガトー微分を有限差分法で近似する構成的アルゴリズムについて検討する。本研究では,確率分布を事前知識がないが,データから推定する必要がある場合について検討する。
論文参考訳（メタデータ） (2022-08-29T16:16:22Z)
On the Difficulty of Epistemic Uncertainty Quantification in Machine Learning: The Case of Direct Uncertainty Estimation through Loss Minimisation [8.298716599039501]
不確かさの定量化は機械学習で注目を集めている。後者は学習者の知識(知識の欠如)を指し、特に測定と定量化が難しいようである。損失最小化は2次予測器では有効でないことを示す。
論文参考訳（メタデータ） (2022-03-11T17:26:05Z)
Causal Inference Under Unmeasured Confounding With Negative Controls: A Minimax Learning Approach [84.29777236590674]
すべての共同設立者が観察されず、代わりに負の制御が利用可能である場合の因果パラメータの推定について検討する。最近の研究は、2つのいわゆるブリッジ関数による同定と効率的な推定を可能にする方法を示している。
論文参考訳（メタデータ） (2021-03-25T17:59:19Z)
DEUP: Direct Epistemic Uncertainty Prediction [56.087230230128185]
認識の不確実性は、学習者の知識の欠如によるサンプル外の予測エラーの一部である。一般化誤差の予測を学習し, aleatoric uncertaintyの推定を減算することで, 認識的不確かさを直接推定する原理的アプローチを提案する。
論文参考訳（メタデータ） (2021-02-16T23:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。