論文の概要: The NT-Xent loss upper bound
- arxiv url: http://arxiv.org/abs/2205.03169v1
- Date: Fri, 6 May 2022 12:32:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-09 16:00:26.218050
- Title: The NT-Xent loss upper bound
- Title(参考訳): NT-Xent損失上限
- Authors: Wilhelm {\AA}gren
- Abstract要約: 自己教師型学習は、深層表現学習において成長するパラダイムである。
SimCLRフレームワークは、コントラスト表現学習のためのNT-Xent損失を提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Self-supervised learning is a growing paradigm in deep representation
learning, showing great generalization capabilities and competitive performance
in low-labeled data regimes. The SimCLR framework proposes the NT-Xent loss for
contrastive representation learning. The objective of the loss function is to
maximize agreement, similarity, between sampled positive pairs. This short
paper derives and proposes an upper bound for the loss and average similarity.
An analysis of the implications is however not provided, but we strongly
encourage anyone in the field to conduct this.
- Abstract(参考訳): 自己教師付き学習は、深層表現学習のパラダイムとして成長し、低ラベルのデータ構造における高度な一般化能力と競争性能を示す。
SimCLRフレームワークは、コントラスト表現学習のためのNT-Xent損失を提案する。
損失関数の目的は、サンプル正対間の一致、類似性を最大化することである。
本論文は、損失と平均的類似性に対する上限を導出し、提案する。
しかし、影響の分析は提供されていないが、この分野の誰にでも実施するよう強く推奨している。
関連論文リスト
- Large Margin Discriminative Loss for Classification [3.3975558777609915]
本稿では,Deep Learning の文脈において,大きなマージンを持つ新たな識別的損失関数を提案する。
この損失は、クラス内コンパクト性とクラス間分離性によって表されるニューラルネットの識別力を高める。
論文 参考訳(メタデータ) (2024-05-28T18:10:45Z) - Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。
当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
論文 参考訳(メタデータ) (2024-01-10T04:55:24Z) - Improving Unsupervised Relation Extraction by Augmenting Diverse
Sentence Pairs [15.87963432758696]
非文関係抽出(URE)は、原文から名前付きエンティティ間の関係を抽出することを目的としている。
我々は,文内ペアの増補と,文間ペアの抽出による拡張を併用したAugUREを提案する。
NYT-FBとTACREDデータセットの実験は、提案した関係表現学習と単純なK-Meansクラスタリングが最先端のパフォーマンスを達成することを示した。
論文 参考訳(メタデータ) (2023-12-01T12:59:32Z) - Expressive Losses for Verified Robustness via Convex Combinations [67.54357965665676]
本研究では, 過近似係数と異なる表現的損失に対する性能分布の関係について検討した。
表現性が不可欠である一方で、最悪の場合の損失のより良い近似は、必ずしも優れた堅牢性-正確性トレードオフに結びついていないことを示す。
論文 参考訳(メタデータ) (2023-05-23T12:20:29Z) - Synergies between Disentanglement and Sparsity: Generalization and
Identifiability in Multi-Task Learning [79.83792914684985]
我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。
この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
論文 参考訳(メタデータ) (2022-11-26T21:02:09Z) - Contrastive Learning for Fair Representations [50.95604482330149]
訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。
対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。
比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
論文 参考訳(メタデータ) (2021-09-22T10:47:51Z) - Unsupervised Learning of Debiased Representations with Pseudo-Attributes [85.5691102676175]
教師なし方式で,単純かつ効果的な脱バイアス手法を提案する。
特徴埋め込み空間上でクラスタリングを行い、クラスタリング結果を利用して疑似属性を識別する。
次に,非偏り表現を学習するために,クラスタベースの新しい重み付け手法を用いる。
論文 参考訳(メタデータ) (2021-08-06T05:20:46Z) - Loss Bounds for Approximate Influence-Based Abstraction [81.13024471616417]
影響に基づく抽象化は、システムの残りの部分が与える「影響」とともに、局所的なサブプロブレムをモデル化することでレバレッジを得ることを目的としている。
本稿では,理論的観点から,そのような手法の性能について考察する。
交叉エントロピーで訓練されたニューラルネットワークは、近似的な影響表現を学習するのに適していることを示す。
論文 参考訳(メタデータ) (2020-11-03T15:33:10Z) - Adversarially Robust Learning via Entropic Regularization [31.6158163883893]
我々は、敵対的に堅牢なディープニューラルネットワークを訓練するための新しいアルゴリズムATENTを提案する。
我々の手法は、頑健な分類精度の観点から、競争力(またはより良い)性能を達成する。
論文 参考訳(メタデータ) (2020-08-27T18:54:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。