Fugu-MT 論文翻訳(概要): Stochastic Contrastive Learning

論文の概要: Stochastic Contrastive Learning

arxiv url: http://arxiv.org/abs/2110.00552v1
Date: Fri, 1 Oct 2021 17:30:08 GMT
ステータス: 処理完了
システム内更新日: 2021-10-04 14:30:21.550900
Title: Stochastic Contrastive Learning
Title（参考訳）: 確率的コントラスト学習
Authors: Jason Ramapuram, Dan BusBridge, Xavier Suau, Russ Webb
Abstract要約: 潜在変数(LV)モデルは不確実性への帰属を可能にし、タスク固有の圧縮を誘導し、一般により解釈可能な表現を可能にする。本研究では,大規模コントラストSSLモデルにLV近似を導入する。
参考スコア（独自算出の注目度）: 3.1594831736896025
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: While state-of-the-art contrastive Self-Supervised Learning (SSL) models produce results competitive with their supervised counterparts, they lack the ability to infer latent variables. In contrast, prescribed latent variable (LV) models enable attributing uncertainty, inducing task specific compression, and in general allow for more interpretable representations. In this work, we introduce LV approximations to large scale contrastive SSL models. We demonstrate that this addition improves downstream performance (resulting in 96.42% and 77.49% test top-1 fine-tuned performance on CIFAR10 and ImageNet respectively with a ResNet50) as well as producing highly compressed representations (588x reduction) that are useful for interpretability, classification and regression downstream tasks.
Abstract（参考訳）: 最先端の対比的自己監視学習(SSL)モデルは、教師付き学習と競合する結果をもたらすが、潜伏変数を推論する能力は欠如している。対照的に、所定の潜伏変数(LV)モデルは不確実性をもたらし、タスク固有の圧縮を誘導し、一般により解釈可能な表現を可能にする。本研究では,大規模コントラストSSLモデルにLV近似を導入する。この追加により、ダウンストリーム性能(CIFAR10とImageNetでそれぞれ96.42%と77.49%のテストトップ-1微調整性能)が向上し、高い圧縮された表現(588倍の削減)が、ダウンストリームタスクの解釈、分類、回帰に有用であることが示されている。

関連論文リスト

Can Structured Data Reduce Epistemic Uncertainty? [0.0]
モデルでは、逐次分類タスクにおいて、より優れた性能で下流タスクをより高い速度で学習できることが示される。オントロジーアライメントの過程においてサブエミッションマッピングがどのようにして取得されたかを示すために、我々の研究を拡張し、大規模言語モデルにおける検索・拡張生成を強化するのに役立ちます。
論文参考訳（メタデータ） (2024-10-14T23:38:51Z)
The Bad Batches: Enhancing Self-Supervised Learning in Image Classification Through Representative Batch Curation [1.519321208145928]
人間の監督なしに堅牢な表現を学ぶことの追求は、長年にわたる課題である。本稿では,Fr'echet ResNet Distance(FRD)によるペアワイズ類似性計算を用いて,偽正負負対と偽負対の影響を緩和する。提案手法の有効性は,STL10で87.74%,Flower102データセットで99.31%,自己教師付きコントラスト表現で訓練された線形分類器によって実証された。
論文参考訳（メタデータ） (2024-03-28T17:04:07Z)
On Higher Adversarial Susceptibility of Contrastive Self-Supervised Learning [104.00264962878956]
コントラスト型自己教師学習(CSL)は,画像と映像の分類において,教師あり学習のパフォーマンスに適合するか上回っている。 2つの学習パラダイムによって誘導される表現の性質が似ているかどうかは、いまだに不明である。我々は,CSL表現空間における単位超球面上のデータ表現の均一分布を,この現象の鍵となる要因として同定する。 CSLトレーニングでモデルロバスト性を改善するのにシンプルだが有効である戦略を考案する。
論文参考訳（メタデータ） (2022-07-22T03:49:50Z)
Measuring Self-Supervised Representation Quality for Downstream Classification using Discriminative Features [56.89813105411331]
我々は,SimCLR,SwaV,MoCo,BYOL,DINO,SimSiam,VICReg,Barlow Twinsといった最先端の自己教師型モデルの表現空間について検討した。本稿では,標本が誤分類される可能性を確実に予測できる教師なしスコアである自己監督表現品質スコア(Qスコア)を提案する。 Q-Score正規化による微調整により、SSLモデルの線形探索精度はImageNet-100で5.8%、ImageNet-1Kで3.7%向上する。
論文参考訳（メタデータ） (2022-03-03T17:48:23Z)
Boosting Contrastive Learning with Relation Knowledge Distillation [12.14219750487548]
関係知識蒸留 (Relation Knowledge Distillation, ReKD) を用いた関係性に関するコントラストパラダイムを提案する。提案手法は,複数の軽量モデルにおいて大幅な改善を実現することを示す。
論文参考訳（メタデータ） (2021-12-08T08:49:18Z)
Contrastive Learning for Fair Representations [50.95604482330149]
訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
論文参考訳（メタデータ） (2021-09-22T10:47:51Z)
Self-Damaging Contrastive Learning [92.34124578823977]
ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
論文参考訳（メタデータ） (2021-06-06T00:04:49Z)
Unleashing the Power of Contrastive Self-Supervised Visual Models via Contrast-Regularized Fine-Tuning [94.35586521144117]
コントラスト学習を微調整に適用することでさらにメリットが得られるか検討する。本研究では,コントラスト正規化調律(core-tuning)を提案する。
論文参考訳（メタデータ） (2021-02-12T16:31:24Z)
On the Benefits of Models with Perceptually-Aligned Gradients [8.427953227125148]
敵攻撃に対する強靭性を示さないモデルにおいても,解釈的かつ知覚的に整合した勾配が存在することを示す。解釈可能な知覚整合性を持つモデルを活用し、最大摂動境界の低い対角トレーニングがゼロショットおよび弱教師付きローカライゼーションタスクのモデルの性能を向上させることを示す。
論文参考訳（メタデータ） (2020-05-04T14:05:38Z)
Learnable Bernoulli Dropout for Bayesian Deep Learning [53.79615543862426]
Learnable Bernoulli Dropout (LBD) は、他のモデルパラメータと共に最適化されたパラメータとしてドロップアウト率を考慮する新しいモデルに依存しないドロップアウトスキームである。 LBDは画像分類とセマンティックセグメンテーションにおける精度と不確実性の推定を改善する。
論文参考訳（メタデータ） (2020-02-12T18:57:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。