Fugu-MT 論文翻訳(概要): Exploring the Equivalence of Siamese Self-Supervised Learning via A Unified Gradient Framework

論文の概要: Exploring the Equivalence of Siamese Self-Supervised Learning via A Unified Gradient Framework

arxiv url: http://arxiv.org/abs/2112.05141v1
Date: Thu, 9 Dec 2021 18:59:57 GMT
ステータス: 処理完了
システム内更新日: 2021-12-10 14:53:07.918431
Title: Exploring the Equivalence of Siamese Self-Supervised Learning via A Unified Gradient Framework
Title（参考訳）: 統一グラディエントフレームワークによるシームズ自己監督学習の等価性を探る
Authors: Chenxin Tao, Honghui Wang, Xizhou Zhu, Jiahua Dong, Shiji Song, Gao Huang, Jifeng Dai
Abstract要約: 自己教師付き学習は、人間のアノテーションなしで強力な視覚表現を抽出する大きな可能性を示している。様々な視点から自己指導型学習を扱うために,様々な研究が提案されている。自己教師型学習のための単純だが効果的な勾配形式UniGradを提案する。
参考スコア（独自算出の注目度）: 43.76337849044254
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Self-supervised learning has shown its great potential to extract powerful visual representations without human annotations. Various works are proposed to deal with self-supervised learning from different perspectives: (1) contrastive learning methods (e.g., MoCo, SimCLR) utilize both positive and negative samples to guide the training direction; (2) asymmetric network methods (e.g., BYOL, SimSiam) get rid of negative samples via the introduction of a predictor network and the stop-gradient operation; (3) feature decorrelation methods (e.g., Barlow Twins, VICReg) instead aim to reduce the redundancy between feature dimensions. These methods appear to be quite different in the designed loss functions from various motivations. The final accuracy numbers also vary, where different networks and tricks are utilized in different works. In this work, we demonstrate that these methods can be unified into the same form. Instead of comparing their loss functions, we derive a unified formula through gradient analysis. Furthermore, we conduct fair and detailed experiments to compare their performances. It turns out that there is little gap between these methods, and the use of momentum encoder is the key factor to boost performance. From this unified framework, we propose UniGrad, a simple but effective gradient form for self-supervised learning. It does not require a memory bank or a predictor network, but can still achieve state-of-the-art performance and easily adopt other training strategies. Extensive experiments on linear evaluation and many downstream tasks also show its effectiveness. Code shall be released.
Abstract（参考訳）: 自己教師付き学習は、人間のアノテーションなしで強力な視覚表現を抽出する大きな可能性を示している。 Various works are proposed to deal with self-supervised learning from different perspectives: (1) contrastive learning methods (e.g., MoCo, SimCLR) utilize both positive and negative samples to guide the training direction; (2) asymmetric network methods (e.g., BYOL, SimSiam) get rid of negative samples via the introduction of a predictor network and the stop-gradient operation; (3) feature decorrelation methods (e.g., Barlow Twins, VICReg) instead aim to reduce the redundancy between feature dimensions. これらの手法は、様々な動機から設計した損失関数では、かなり異なるようである。最終的な精度も異なり、異なるネットワークとトリックが異なる作業で利用される。本研究では,これらの手法が同一の形式に統一できることを実証する。損失関数を比較する代わりに、勾配解析を通じて統一式を導出する。さらに,その性能を比較するために,公正かつ詳細な実験を行う。これらの手法の間にはほとんどギャップが無く、運動量エンコーダの使用が性能向上の鍵となることが判明した。この統一フレームワークから,自己教師付き学習のための簡易かつ効果的な勾配形式であるunigradを提案する。メモリバンクや予測ネットワークは必要ありませんが、最先端のパフォーマンスを達成でき、他のトレーニング戦略を簡単に適用できます。線形評価と多くの下流タスクに関する大規模な実験も、その効果を示している。コードは解放される。

関連論文リスト

Weighted Ensemble Self-Supervised Learning [67.24482854208783]
組み立ては、モデルパフォーマンスを高めるための強力なテクニックであることが証明されている。我々は,データ依存型重み付きクロスエントロピー損失を許容するフレームワークを開発した。提案手法は、ImageNet-1K上での複数の評価指標において、両者に優れる。
論文参考訳（メタデータ） (2022-11-18T02:00:17Z)
Planning for Sample Efficient Imitation Learning [52.44953015011569]
現在の模倣アルゴリズムは、高い性能と高環境サンプル効率を同時に達成するのに苦労している。本研究では,環境内サンプルの効率と性能を同時に達成できる計画型模倣学習手法であるEfficientImitateを提案する。実験結果から,EIは性能と試料効率の両立を図った。
論文参考訳（メタデータ） (2022-10-18T05:19:26Z)
Siamese Prototypical Contrastive Learning [24.794022951873156]
コントラスト型自己教師学習(Contrastive Self-supervised Learning, CSL)は、大規模データから意味のある視覚的表現を教師なしアプローチで学習する実践的ソリューションである。本稿では,単純かつ効果的なコントラスト学習フレームワークを導入することで,この問題に対処する。重要な洞察は、シアメスタイルのメートル法損失を用いて、原型間特徴間の距離を増大させながら、原型内特徴と一致させることである。
論文参考訳（メタデータ） (2022-08-18T13:25:30Z)
Understanding Contrastive Learning Requires Incorporating Inductive Biases [64.56006519908213]
下流タスクにおけるコントラスト学習の成功を理論的に説明しようとする最近の試みは、エム強化の特性とエムコントラスト学習の損失の値によって保証が証明されている。このような分析は,関数クラスやトレーニングアルゴリズムの帰納的バイアスを無視し,いくつかの設定において不確実な保証につながることを実証する。
論文参考訳（メタデータ） (2022-02-28T18:59:20Z)
Relational Surrogate Loss Learning [41.61184221367546]
本稿では、評価指標を近似するためにディープニューラルネットワークを用いる代理損失学習を再考する。本稿では,サロゲート損失と測定値の関係を直接的に維持することを示す。私たちの方法は最適化がずっと簡単で、大幅な効率と性能向上を享受しています。
論文参考訳（メタデータ） (2022-02-26T17:32:57Z)
Improving Contrastive Learning by Visualizing Feature Transformation [37.548120912055595]
本稿では,データ拡張とは異なる特徴レベルのデータ操作を考案し,汎用的なコントラスト型自己教師型学習の強化を試みる。まず,pos/negスコアの可視化手法(pos/negスコアはpos/negペアの類似性を示す)を設計し,学習過程の分析,解釈,理解を可能にする。その結果,MoCoベースライン上でのImageNet-100の精度は少なくとも6.0%向上し,MoCoV2ベースライン上でのImageNet-1Kの精度は約2.0%向上した。
論文参考訳（メタデータ） (2021-08-06T07:26:08Z)
An Empirical Comparison of Instance Attribution Methods for NLP [62.63504976810927]
本研究は,トレーニングサンプルの重要性に関して,異なるインスタンス属性が一致した度合いを評価する。単純な検索メソッドは、グラデーションベースの方法によって識別されたものと異なるトレーニングインスタンスを生成する。
論文参考訳（メタデータ） (2021-04-09T01:03:17Z)
A Survey on Contrastive Self-supervised Learning [0.0]
自己教師付き学習は、大規模なデータセットのアノテートコストを回避する能力によって人気を集めている。コントラスト学習は近年,コンピュータビジョン,自然言語処理(NLP)などの分野において,自己指導型学習手法の主流となっている。本稿では, コントラスト的アプローチに従う自己教師型手法について, 広範囲にわたるレビューを行う。
論文参考訳（メタデータ） (2020-10-31T21:05:04Z)
SCE: Scalable Network Embedding from Sparsest Cut [20.08464038805681]
大規模ネットワーク埋め込みは、教師なしの方法で各ノードの潜在表現を学習することである。このような対照的な学習手法の成功の鍵は、正と負のサンプルを引き出す方法である。本稿では, 負のサンプルのみを用いた教師なしネットワーク埋め込みのためのSCEを提案する。
論文参考訳（メタデータ） (2020-06-30T03:18:15Z)
Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。