Fugu-MT 論文翻訳(概要): Exploring the Equivalence of Siamese Self-Supervised Learning via A Unified Gradient Framework

論文の概要: Exploring the Equivalence of Siamese Self-Supervised Learning via A Unified Gradient Framework

arxiv url: http://arxiv.org/abs/2112.05141v1
Date: Thu, 9 Dec 2021 18:59:57 GMT
ステータス: 処理完了
システム内更新日: 2021-12-10 14:53:07.918431
Title: Exploring the Equivalence of Siamese Self-Supervised Learning via A Unified Gradient Framework
Title（参考訳）: 統一グラディエントフレームワークによるシームズ自己監督学習の等価性を探る
Authors: Chenxin Tao, Honghui Wang, Xizhou Zhu, Jiahua Dong, Shiji Song, Gao Huang, Jifeng Dai
Abstract要約: 自己教師付き学習は、人間のアノテーションなしで強力な視覚表現を抽出する大きな可能性を示している。様々な視点から自己指導型学習を扱うために,様々な研究が提案されている。自己教師型学習のための単純だが効果的な勾配形式UniGradを提案する。
参考スコア（独自算出の注目度）: 43.76337849044254
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Self-supervised learning has shown its great potential to extract powerful visual representations without human annotations. Various works are proposed to deal with self-supervised learning from different perspectives: (1) contrastive learning methods (e.g., MoCo, SimCLR) utilize both positive and negative samples to guide the training direction; (2) asymmetric network methods (e.g., BYOL, SimSiam) get rid of negative samples via the introduction of a predictor network and the stop-gradient operation; (3) feature decorrelation methods (e.g., Barlow Twins, VICReg) instead aim to reduce the redundancy between feature dimensions. These methods appear to be quite different in the designed loss functions from various motivations. The final accuracy numbers also vary, where different networks and tricks are utilized in different works. In this work, we demonstrate that these methods can be unified into the same form. Instead of comparing their loss functions, we derive a unified formula through gradient analysis. Furthermore, we conduct fair and detailed experiments to compare their performances. It turns out that there is little gap between these methods, and the use of momentum encoder is the key factor to boost performance. From this unified framework, we propose UniGrad, a simple but effective gradient form for self-supervised learning. It does not require a memory bank or a predictor network, but can still achieve state-of-the-art performance and easily adopt other training strategies. Extensive experiments on linear evaluation and many downstream tasks also show its effectiveness. Code shall be released.
Abstract（参考訳）: 自己教師付き学習は、人間のアノテーションなしで強力な視覚表現を抽出する大きな可能性を示している。 Various works are proposed to deal with self-supervised learning from different perspectives: (1) contrastive learning methods (e.g., MoCo, SimCLR) utilize both positive and negative samples to guide the training direction; (2) asymmetric network methods (e.g., BYOL, SimSiam) get rid of negative samples via the introduction of a predictor network and the stop-gradient operation; (3) feature decorrelation methods (e.g., Barlow Twins, VICReg) instead aim to reduce the redundancy between feature dimensions. これらの手法は、様々な動機から設計した損失関数では、かなり異なるようである。最終的な精度も異なり、異なるネットワークとトリックが異なる作業で利用される。本研究では,これらの手法が同一の形式に統一できることを実証する。損失関数を比較する代わりに、勾配解析を通じて統一式を導出する。さらに,その性能を比較するために,公正かつ詳細な実験を行う。これらの手法の間にはほとんどギャップが無く、運動量エンコーダの使用が性能向上の鍵となることが判明した。この統一フレームワークから,自己教師付き学習のための簡易かつ効果的な勾配形式であるunigradを提案する。メモリバンクや予測ネットワークは必要ありませんが、最先端のパフォーマンスを達成でき、他のトレーニング戦略を簡単に適用できます。線形評価と多くの下流タスクに関する大規模な実験も、その効果を示している。コードは解放される。

関連論文リスト

CUCL: Codebook for Unsupervised Continual Learning [129.91731617718781]
本研究は,教師なし連続学習(UCL)の代替として,教師なし連続学習(UCL)に焦点を当てている。本稿では,教師なし連続学習のためのCodebook for Unsupervised Continual Learning (CUCL) という手法を提案する。本手法は教師なしおよび教師なしの手法の性能を大幅に向上させる。
論文参考訳（メタデータ） (2023-11-25T03:08:50Z)
RLIF: Interactive Imitation Learning as Reinforcement Learning [56.997263135104504]
我々は,対話型模倣学習と類似するが,さらに実践的な仮定の下で,非政治強化学習によってパフォーマンスが向上できることを実証する。提案手法は,ユーザ介入信号を用いた強化学習を報奨として利用する。このことは、インタラクティブな模倣学習において介入する専門家がほぼ最適であるべきだという仮定を緩和し、アルゴリズムが潜在的に最適でない人間の専門家よりも改善される行動を学ぶことを可能にする。
論文参考訳（メタデータ） (2023-11-21T21:05:21Z)
From Pretext to Purpose: Batch-Adaptive Self-Supervised Learning [32.18543787821028]
本稿では,自己教師付きコントラスト学習におけるバッチ融合の適応的手法を提案する。公平な比較で最先端のパフォーマンスを達成する。提案手法は,データ駆動型自己教師型学習研究の進展に寄与する可能性が示唆された。
論文参考訳（メタデータ） (2023-11-16T15:47:49Z)
A Study of Forward-Forward Algorithm for Self-Supervised Learning [65.268245109828]
本研究では,自己指導型表現学習におけるフォワードとバックプロパゲーションのパフォーマンスについて検討する。我々の主な発見は、フォワードフォワードアルゴリズムが(自己教師付き)トレーニング中にバックプロパゲーションに相容れないように機能するのに対し、転送性能は研究されたすべての設定において著しく遅れていることである。
論文参考訳（メタデータ） (2023-09-21T10:14:53Z)
MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。所望のプロパティを統一する単段および単段のMOCAを提案する。我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
論文参考訳（メタデータ） (2023-07-18T15:46:20Z)
MSVQ: Self-Supervised Learning with Multiple Sample Views and Queues [10.327408694770709]
我々は、新しいシンプルなフレームワーク、すなわちMultiple Sample Views and Queues(MSVQ)を提案する。 2つの相補的および対称的アプローチを利用して3つのソフトラベルをオンザフライで共同構築する。学生ネットワークは、サンプル間の類似性関係を模倣するので、学生ネットワークはデータセット内の偽陰性サンプルをより柔軟に識別できる。
論文参考訳（メタデータ） (2023-05-09T12:05:14Z)
Siamese Prototypical Contrastive Learning [24.794022951873156]
コントラスト型自己教師学習(Contrastive Self-supervised Learning, CSL)は、大規模データから意味のある視覚的表現を教師なしアプローチで学習する実践的ソリューションである。本稿では,単純かつ効果的なコントラスト学習フレームワークを導入することで,この問題に対処する。重要な洞察は、シアメスタイルのメートル法損失を用いて、原型間特徴間の距離を増大させながら、原型内特徴と一致させることである。
論文参考訳（メタデータ） (2022-08-18T13:25:30Z)
Relational Surrogate Loss Learning [41.61184221367546]
本稿では、評価指標を近似するためにディープニューラルネットワークを用いる代理損失学習を再考する。本稿では,サロゲート損失と測定値の関係を直接的に維持することを示す。私たちの方法は最適化がずっと簡単で、大幅な効率と性能向上を享受しています。
論文参考訳（メタデータ） (2022-02-26T17:32:57Z)
A Survey on Contrastive Self-supervised Learning [0.0]
自己教師付き学習は、大規模なデータセットのアノテートコストを回避する能力によって人気を集めている。コントラスト学習は近年,コンピュータビジョン,自然言語処理(NLP)などの分野において,自己指導型学習手法の主流となっている。本稿では, コントラスト的アプローチに従う自己教師型手法について, 広範囲にわたるレビューを行う。
論文参考訳（メタデータ） (2020-10-31T21:05:04Z)
Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。