論文の概要: Towards a Unified Theoretical Understanding of Non-contrastive Learning
via Rank Differential Mechanism
- arxiv url: http://arxiv.org/abs/2303.02387v1
- Date: Sat, 4 Mar 2023 11:36:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-07 20:06:58.491994
- Title: Towards a Unified Theoretical Understanding of Non-contrastive Learning
via Rank Differential Mechanism
- Title（参考訳）: ランク微分機構による非連続学習の統一的理論的理解に向けて
- Authors: Zhijian Zhuo, Yifei Wang, Jinwen Ma, Yisen Wang
- Abstract要約: 非コントラスト学習(BYOL、SimSiam、SwaV、DINO)という名前の様々な手法は、正のペアを単独で整列させることで、自己監督型視覚学習において優れたパフォーマンスが得られることを示す。
非競合学習の既存変種に対する統一的理論的理解を提案する。
我々の理論はランク微分機構 (RDM) と名付けられ、これらの非対称な設計が2分岐出力特性において一貫した階差を生み出すことを示している。
- 参考スコア（独自算出の注目度）: 26.17829763295478
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, a variety of methods under the name of non-contrastive learning
(like BYOL, SimSiam, SwAV, DINO) show that when equipped with some asymmetric
architectural designs, aligning positive pairs alone is sufficient to attain
good performance in self-supervised visual learning. Despite some
understandings of some specific modules (like the predictor in BYOL), there is
yet no unified theoretical understanding of how these seemingly different
asymmetric designs can all avoid feature collapse, particularly considering
methods that also work without the predictor (like DINO). In this work, we
propose a unified theoretical understanding for existing variants of
non-contrastive learning. Our theory named Rank Differential Mechanism (RDM)
shows that all these asymmetric designs create a consistent rank difference in
their dual-branch output features. This rank difference will provably lead to
an improvement of effective dimensionality and alleviate either complete or
dimensional feature collapse. Different from previous theories, our RDM theory
is applicable to different asymmetric designs (with and without the predictor),
and thus can serve as a unified understanding of existing non-contrastive
learning methods. Besides, our RDM theory also provides practical guidelines
for designing many new non-contrastive variants. We show that these variants
indeed achieve comparable performance to existing methods on benchmark
datasets, and some of them even outperform the baselines. Our code is available
at \url{https://github.com/PKU-ML/Rank-Differential-Mechanism}.
- Abstract（参考訳）: 近年,非矛盾学習(byol, simsiam, swav, dinoなど)の名の下には,非対称なアーキテクチャ設計が備わっている場合,正のペアのみを整列させることで,自己教師あり視覚学習において良好な性能が得られることを示す手法が数多く提案されている。
特定のモジュール(BYOLの予測器など)についてのいくつかの理解にもかかわらず、これらの一見異なる非対称な設計が特徴の崩壊を避けるための統一的な理論的理解は、特にDINOのような予測器なしでも機能する手法を考えると、まだない。
本研究では,非連続学習の既存変種に対する統一的理論的理解を提案する。
我々の理論はランク微分機構 (RDM) と名付けられ、これらの非対称な設計が2分岐出力特性において一貫した階差を生み出すことを示している。
このランクの違いにより、効果的な次元性が改善され、完全または次元の特徴の崩壊が緩和される。
従来の理論と異なり、我々のRDM理論は(予測子なしで)異なる非対称な設計に適用できるため、既存の非競合学習手法の統一的な理解に役立てることができる。
さらに、我々のRDM理論は、多くの新しい非競合的変種を設計するための実践的なガイドラインも提供する。
これらの変異は、ベンチマークデータセット上の既存のメソッドに匹敵するパフォーマンスを実現しており、その一部はベースラインよりも優れています。
我々のコードは \url{https://github.com/PKU-ML/Rank-Differential-Mechanism} で利用可能です。
関連論文リスト
- Learning Neural Strategy-Proof Matching Mechanism from Examples [24.15688619889342]
我々は,人為的なデータセットから戦略防御機構を学習するニューラルネットワークであるNeuralSDを開発した。
エージェント数の違いによるマッチング例から,ストラテジブルマッチングを学習するための実験を行った。
論文 参考訳（メタデータ） (2024-10-25T08:34:25Z) - A Canonicalization Perspective on Invariant and Equivariant Learning [54.44572887716977]
フレームの設計について,本質的で完全な視点を提供する正準化の視点を導入する。
フレームと標準形式の間には固有の関係があることが示される。
既存の手法よりも厳密な固有ベクトルのための新しいフレームを設計する。
論文 参考訳（メタデータ） (2024-05-28T17:22:15Z) - Learning Probabilistic Symmetrization for Architecture Agnostic Equivariance [16.49488981364657]
群対称性を持つ学習関数における同変アーキテクチャの限界を克服する新しい枠組みを提案する。
我々は、不変量や変圧器のような任意の基底モデルを使用し、それを与えられた群に同変するように対称性付けする。
実証実験は、調整された同変アーキテクチャに対する競争結果を示す。
論文 参考訳（メタデータ） (2023-06-05T13:40:54Z) - Evaluating the Robustness of Interpretability Methods through
Explanation Invariance and Equivariance [72.50214227616728]
解釈可能性法は、それらの説明が説明されたモデルを忠実に記述した場合にのみ有用である。
特定の対称性群の下で予測が不変であるニューラルネットワークを考える。
論文 参考訳（メタデータ） (2023-04-13T17:59:03Z) - Neural Bregman Divergences for Distance Learning [60.375385370556145]
本稿では,入力凸ニューラルネットワークを用いて任意のブレグマン分岐を微分可能な方法で学習するための新しいアプローチを提案する。
提案手法は,新しいタスクと以前に研究されたタスクのセットにおいて,より忠実に相違点を学習することを示す。
我々のテストはさらに、既知の非対称なタスクにまで拡張するが、Bregmanでないタスクでは、不特定性にもかかわらず、我々のメソッドは競争的に機能する。
論文 参考訳（メタデータ） (2022-06-09T20:53:15Z) - On the duality between contrastive and non-contrastive self-supervised
learning [0.0]
自己指導型学習は、対照的なアプローチと非対照的なアプローチに分けることができる。
コントラストと非コントラストの家族がいかに近いかを示します。
また、下流のパフォーマンスにデザイン選択の影響(またはその欠如)を示す。
論文 参考訳（メタデータ） (2022-06-03T08:04:12Z) - MACE: An Efficient Model-Agnostic Framework for Counterfactual
Explanation [132.77005365032468]
MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。
MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。
公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
論文 参考訳（メタデータ） (2022-05-31T04:57:06Z) - On the Importance of Asymmetry for Siamese Representation Learning [53.86929387179092]
シームズネットワークは、2つの並列エンコーダと概念的に対称である。
ネットワーク内の2つのエンコーダを明確に区別することで,非対称性の重要性について検討する。
非対称設計による改善は、より長いトレーニングスケジュール、複数の他のフレームワーク、より新しいバックボーンに一般化されている。
論文 参考訳（メタデータ） (2022-04-01T17:57:24Z) - Chaos is a Ladder: A New Theoretical Understanding of Contrastive
Learning via Augmentation Overlap [64.60460828425502]
コントラスト学習の下流性能に関する新たな保証を提案する。
我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。
本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
論文 参考訳（メタデータ） (2022-03-25T05:36:26Z) - Exploring the Equivalence of Siamese Self-Supervised Learning via A
Unified Gradient Framework [43.76337849044254]
自己教師付き学習は、人間のアノテーションなしで強力な視覚表現を抽出する大きな可能性を示している。
様々な視点から自己指導型学習を扱うために,様々な研究が提案されている。
自己教師型学習のための単純だが効果的な勾配形式UniGradを提案する。
論文 参考訳（メタデータ） (2021-12-09T18:59:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。