論文の概要: On the Importance of Asymmetry for Siamese Representation Learning
- arxiv url: http://arxiv.org/abs/2204.00613v1
- Date: Fri, 1 Apr 2022 17:57:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-04 15:13:11.414166
- Title: On the Importance of Asymmetry for Siamese Representation Learning
- Title(参考訳): シームズ表現学習における非対称性の重要性について
- Authors: Xiao Wang, Haoqi Fan, Yuandong Tian, Daisuke Kihara, Xinlei Chen
- Abstract要約: シームズネットワークは、2つの並列エンコーダと概念的に対称である。
ネットワーク内の2つのエンコーダを明確に区別することで,非対称性の重要性について検討する。
非対称設計による改善は、より長いトレーニングスケジュール、複数の他のフレームワーク、より新しいバックボーンに一般化されている。
- 参考スコア(独自算出の注目度): 53.86929387179092
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many recent self-supervised frameworks for visual representation learning are
based on certain forms of Siamese networks. Such networks are conceptually
symmetric with two parallel encoders, but often practically asymmetric as
numerous mechanisms are devised to break the symmetry. In this work, we conduct
a formal study on the importance of asymmetry by explicitly distinguishing the
two encoders within the network -- one produces source encodings and the other
targets. Our key insight is keeping a relatively lower variance in target than
source generally benefits learning. This is empirically justified by our
results from five case studies covering different variance-oriented designs,
and is aligned with our preliminary theoretical analysis on the baseline.
Moreover, we find the improvements from asymmetric designs generalize well to
longer training schedules, multiple other frameworks and newer backbones.
Finally, the combined effect of several asymmetric designs achieves a
state-of-the-art accuracy on ImageNet linear probing and competitive results on
downstream transfer. We hope our exploration will inspire more research in
exploiting asymmetry for Siamese representation learning.
- Abstract(参考訳): 視覚表現学習のための近年の自己教師型フレームワークの多くは、ある種のシームズネットワークに基づいている。
このようなネットワークは、2つの並列エンコーダと概念的に対称であるが、多くのメカニズムが対称性を破るために考案されるため、実際は非対称である。
本研究では,ネットワーク内の2つのエンコーダを明示的に区別することにより,非対称性の重要性に関する公式な研究を行う。
私たちの重要な洞察は、ソースよりもターゲットのばらつきが比較的低いことが、一般的に学習に役立ちます。
これは分散指向設計の異なる5つのケーススタディの結果によって実証的に正当化され、ベースラインに関する予備的な理論的分析と一致している。
さらに、非対称設計の改善により、より長いトレーニングスケジュール、複数のフレームワーク、新しいバックボーンが一般化される。
最後に、いくつかの非対称設計の組合せ効果は、imagenet線形プローブにおける最先端精度と下流転送における競合結果を達成する。
我々は、シームズ表現学習のための非対称性の活用により多くの研究を刺激することを期待している。
関連論文リスト
- Learning Layer-wise Equivariances Automatically using Gradients [66.81218780702125]
畳み込みは等価対称性をニューラルネットワークにエンコードし、より優れた一般化性能をもたらす。
対称性は、ネットワークが表現できる機能、事前に指定する必要、適応できない機能に対して、固定されたハード制約を提供する。
私たちのゴールは、勾配を使ってデータから自動的に学習できるフレキシブル対称性の制約を可能にすることです。
論文 参考訳(メタデータ) (2023-10-09T20:22:43Z) - Symmetry Leads to Structured Constraint of Learning [0.0]
機械学習モデルの学習行動に影響を及ぼすか、決定しないかにかかわらず、損失関数対称性の重要性を明らかにする。
再スケーリング対称性はスパース性、回転対称性は低いランク性、置換対称性は均質なアンサンブルをもたらすことを示す。
論文 参考訳(メタデータ) (2023-09-29T02:21:31Z) - ${\rm E}(3)$-Equivariant Actor-Critic Methods for Cooperative
Multi-Agent Reinforcement Learning [9.111679916965276]
我々は,ある協調型マルチエージェント強化学習問題に固有のユークリッド対称性の活用に焦点をあてる。
我々は,マルチエージェントアクター批判手法の帰納バイアスとして,対称的制約を組み込んだニューラルネットワークアーキテクチャを設計する。
論文 参考訳(メタデータ) (2023-08-23T00:18:17Z) - SO(2) and O(2) Equivariance in Image Recognition with
Bessel-Convolutional Neural Networks [63.24965775030674]
この研究はベッセル畳み込みニューラルネットワーク(B-CNN)の開発を示す
B-CNNは、ベッセル関数に基づく特定の分解を利用して、画像とフィルタの間のキー操作を変更する。
他の手法と比較して,B-CNNの性能を評価するために検討を行った。
論文 参考訳(メタデータ) (2023-04-18T18:06:35Z) - Towards a Unified Theoretical Understanding of Non-contrastive Learning
via Rank Differential Mechanism [26.17829763295478]
非コントラスト学習(BYOL、SimSiam、SwaV、DINO)という名前の様々な手法は、正のペアを単独で整列させることで、自己監督型視覚学習において優れたパフォーマンスが得られることを示す。
非競合学習の既存変種に対する統一的理論的理解を提案する。
我々の理論はランク微分機構 (RDM) と名付けられ、これらの非対称な設計が2分岐出力特性において一貫した階差を生み出すことを示している。
論文 参考訳(メタデータ) (2023-03-04T11:36:41Z) - The Surprising Effectiveness of Equivariant Models in Domains with
Latent Symmetry [6.716931832076628]
領域対称性と正確に一致しない対称性制約を課すことは、環境における真の対称性を学ぶのに非常に有用であることを示す。
ロボット操作・制御問題における教師付き学習と強化学習の両方において,同変モデルが潜在対称性を持つ領域における非同変手法を大幅に上回ることを示す。
論文 参考訳(メタデータ) (2022-11-16T21:51:55Z) - Parametric Contrastive Learning [65.70554597097248]
本研究では,長期学習のためのパラメトリックコントラスト学習(PaCo)を提案する。
PaCoは、同じクラスのクローズのサンプルをプッシュする強度を適応的に増強することができる。
長い尾を持つCIFAR、ImageNet、Places、iNaturalist 2018の実験は、長い尾を持つ認識のための新しい最先端技術を示している。
論文 参考訳(メタデータ) (2021-07-26T08:37:23Z) - Beyond Single Instance Multi-view Unsupervised Representation Learning [21.449132256091662]
ランダムにサンプリングされた2つのインスタンス間の結合類似度を測定することにより、より正確なインスタンス識別能力を付与する。
符号化された特徴が潜伏した空間でより均等に分散される場合,共同学習の類似性によって性能が向上すると考えている。
論文 参考訳(メタデータ) (2020-11-26T15:43:27Z) - Asymmetric Distribution Measure for Few-shot Learning [82.91276814477126]
メトリクスベースの少数ショット画像分類は、クエリ画像とサポートクラスの関係を測定することを目的としている。
本稿では,非対称分布測定(ADM)ネットワークを提案する。
5ドルの$-wayの$-shotタスクで最先端のメソッドよりも3.02%の$と1.56%の$を達成しています。
論文 参考訳(メタデータ) (2020-02-01T06:41:52Z) - Understanding Graph Neural Networks with Generalized Geometric
Scattering Transforms [67.88675386638043]
散乱変換は、畳み込みニューラルネットワークのモデルとして機能する多層ウェーブレットベースのディープラーニングアーキテクチャである。
非対称ウェーブレットの非常に一般的なクラスに基づくグラフに対して、窓付きおよび非窓付き幾何散乱変換を導入する。
これらの非対称グラフ散乱変換は、対称グラフ散乱変換と多くの理論的保証を持つことを示す。
論文 参考訳(メタデータ) (2019-11-14T17:23:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。