論文の概要: On the Importance of Asymmetry for Siamese Representation Learning

• arxiv url: http://arxiv.org/abs/2204.00613v1
• Date: Fri, 1 Apr 2022 17:57:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-04 15:13:11.414166
• Title: On the Importance of Asymmetry for Siamese Representation Learning
• Title（参考訳）: シームズ表現学習における非対称性の重要性について
• Authors: Xiao Wang, Haoqi Fan, Yuandong Tian, Daisuke Kihara, Xinlei Chen
• Abstract要約: シームズネットワークは、2つの並列エンコーダと概念的に対称である。 ネットワーク内の2つのエンコーダを明確に区別することで,非対称性の重要性について検討する。 非対称設計による改善は、より長いトレーニングスケジュール、複数の他のフレームワーク、より新しいバックボーンに一般化されている。
• 参考スコア（独自算出の注目度）: 53.86929387179092
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many recent self-supervised frameworks for visual representation learning are based on certain forms of Siamese networks. Such networks are conceptually symmetric with two parallel encoders, but often practically asymmetric as numerous mechanisms are devised to break the symmetry. In this work, we conduct a formal study on the importance of asymmetry by explicitly distinguishing the two encoders within the network -- one produces source encodings and the other targets. Our key insight is keeping a relatively lower variance in target than source generally benefits learning. This is empirically justified by our results from five case studies covering different variance-oriented designs, and is aligned with our preliminary theoretical analysis on the baseline. Moreover, we find the improvements from asymmetric designs generalize well to longer training schedules, multiple other frameworks and newer backbones. Finally, the combined effect of several asymmetric designs achieves a state-of-the-art accuracy on ImageNet linear probing and competitive results on downstream transfer. We hope our exploration will inspire more research in exploiting asymmetry for Siamese representation learning.
• Abstract（参考訳）: 視覚表現学習のための近年の自己教師型フレームワークの多くは、ある種のシームズネットワークに基づいている。 このようなネットワークは、2つの並列エンコーダと概念的に対称であるが、多くのメカニズムが対称性を破るために考案されるため、実際は非対称である。 本研究では,ネットワーク内の2つのエンコーダを明示的に区別することにより,非対称性の重要性に関する公式な研究を行う。 私たちの重要な洞察は、ソースよりもターゲットのばらつきが比較的低いことが、一般的に学習に役立ちます。 これは分散指向設計の異なる5つのケーススタディの結果によって実証的に正当化され、ベースラインに関する予備的な理論的分析と一致している。 さらに、非対称設計の改善により、より長いトレーニングスケジュール、複数のフレームワーク、新しいバックボーンが一般化される。 最後に、いくつかの非対称設計の組合せ効果は、imagenet線形プローブにおける最先端精度と下流転送における競合結果を達成する。 我々は、シームズ表現学習のための非対称性の活用により多くの研究を刺激することを期待している。

関連論文リスト

• Symmetry Breaking in Neural Network Optimization: Insights from Input Dimension Expansion [41.170854872233534]
  単純な入力拡張により、様々なタスクにおけるネットワーク性能が大幅に向上することを示す。 対称性の破れの度合いを定量化することにより,性能向上のための実践的手法と,ネットワーク設計の指針となる指標を提供する。
  論文  参考訳（メタデータ） (2024-09-10T10:36:40Z)
• The Empirical Impact of Neural Parameter Symmetries, or Lack Thereof [50.49582712378289]
  ニューラル・ネットワーク・アーキテクチャの導入により,ニューラル・パラメータ・対称性の影響について検討する。 我々は,パラメータ空間対称性を低減するために,標準的なニューラルネットワークを改良する2つの手法を開発した。 実験により,パラメータ対称性の経験的影響に関する興味深い観察がいくつか示された。
  論文  参考訳（メタデータ） (2024-05-30T16:32:31Z)
• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• Symmetry Induces Structure and Constraint of Learning [0.0]
  機械学習モデルの学習行動に影響を及ぼすか、決定しないかにかかわらず、損失関数対称性の重要性を明らかにする。 ディープラーニングにおけるミラー対称性の一般的な例としては、再スケーリング、回転、置換対称性がある。 ニューラルネットワークにおける可塑性の喪失や様々な崩壊現象などの興味深い現象を理論的枠組みで説明できることを示す。
  論文  参考訳（メタデータ） (2023-09-29T02:21:31Z)
• ${\rm E}(3)$-Equivariant Actor-Critic Methods for Cooperative Multi-Agent Reinforcement Learning [7.712824077083934]
  我々は,ある協調型マルチエージェント強化学習問題に固有のユークリッド対称性の活用に焦点をあてる。 我々は,マルチエージェントアクター批判手法の帰納バイアスとして,対称的制約を組み込んだニューラルネットワークアーキテクチャを設計する。
  論文  参考訳（メタデータ） (2023-08-23T00:18:17Z)
• SO(2) and O(2) Equivariance in Image Recognition with Bessel-Convolutional Neural Networks [63.24965775030674]
  この研究はベッセル畳み込みニューラルネットワーク(B-CNN)の開発を示す B-CNNは、ベッセル関数に基づく特定の分解を利用して、画像とフィルタの間のキー操作を変更する。 他の手法と比較して,B-CNNの性能を評価するために検討を行った。
  論文  参考訳（メタデータ） (2023-04-18T18:06:35Z)
• Towards a Unified Theoretical Understanding of Non-contrastive Learning via Rank Differential Mechanism [26.17829763295478]
  非コントラスト学習(BYOL、SimSiam、SwaV、DINO)という名前の様々な手法は、正のペアを単独で整列させることで、自己監督型視覚学習において優れたパフォーマンスが得られることを示す。 非競合学習の既存変種に対する統一的理論的理解を提案する。 我々の理論はランク微分機構 (RDM) と名付けられ、これらの非対称な設計が2分岐出力特性において一貫した階差を生み出すことを示している。
  論文  参考訳（メタデータ） (2023-03-04T11:36:41Z)
• Asymmetric Distribution Measure for Few-shot Learning [82.91276814477126]
  メトリクスベースの少数ショット画像分類は、クエリ画像とサポートクラスの関係を測定することを目的としている。 本稿では,非対称分布測定(ADM)ネットワークを提案する。 5ドルの$-wayの$-shotタスクで最先端のメソッドよりも3.02%の$と1.56%の$を達成しています。
  論文  参考訳（メタデータ） (2020-02-01T06:41:52Z)
• Asymmetric GANs for Image-to-Image Translation [62.49892218126542]
  GAN(Generative Adversarial Networks)の既存のモデルは、サイクル一貫性損失を使用して、ソースドメインからターゲットドメインへのマッピングを学習する。 非対称GANモデルを提案し、不等サイズと異なるパラメータ共有戦略の変換と再構成の両方を行う。 8つのデータセットを用いた教師付きおよび教師なし生成タスクの実験は、非対称GANが優れたモデルキャパシティとより良い生成性能を達成することを示す。
  論文  参考訳（メタデータ） (2019-12-14T21:24:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。