論文の概要: Exploring Simple Siamese Representation Learning

• arxiv url: http://arxiv.org/abs/2011.10566v1
• Date: Fri, 20 Nov 2020 18:59:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-23 05:33:09.950072
• Title: Exploring Simple Siamese Representation Learning
• Title（参考訳）: 単純なシームズ表現学習の探求
• Authors: Xinlei Chen and Kaiming He
• Abstract要約: i) 負のサンプル対, (ii) 大きいバッチ, (iii) 運動量エンコーダを用いて, 単純なシームズネットワークは意味のある表現を学習できることを示す。 実験により, 崩壊解は損失や構造に対して存在するが, 崩壊を防止する上では, 停止段階の操作が重要な役割を担っていることがわかった。
• 参考スコア（独自算出の注目度）: 68.37628268182185
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Siamese networks have become a common structure in various recent models for unsupervised visual representation learning. These models maximize the similarity between two augmentations of one image, subject to certain conditions for avoiding collapsing solutions. In this paper, we report surprising empirical results that simple Siamese networks can learn meaningful representations even using none of the following: (i) negative sample pairs, (ii) large batches, (iii) momentum encoders. Our experiments show that collapsing solutions do exist for the loss and structure, but a stop-gradient operation plays an essential role in preventing collapsing. We provide a hypothesis on the implication of stop-gradient, and further show proof-of-concept experiments verifying it. Our "SimSiam" method achieves competitive results on ImageNet and downstream tasks. We hope this simple baseline will motivate people to rethink the roles of Siamese architectures for unsupervised representation learning. Code will be made available.
• Abstract（参考訳）: シームズネットワークは、教師なし視覚表現学習の様々なモデルにおいて共通の構造となっている。 これらのモデルは、1つの画像の2つの拡張の類似性を最大化し、崩壊する解を避けるための特定の条件を満たす。 本稿では、単純なシャムネットワークが、下記のどれも使わずに意味のある表現を学習できるという驚くべき実験結果を報告する。 (i)負のサンプル対。 (ii)大きなバッチ。 (iii)運動量エンコーダ。 実験の結果,崩壊解は損失や構造に対して存在するが,崩壊防止には停止段階の操作が不可欠であることがわかった。 停止段階の含意に関する仮説を提案し、さらにそれを検証した概念実証実験を示す。 我々の"SimSiam"メソッドは、ImageNetおよび下流タスクの競合結果を達成する。 このシンプルなベースラインが、教師なし表現学習におけるシームズアーキテクチャの役割を再考する動機になることを期待しています。 コードは利用可能になる。

関連論文リスト

• Causal Triplet: An Open Challenge for Intervention-centric Causal Representation Learning [98.78136504619539]
  Causal Tripletは、視覚的に複雑なシーンを特徴とする因果表現学習ベンチマークである。 この結果から,不整合表現やオブジェクト中心表現の知識によって構築されたモデルが,分散表現よりもはるかに優れていることを示す。
  論文  参考訳（メタデータ） (2023-01-12T17:43:38Z)
• Understanding Collapse in Non-Contrastive Learning [122.2499276246997]
  モデルがデータセットサイズに対して小さすぎる場合,SimSiam表現が部分次元崩壊することを示す。 本稿では,この崩壊の度合いを計測し,微調整やラベルを使わずに下流のタスク性能を予測できる指標を提案する。
  論文  参考訳（メタデータ） (2022-09-29T17:59:55Z)
• Exploring the Equivalence of Siamese Self-Supervised Learning via A Unified Gradient Framework [43.76337849044254]
  自己教師付き学習は、人間のアノテーションなしで強力な視覚表現を抽出する大きな可能性を示している。 様々な視点から自己指導型学習を扱うために,様々な研究が提案されている。 自己教師型学習のための単純だが効果的な勾配形式UniGradを提案する。
  論文  参考訳（メタデータ） (2021-12-09T18:59:57Z)
• The Dimpled Manifold Model of Adversarial Examples in Machine Learning [6.6690527698171165]
  本稿では,なぜ敵対的な例が存在するのかを簡潔に説明する,新しい概念的枠組みを提案する。 本論文の最後の部分では,この新モデルを強く支持する多数の実験結果について述べる。
  論文  参考訳（メタデータ） (2021-06-18T14:32:55Z)
• Exploring Deep Neural Networks via Layer-Peeled Model: Minority Collapse in Imbalanced Training [39.137793683411424]
  解析的に抽出できない最適化プログラムである textitLayer-Peeled Model を導入する。 このモデルでは,よく訓練されたネットワークの特徴の多くを継承し,ディープラーニング学習の一般的な経験的パターンを説明・予測するための効果的なツールを提供する。 特に,本モデルでは,テキストマイノリティ崩壊(textitMinority Collapse)という,マイノリティクラスにおけるディープラーニングモデルの性能を根本的に制限する未知の現象が明らかにされている。
  論文  参考訳（メタデータ） (2021-01-29T17:37:17Z)
• A Sober Look at the Unsupervised Learning of Disentangled Representations and their Evaluation [63.042651834453544]
  モデルとデータの両方に帰納的バイアスを伴わずに,非教師なしの非教師付き表現学習は不可能であることを示す。 異なる手法は、対応する損失によって「強化」された特性を効果的に強制するが、よく見分けられたモデルは監督なしでは特定できないように見える。 以上の結果から,遠絡学習における今後の研究は,帰納的バイアスと(単純に)監督の役割を明確化すべきであることが示唆された。
  論文  参考訳（メタデータ） (2020-10-27T10:17:15Z)
• Tackling Occlusion in Siamese Tracking with Structured Dropouts [42.303946665229965]
  排除は、モデルに対するオブジェクト追跡において最も難しい課題の1つです。 隠蔽下での潜伏符号の変化を模倣する構造的なドロップアウトを提案する。 いくつかのトラッキングベンチマークの実験は、構造化されたドロップアウトの利点を示している。
  論文  参考訳（メタデータ） (2020-06-30T07:09:33Z)
• Unsupervised Landmark Learning from Unpaired Data [117.81440795184587]
  教師なしランドマーク学習の最近の試みは、外観は似ているがポーズでは異なる合成画像対を活用する。 本稿では,2回スワッピング・リコンストラクション・ストラテジーを適用して最終監視を行うクロスイメージ・サイクル整合性フレームワークを提案する。 提案するフレームワークは,強いベースラインを大きなマージンで上回ることを示す。
  論文  参考訳（メタデータ） (2020-06-29T13:57:20Z)
• Weakly-Supervised Disentanglement Without Compromises [53.55580957483103]
  インテリジェントエージェントは、環境の変化を観察することで、有用な表現を学べるべきである。 変動の要因の少なくとも1つを共有する非I.d.画像のペアとしてそのような観測をモデル化する。 我々は,どの因子が変化したかのみを知るだけで,非絡み合った表現を学ぶのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-02-07T16:39:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。