論文の概要: Barlow Twins: Self-Supervised Learning via Redundancy Reduction
- arxiv url: http://arxiv.org/abs/2103.03230v1
- Date: Thu, 4 Mar 2021 18:55:09 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-05 15:10:45.188266
- Title: Barlow Twins: Self-Supervised Learning via Redundancy Reduction
- Title（参考訳）: Barlow Twins: 冗長化による自己監督型学習
- Authors: Jure Zbontar, Li Jing, Ishan Misra, Yann LeCun, St\'ephane Deny
- Abstract要約: SSL(Self-supervised Learning)は、大規模なコンピュータビジョンベンチマークの監督メソッドによるギャップを急速に閉じています。
2つの同一ネットワークの出力間の相互相関行列を測定することにより,崩壊を自然に回避する目的関数を提案する。
これにより、歪んだサンプルの表現ベクトルは類似し、これらのベクトルの成分間の冗長性が最小化される。
- 参考スコア（独自算出の注目度）: 31.077182488826963
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised learning (SSL) is rapidly closing the gap with supervised
methods on large computer vision benchmarks. A successful approach to SSL is to
learn representations which are invariant to distortions of the input sample.
However, a recurring issue with this approach is the existence of trivial
constant representations. Most current methods avoid such collapsed solutions
by careful implementation details. We propose an objective function that
naturally avoids such collapse by measuring the cross-correlation matrix
between the outputs of two identical networks fed with distorted versions of a
sample, and making it as close to the identity matrix as possible. This causes
the representation vectors of distorted versions of a sample to be similar,
while minimizing the redundancy between the components of these vectors. The
method is called Barlow Twins, owing to neuroscientist H. Barlow's
redundancy-reduction principle applied to a pair of identical networks. Barlow
Twins does not require large batches nor asymmetry between the network twins
such as a predictor network, gradient stopping, or a moving average on the
weight updates. It allows the use of very high-dimensional output vectors.
Barlow Twins outperforms previous methods on ImageNet for semi-supervised
classification in the low-data regime, and is on par with current state of the
art for ImageNet classification with a linear classifier head, and for transfer
tasks of classification and object detection.
- Abstract（参考訳）: SSL(Self-supervised Learning)は、大規模なコンピュータビジョンベンチマークの監督メソッドによるギャップを急速に閉じています。
SSLの成功したアプローチは、入力サンプルの歪みに不変な表現を学ぶことである。
しかし、このアプローチの繰り返しの問題は、自明な定数表現の存在である。
現在のほとんどのメソッドは、注意深く実装することで、そのような崩壊したソリューションを避ける。
サンプルの歪んだバージョンで供給される2つの同一ネットワークの出力間の相互相関行列を計測し、可能な限り同一行列に近づけることで、そのような崩壊を自然に避ける目的関数を提案する。
これにより、歪んだサンプルの表現ベクトルは類似し、これらのベクトルの成分間の冗長性が最小化される。
この方法は、神経科学者H. Barlowの冗長還元原理が同一のネットワークに適用されるため、Barlow Twinsと呼ばれる。
Barlow Twinsは、予測器ネットワーク、勾配停止、重量更新における移動平均などのネットワーク双対間の大きなバッチや非対称性を必要としない。
これは非常に高次元の出力ベクトルを使うことができる。
Barlow Twins は、低データ状態における半教師付き分類のための ImageNet の以前の手法よりも優れており、線形分類器ヘッドによる ImageNet の分類技術の現状と分類とオブジェクト検出の伝達タスクに匹敵する。
関連論文リスト
- Unsupervised Representation Learning by Balanced Self Attention Matching [2.3020018305241337]
本稿では,BAMと呼ばれる画像特徴を埋め込む自己教師型手法を提案する。
我々は,これらの分布とグローバルな均衡とエントロピー正規化バージョンに一致する損失を最小化することにより,豊かな表現と特徴の崩壊を回避する。
半教師付きベンチマークと移動学習ベンチマークの両方において,先行手法と競合する性能を示す。
論文 参考訳（メタデータ） (2024-08-04T12:52:44Z) - Guarding Barlow Twins Against Overfitting with Mixed Samples [27.7244906436942]
自己教師付き学習は、ラベル付きデータに頼ることなく、下流アプリケーションのための転送可能な特徴表現を学習することを目的としている。
線形補間標本を用いたBarlow Twinsトレーニングにおけるサンプルインタラクションの改善を目的としたMixed Barlow Twinsを紹介した。
論文 参考訳（メタデータ） (2023-12-04T18:59:36Z) - Boosting Few-shot Fine-grained Recognition with Background Suppression
and Foreground Alignment [53.401889855278704]
FS-FGR (Few-shot Fine-fine Recognition) は、限られたサンプルの助けを借りて、新しいきめ細かなカテゴリを認識することを目的としている。
本研究では,背景アクティベーション抑制 (BAS) モジュール,フォアグラウンドオブジェクトアライメント (FOA) モジュール,および局所的局所的(L2L) 類似度測定器からなる2段階の背景アライメントとフォアグラウンドアライメントフレームワークを提案する。
複数のベンチマークで行った実験により,提案手法は既存の最先端技術よりも大きなマージンで優れていることが示された。
論文 参考訳（メタデータ） (2022-10-04T07:54:40Z) - Non-contrastive representation learning for intervals from well logs [58.70164460091879]
石油・ガス産業における表現学習問題は、ログデータに基づく表現を一定間隔で提供するモデルを構築することを目的としている。
可能なアプローチの1つは、自己教師付き学習(SSL)である。
私たちは、よくログするデータのための非コントラストSSLを最初に導入しました。
論文 参考訳（メタデータ） (2022-09-28T13:27:10Z) - Large-Margin Representation Learning for Texture Classification [67.94823375350433]
本稿では,テクスチャ分類のための小さなデータセット上で教師付きモデルをトレーニングするために,畳み込み層(CL)と大規模計量学習を組み合わせた新しいアプローチを提案する。
テクスチャと病理画像データセットの実験結果から,提案手法は同等のCNNと比較して計算コストが低く,収束が早く,競争精度が向上することが示された。
論文 参考訳（メタデータ） (2022-06-17T04:07:45Z) - Interpolation-based Correlation Reduction Network for Semi-Supervised
Graph Learning [49.94816548023729]
補間型相関低減ネットワーク(ICRN)と呼ばれる新しいグラフコントラスト学習手法を提案する。
提案手法では,決定境界のマージンを大きくすることで,潜在特徴の識別能力を向上させる。
この2つの設定を組み合わせることで、豊富なラベル付きノードと稀に価値あるラベル付きノードから豊富な監視情報を抽出し、離散表現学習を行う。
論文 参考訳（メタデータ） (2022-06-06T14:26:34Z) - Compare learning: bi-attention network for few-shot learning [6.559037166322981]
距離学習と呼ばれる数ショットの学習手法の1つは、画像のペアが同じカテゴリに属しているかどうかを判断するために、まず遠距離計量を学習することで、この課題に対処する。
本稿では, インスタンスの埋め込みの類似性を正確に, グローバルかつ効率的に測定できる, Bi-attention Network という新しい手法を提案する。
論文 参考訳（メタデータ） (2022-03-25T07:39:10Z) - Barlow Graph Auto-Encoder for Unsupervised Network Embedding [6.900303913555705]
本稿では,ネットワーク埋め込みを学習するシンプルなアーキテクチャであるBarlow Graph Auto-Encoderを提案する。
これは、これらの射影の成分間の冗長性を最小化しながら、ノードの即時および大近傍の埋め込みベクトル間の類似性を最大化することを目的としている。
提案手法は,帰納的リンク予測の有望な結果をもたらすとともに,クラスタリングや下流ノード分類の最先端技術と同等である。
論文 参考訳（メタデータ） (2021-10-29T12:30:43Z) - Self-Supervised Classification Network [3.8073142980733]
自己監視型エンドツーエンド分類ニューラルネットワークはラベルと表現を同時に学習する。
大規模なImageNetデータセットでうまく機能する最初の監視されていないエンドツーエンドの分類ネットワーク。
論文 参考訳（メタデータ） (2021-03-19T19:29:42Z) - Unsupervised Person Re-identification via Softened Similarity Learning [122.70472387837542]
人物再識別(re-ID)はコンピュータビジョンにおいて重要なトピックである。
本稿では,ラベル付き情報を必要としないre-IDの教師なし設定について検討する。
2つの画像ベースおよびビデオベースデータセットの実験は、最先端のパフォーマンスを示している。
論文 参考訳（メタデータ） (2020-04-07T17:16:41Z) - Embedding Propagation: Smoother Manifold for Few-Shot Classification [131.81692677836202]
本稿では, 組込み伝搬を非教師なし非パラメトリック正規化器として, 数ショット分類における多様体平滑化に用いることを提案する。
埋め込み伝播がより滑らかな埋め込み多様体を生み出すことを実証的に示す。
複数の半教師付き学習シナリオにおいて,埋め込み伝搬によりモデルの精度が最大16%向上することを示す。
論文 参考訳（メタデータ） (2020-03-09T13:51:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。