論文の概要: A Note on Connecting Barlow Twins with Negative-Sample-Free Contrastive Learning

• arxiv url: http://arxiv.org/abs/2104.13712v1
• Date: Wed, 28 Apr 2021 11:36:09 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-29 12:43:08.653434
• Title: A Note on Connecting Barlow Twins with Negative-Sample-Free Contrastive Learning
• Title（参考訳）: barlow双生児と負のサンプルフリーコントラスト学習の関連について
• Authors: Yao-Hung Hubert Tsai, Shaojie Bai, Louis-Philippe Morency, Ruslan Salakhutdinov
• Abstract要約: Barlow Twins法によるアルゴリズム設計とHilbert-Schmidt Independence Criterion(HSIC)の関連性 Barlow Twinsは、自己監督型学習哲学の2つの主要なファミリー、すなわち非対照的で対照的なアプローチを橋渡しする可能性を示唆している。
• 参考スコア（独自算出の注目度）: 117.28270417073784
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this report, we relate the algorithmic design of Barlow Twins' method to the Hilbert-Schmidt Independence Criterion (HSIC), thus establishing it as a contrastive learning approach that is free of negative samples. Through this perspective, we argue that Barlow Twins (and thus the class of negative-sample-free contrastive learning methods) suggests a possibility to bridge the two major families of self-supervised learning philosophies: non-contrastive and contrastive approaches. In particular, Barlow twins exemplified how we could combine the best practices of both worlds: avoiding the need of large training batch size and negative sample pairing (like non-contrastive methods) and avoiding symmetry-breaking network designs (like contrastive methods).
• Abstract（参考訳）: 本報告では,バーロウ双生児のアルゴリズム設計とヒルベルト・シュミット独立基準(hsic)との関連性について述べる。 この観点から、バーロウ双生児(つまり否定的なサンプルフリーのコントラスト学習方法のクラス)は、自己教師付き学習哲学の2つの主要なファミリー、すなわち非矛盾的およびコントラスト的アプローチを橋渡しする可能性を示唆していると論じている。 特に、Barlow twinsは、大規模なトレーニングバッチサイズと負のサンプルペアリング(非競合的な方法のような)の必要性を回避し、対称性を破るネットワーク設計(対照的な方法のような)を避けるという、両方の世界のベストプラクティスを組み合わせる方法の例を示した。

関連論文リスト

• Rethinking Positive Pairs in Contrastive Learning [19.149235307036324]
  視覚表現のための普遍的なコントラスト学習フレームワークであるHydraについて述べる。 このアプローチはIN1Kを用いて検証され、1Kの多様なクラスが500,500対からなる。 我々の研究は、任意のペアの共通の特徴を学習することの価値を強調し、弱い関係を持つサンプルペアに対する対照的な学習手法の適用性を広げる可能性がある。
  論文  参考訳（メタデータ） (2024-10-23T18:07:18Z)
• Synthetic Hard Negative Samples for Contrastive Learning [8.776888865665024]
  本稿では,コントラスト学習のための新しい特徴レベル手法,すなわち合成硬質負のサンプルをサンプリングする手法を提案する。 負試料を混合し, アンカー試料と他の負試料とのコントラストを制御して, より硬い負試料を生成する。 提案手法は,画像データセットの分類性能を向上し,既存の手法に容易に組み込むことができる。
  論文  参考訳（メタデータ） (2023-04-06T09:54:35Z)
• Non-contrastive representation learning for intervals from well logs [58.70164460091879]
  石油・ガス産業における表現学習問題は、ログデータに基づく表現を一定間隔で提供するモデルを構築することを目的としている。 可能なアプローチの1つは、自己教師付き学習(SSL)である。 私たちは、よくログするデータのための非コントラストSSLを最初に導入しました。
  論文  参考訳（メタデータ） (2022-09-28T13:27:10Z)
• Adversarial Contrastive Learning via Asymmetric InfoNCE [64.42740292752069]
  非対称なInfoNCEの目的と対比した場合,非対称なサンプルを不等に扱うことを提案する。 非対称的な方法では、CLと対向学習の相反する目的の悪影響を効果的に軽減することができる。 実験の結果,提案手法は既存CL法より一貫して優れていることがわかった。
  論文  参考訳（メタデータ） (2022-07-18T04:14:36Z)
• Solving Inefficiency of Self-supervised Representation Learning [87.30876679780532]
  既存のコントラスト学習法は、非常に低い学習効率に苦しむ。 アンダークラスタリングとオーバークラスタリングの問題は、学習効率の大きな障害である。 中央三重項損失を用いた新しい自己監督学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-18T07:47:10Z)
• Doubly Contrastive Deep Clustering [135.7001508427597]
  本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。 具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。 クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。 このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
  論文  参考訳（メタデータ） (2021-03-09T15:15:32Z)
• ISD: Self-Supervised Learning by Iterative Similarity Distillation [39.60300771234578]
  自己教師付き学習アルゴリズムを導入し,正対と負対の区別ではなく,負のイメージに対してソフトな類似性を用いる。 転送学習におけるBYOLやMoCoといった最先端モデルと比較すると,より優れた結果が得られる。
  論文  参考訳（メタデータ） (2020-12-16T20:50:17Z)
• Contrastive Learning with Hard Negative Samples [80.12117639845678]
  我々は, 厳密な陰性サンプルを選択するために, 教師なしサンプリング手法を新たに開発する。 このサンプリングの制限ケースは、各クラスをしっかりとクラスタ化し、可能な限り異なるクラスを遠くにプッシュする表現をもたらす。 提案手法は、複数のモードをまたいだダウンストリーム性能を改善し、実装するコード行数が少なく、計算オーバーヘッドを伴わない。
  論文  参考訳（メタデータ） (2020-10-09T14:18:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。