論文の概要: Implicit Contrastive Representation Learning with Guided Stop-gradient

• arxiv url: http://arxiv.org/abs/2503.09058v1
• Date: Wed, 12 Mar 2025 04:46:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 15:40:46.418861
• Title: Implicit Contrastive Representation Learning with Guided Stop-gradient
• Title（参考訳）: ガイド付きStop-gradientによる暗黙のコントラスト表現学習
• Authors: Byeongchan Lee, Sehyun Lee,
• Abstract要約: コントラスト学習の概念を暗黙的に取り入れる方法論を導入する。 本手法はトレーニングを安定させ,性能を向上することを示す。 提案手法のアルゴリズムは, バッチサイズが小さくてもうまく動作し, 予測器がなくても崩壊しない。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: In self-supervised representation learning, Siamese networks are a natural architecture for learning transformation-invariance by bringing representations of positive pairs closer together. But it is prone to collapse into a degenerate solution. To address the issue, in contrastive learning, a contrastive loss is used to prevent collapse by moving representations of negative pairs away from each other. But it is known that algorithms with negative sampling are not robust to a reduction in the number of negative samples. So, on the other hand, there are algorithms that do not use negative pairs. Many positive-only algorithms adopt asymmetric network architecture consisting of source and target encoders as a key factor in coping with collapse. By exploiting the asymmetric architecture, we introduce a methodology to implicitly incorporate the idea of contrastive learning. As its implementation, we present a novel method guided stop-gradient. We apply our method to benchmark algorithms SimSiam and BYOL and show that our method stabilizes training and boosts performance. We also show that the algorithms with our method work well with small batch sizes and do not collapse even when there is no predictor. The code is available at https://github.com/bych-lee/gsg.
• Abstract（参考訳）: 自己教師付き表現学習において、シームズネットワークは、正のペアの表現を密接な結合によって変換不変性を学ぶための自然なアーキテクチャである。 しかし、縮退した溶液に崩壊する傾向がある。 この問題に対処するために、対照的な学習では、負対の表現を互いに遠ざけることによって崩壊を防止するために対照的な損失を用いる。 しかし、負のサンプリングを持つアルゴリズムは、負のサンプル数の減少に対して堅牢ではないことが知られている。 一方、負のペアを使用しないアルゴリズムが存在する。 多くの正のアルゴリズムは、ソースとターゲットエンコーダで構成される非対称ネットワークアーキテクチャを崩壊に対処する重要な要素として採用している。 非対称なアーキテクチャを活用することで、コントラスト学習の考え方を暗黙的に取り入れる手法を導入する。 本稿では,その実装として,停止段階をガイドする新しい手法を提案する。 ベンチマークアルゴリズムSimSiamとBYOLに本手法を適用し,本手法がトレーニングを安定化し,性能を向上することを示す。 また,本手法のアルゴリズムはバッチサイズが小さければうまく動作し,予測子がない場合でも崩壊しないことを示す。 コードはhttps://github.com/bych-lee/gsg.comで公開されている。

関連論文リスト

• Understanding Collapse in Non-Contrastive Learning [122.2499276246997]
  モデルがデータセットサイズに対して小さすぎる場合,SimSiam表現が部分次元崩壊することを示す。 本稿では,この崩壊の度合いを計測し,微調整やラベルを使わずに下流のタスク性能を予測できる指標を提案する。
  論文  参考訳（メタデータ） (2022-09-29T17:59:55Z)
• Chaos is a Ladder: A New Theoretical Understanding of Contrastive Learning via Augmentation Overlap [64.60460828425502]
  コントラスト学習の下流性能に関する新たな保証を提案する。 我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。 本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:36:26Z)
• Exploring the Equivalence of Siamese Self-Supervised Learning via A Unified Gradient Framework [43.76337849044254]
  自己教師付き学習は、人間のアノテーションなしで強力な視覚表現を抽出する大きな可能性を示している。 様々な視点から自己指導型学習を扱うために,様々な研究が提案されている。 自己教師型学習のための単純だが効果的な勾配形式UniGradを提案する。
  論文  参考訳（メタデータ） (2021-12-09T18:59:57Z)
• MIO : Mutual Information Optimization using Self-Supervised Binary Contrastive Learning [19.5917119072985]
  対が正かどうかを予測するために、比較学習を二項分類問題にモデル化する。 提案手法は,STL-10,CIFAR-10,CIFAR-100などのベンチマークデータセットにおいて,最先端のアルゴリズムよりも優れている。
  論文  参考訳（メタデータ） (2021-11-24T17:51:29Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• Understanding self-supervised Learning Dynamics without Contrastive Pairs [72.1743263777693]
  自己監視学習(SSL)に対する対照的アプローチは、同じデータポイントの2つの拡張ビュー間の距離を最小限にすることで表現を学習する。 BYOLとSimSiamは、負のペアなしで素晴らしいパフォーマンスを示す。 単純線形ネットワークにおける非コントラストSSLの非線形学習ダイナミクスについて検討する。
  論文  参考訳（メタデータ） (2021-02-12T22:57:28Z)
• LoCo: Local Contrastive Representation Learning [93.98029899866866]
  重なり合うローカルブロックが重なり合うことで、デコーダの深さを効果的に増加させ、上位ブロックが暗黙的に下位ブロックにフィードバックを送ることができることを示す。 このシンプルな設計は、ローカル学習とエンドツーエンドのコントラスト学習アルゴリズムのパフォーマンスギャップを初めて埋める。
  論文  参考訳（メタデータ） (2020-08-04T05:41:29Z)
• DeepMP for Non-Negative Sparse Decomposition [14.790515227906257]
  非負の信号はスパース信号の重要なクラスを形成する。 greedyとconvexの緩和アルゴリズムは、最も人気のある方法のひとつです。 このような修正の1つは、Matching Pursuit (MP) ベースのアルゴリズムのために提案されている。
  論文  参考訳（メタデータ） (2020-07-28T14:52:06Z)
• Whitening for Self-Supervised Representation Learning [129.57407186848917]
  本稿では,潜在空間の特徴の白化に基づく自己教師付き表現学習(SSL)のための新しい損失関数を提案する。 我々の解は非対称なネットワークを必要とせず、概念的には単純である。
  論文  参考訳（メタデータ） (2020-07-13T12:33:25Z)
• SCE: Scalable Network Embedding from Sparsest Cut [20.08464038805681]
  大規模ネットワーク埋め込みは、教師なしの方法で各ノードの潜在表現を学習することである。 このような対照的な学習手法の成功の鍵は、正と負のサンプルを引き出す方法である。 本稿では, 負のサンプルのみを用いた教師なしネットワーク埋め込みのためのSCEを提案する。
  論文  参考訳（メタデータ） (2020-06-30T03:18:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。