論文の概要: Adaptive Similarity Bootstrapping for Self-Distillation based Representation Learning

• arxiv url: http://arxiv.org/abs/2303.13606v2
• Date: Thu, 7 Sep 2023 14:21:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-08 17:25:20.621779
• Title: Adaptive Similarity Bootstrapping for Self-Distillation based Representation Learning
• Title（参考訳）: 自己蒸留型表現学習のための適応的類似性ブートストラップ
• Authors: Tim Lebailly, Thomas Stegm\"uller, Behzad Bozorgtabar, Jean-Philippe Thiran, Tinne Tuytelaars
• Abstract要約: NNCLRは、クロスビューパラダイムを超えて、コントラスト的な設定で隣人のブートストラップを介して取得したさまざまなイメージの正のペアを使用する。 負のサンプルに依存する対照的な学習環境とは対照的に, 自己蒸留方式に隣接したブートストラップを組み込むことで, 性能低下や崩壊を招く可能性があることを実証的に示す。 本稿では,潜在空間の品質の推定値に基づいて,近隣住民を適応的にブートストラップする手法を提案する。
• 参考スコア（独自算出の注目度）: 40.94237853380154
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most self-supervised methods for representation learning leverage a cross-view consistency objective i.e., they maximize the representation similarity of a given image's augmented views. Recent work NNCLR goes beyond the cross-view paradigm and uses positive pairs from different images obtained via nearest neighbor bootstrapping in a contrastive setting. We empirically show that as opposed to the contrastive learning setting which relies on negative samples, incorporating nearest neighbor bootstrapping in a self-distillation scheme can lead to a performance drop or even collapse. We scrutinize the reason for this unexpected behavior and provide a solution. We propose to adaptively bootstrap neighbors based on the estimated quality of the latent space. We report consistent improvements compared to the naive bootstrapping approach and the original baselines. Our approach leads to performance improvements for various self-distillation method/backbone combinations and standard downstream tasks. Our code is publicly available at https://github.com/tileb1/AdaSim.
• Abstract（参考訳）: 表現学習のためのほとんどの自己教師付き手法は、クロスビュー一貫性の目的、すなわち、ある画像の拡張ビューの表現類似性を最大化する。 最近のNNCLRは、クロスビューパラダイムを超えて、コントラスト的な設定で隣人のブートストラップを通じて得られたさまざまな画像から正のペアを使用する。 負のサンプルに依存する対照的な学習環境とは対照的に, 自己蒸留方式に近接する近傍のブートストラップを組み込むことで, 性能低下や崩壊につながる可能性が示唆された。 この予期せぬ行動の理由を精査し、解決策を提供する。 本稿では,潜在空間の品質の推定値に基づいて,近隣住民を適応的にブートストラップする手法を提案する。 単純ブートストラップ法とオリジナルベースラインと比較して一貫した改善を報告した。 提案手法は, 各種自己蒸留法/バックボーンの組み合わせと標準下流タスクの性能改善につながる。 私たちのコードはhttps://github.com/tileb1/AdaSim.comで公開されています。

関連論文リスト

• Discriminative Anchor Learning for Efficient Multi-view Clustering [59.11406089896875]
  マルチビュークラスタリング(DALMC)のための識別的アンカー学習を提案する。 元のデータセットに基づいて、識別的なビュー固有の特徴表現を学習する。 これらの表現に基づいて異なるビューからアンカーを構築することで、共有アンカーグラフの品質が向上します。
  論文  参考訳（メタデータ） (2024-09-25T13:11:17Z)
• Bootstrap Latents of Nodes and Neighbors for Graph Self-Supervised Learning [27.278097015083343]
  対照的な学習は、モデルの崩壊を防ぎ、差別的な表現を学ぶために負のサンプルを必要とする。 我々は、アンカーノードに対する隣人の支持率を予測するために、クロスアテンションモジュールを導入する。 本手法は, 負の正試料と雑音の正試料とのクラス衝突を緩和し, クラス内コンパクト度を同時に向上する。
  論文  参考訳（メタデータ） (2024-08-09T14:17:52Z)
• Unsupervised Representation Learning by Balanced Self Attention Matching [2.3020018305241337]
  本稿では,BAMと呼ばれる画像特徴を埋め込む自己教師型手法を提案する。 我々は,これらの分布とグローバルな均衡とエントロピー正規化バージョンに一致する損失を最小化することにより,豊かな表現と特徴の崩壊を回避する。 半教師付きベンチマークと移動学習ベンチマークの両方において,先行手法と競合する性能を示す。
  論文  参考訳（メタデータ） (2024-08-04T12:52:44Z)
• Asymmetric Patch Sampling for Contrastive Learning [17.922853312470398]
  正対間の非対称な出現は、対照的な学習における表現劣化のリスクを効果的に減少させる。 比較学習のための新しい非対称なパッチサンプリング戦略を提案し、より良い表現のために外見非対称性を高める。
  論文  参考訳（メタデータ） (2023-06-05T13:10:48Z)
• Sample and Predict Your Latent: Modality-free Sequential Disentanglement via Contrastive Estimation [2.7759072740347017]
  外部信号のないコントラスト推定に基づく自己教師付きシーケンシャル・アンタングルメント・フレームワークを提案する。 実際に,データのセマンティックに類似し,異種なビューに対して,統一的で効率的かつ容易にサンプリングできる手法を提案する。 提案手法は,既存の手法と比較して最先端の結果を示す。
  論文  参考訳（メタデータ） (2023-05-25T10:50:30Z)
• Learnable Pillar-based Re-ranking for Image-Text Retrieval [119.9979224297237]
  画像テキスト検索は、モダリティギャップを埋め、意味的類似性に基づいてモダリティコンテンツを検索することを目的としている。 一般的なポストプロセッシング手法であるリグレードは, 単一モダリティ検索タスクにおいて, 隣り合う関係を捕捉する優位性を明らかにしている。 本稿では,画像テキスト検索のための新しい学習可能な柱型リグレードパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-04-25T04:33:27Z)
• Non-contrastive representation learning for intervals from well logs [58.70164460091879]
  石油・ガス産業における表現学習問題は、ログデータに基づく表現を一定間隔で提供するモデルを構築することを目的としている。 可能なアプローチの1つは、自己教師付き学習(SSL)である。 私たちは、よくログするデータのための非コントラストSSLを最初に導入しました。
  論文  参考訳（メタデータ） (2022-09-28T13:27:10Z)
• Chaos is a Ladder: A New Theoretical Understanding of Contrastive Learning via Augmentation Overlap [64.60460828425502]
  コントラスト学習の下流性能に関する新たな保証を提案する。 我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。 本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:36:26Z)
• Robust Contrastive Learning against Noisy Views [79.71880076439297]
  ノイズの多い視点に対して頑健な新しいコントラスト損失関数を提案する。 提案手法は,最新の画像,ビデオ,グラフのコントラスト学習ベンチマークに対して一貫した改善を提供する。
  論文  参考訳（メタデータ） (2022-01-12T05:24:29Z)
• QK Iteration: A Self-Supervised Representation Learning Algorithm for Image Similarity [0.0]
  我々は、Facebook AI Researchが主催する2021年の画像類似度チャレンジにおいて、コピー検出の文脈において、新しいコントラッシブな自己教師型表現学習アルゴリズムを提案する。 我々のアルゴリズムは第1相のリーダーボード上で0.3401のマイクロAPスコアを達成し、ベースラインである$mu$APの0.1556よりも大幅に改善した。
  論文  参考訳（メタデータ） (2021-11-15T18:01:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。