論文の概要: On the Importance of Embedding Norms in Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2502.09252v1
• Date: Thu, 13 Feb 2025 12:09:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:47:38.825610
• Title: On the Importance of Embedding Norms in Self-Supervised Learning
• Title（参考訳）: 自己指導型学習における埋め込みノルムの重要性について
• Authors: Andrew Draganov, Sharvaree Vadgama, Sebastian Damrich, Jan Niklas Böhm, Lucas Maes, Dmitry Kobak, Erik Bekkers,
• Abstract要約: 自己教師付き学習(SSL)は、教師付き信号のないデータ表現のトレーニングを可能にし、機械学習において重要なパラダイムとなっている。 ほとんどのSSLメソッドは、埋め込みベクトル間のコサイン類似性を使用し、したがってハイパースフィアにデータを効果的に埋め込む。 組込みノルムがSSL収束率を制御し,ネットワーク信頼度を符号化し,予期せぬサンプルに対応する最小限のノルムを示す。
• 参考スコア（独自算出の注目度）: 11.75649990318569
• License:
• Abstract: Self-supervised learning (SSL) allows training data representations without a supervised signal and has become an important paradigm in machine learning. Most SSL methods employ the cosine similarity between embedding vectors and hence effectively embed data on a hypersphere. While this seemingly implies that embedding norms cannot play any role in SSL, a few recent works have suggested that embedding norms have properties related to network convergence and confidence. In this paper, we resolve this apparent contradiction and systematically establish the embedding norm's role in SSL training. Using theoretical analysis, simulations, and experiments, we show that embedding norms (i) govern SSL convergence rates and (ii) encode network confidence, with smaller norms corresponding to unexpected samples. Additionally, we show that manipulating embedding norms can have large effects on convergence speed. Our findings demonstrate that SSL embedding norms are integral to understanding and optimizing network behavior.
• Abstract（参考訳）: 自己教師付き学習(SSL)は、教師付き信号のないデータ表現のトレーニングを可能にし、機械学習において重要なパラダイムとなっている。 ほとんどのSSLメソッドは、埋め込みベクトル間のコサイン類似性を使用し、したがってハイパースフィアにデータを効果的に埋め込む。 これは、組み込みノルムがSSLではいかなる役割も果たさないことを暗示しているように見えるが、最近のいくつかの研究は、埋め込みノルムがネットワーク収束と信頼性に関連する特性を持っていることを示唆している。 本稿では、この明らかな矛盾を解消し、SSLトレーニングにおける埋め込み規範の役割を体系的に確立する。 理論解析、シミュレーション、実験を用いて、埋め込みノルムを示す。 i)SSL収束率を管理して (II)ネットワーク信頼度を符号化し、予期せぬサンプルに対応する基準を小さくする。 さらに,埋め込みノルムの操作は収束速度に大きな影響を与えることを示す。 この結果から,SSL埋め込み規範はネットワーク動作の理解と最適化に不可欠であることが示唆された。

関連論文リスト

• Understanding the Role of Equivariance in Self-supervised Learning [51.56331245499712]
  同変自己教師学習(E-SSL)は、拡張に注意する機能を学ぶ。 我々は、同変タスクと分類タスクの相乗効果を生成するE-SSLにおける重要な説明アウト効果を同定する。 E-SSLの実用設計の原則をいくつか明らかにする。
  論文  参考訳（メタデータ） (2024-11-10T16:09:47Z)
• A Closer Look at Benchmarking Self-Supervised Pre-training with Image Classification [51.35500308126506]
  自己教師付き学習(SSL)は、データ自体が監視を提供する機械学習アプローチであり、外部ラベルの必要性を排除している。 SSLの分類に基づく評価プロトコルがどのように相関し、異なるデータセットのダウンストリーム性能を予測するかを検討する。
  論文  参考訳（メタデータ） (2024-07-16T23:17:36Z)
• Representation Learning Dynamics of Self-Supervised Models [7.289672463326423]
  自己監視学習(SSL)は、非競合データから表現を学習するための重要なパラダイムである。 SSLモデルの学習力学、特に対照的な損失と非対照的な損失を最小化して得られる表現について検討する。 グラスマン多様体上の勾配降下を用いて訓練されたSSLモデルの正確な学習ダイナミクスを導出する。
  論文  参考訳（メタデータ） (2023-09-05T07:48:45Z)
• Rethinking Evaluation Protocols of Visual Representations Learned via Self-supervised Learning [1.0499611180329804]
  自己教師型学習(SSL)は、自己教師型学習(SSL)を通して学習した視覚的表現の質を評価するために用いられる。 既存のSSLメソッドは、これらの評価プロトコルの下で優れたパフォーマンスを示している。 我々は、最先端のSSL方式で広範な実験を行うことにより、性能感度の原因を解明しようとする。
  論文  参考訳（メタデータ） (2023-04-07T03:03:19Z)
• An Information-Theoretic Perspective on Variance-Invariance-Covariance Regularization [52.44068740462729]
  我々は、VICRegの目的に関する情報理論的な視点を示す。 我々は、VICRegの一般化を導出し、下流タスクに固有の利点を明らかにした。 既存のSSL技術よりも優れた情報理論の原理から派生したSSL手法のファミリーを紹介する。
  論文  参考訳（メタデータ） (2023-03-01T16:36:25Z)
• Benchmark for Uncertainty & Robustness in Self-Supervised Learning [0.0]
  セルフ・スーパーバイザード・ラーニングは現実世界のアプリケーション、特に医療や自動運転車のようなデータ・ハングリーな分野に不可欠である。 本稿では Jigsaw Puzzles, Context, Rotation, Geometric Transformations Prediction for vision や BERT や GPT for Language Task など,SSL メソッドの変種について検討する。 我々のゴールは、実験から出力されたベンチマークを作成し、信頼性のある機械学習で新しいSSLメソッドの出発点を提供することです。
  論文  参考訳（メタデータ） (2022-12-23T15:46:23Z)
• Improving Self-Supervised Learning by Characterizing Idealized Representations [155.1457170539049]
  与えられたデータ拡張に不変なタスクに対して必要かつ十分な条件を証明します。 対照的に、我々のフレームワークは、従来の手法に対して単純だが重要な改善を規定している。 非コントラスト学習では、私たちのフレームワークを使って、シンプルで斬新な目的を導き出します。
  論文  参考訳（メタデータ） (2022-09-13T18:01:03Z)
• Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
  データセット不均衡下での自己教師型学習について検討する。 既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。 我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
  論文  参考訳（メタデータ） (2021-10-11T06:29:56Z)
• On Data-Augmentation and Consistency-Based Semi-Supervised Learning [77.57285768500225]
  最近提案された整合性に基づく半教師付き学習(SSL)手法は,複数のSSLタスクにおいて最先端技術である。 これらの進歩にもかかわらず、これらの手法の理解はまだ比較的限られている。
  論文  参考訳（メタデータ） (2021-01-18T10:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。