論文の概要: Occam's Razor for Self Supervised Learning: What is Sufficient to Learn Good Representations?

• arxiv url: http://arxiv.org/abs/2406.10743v1
• Date: Sat, 15 Jun 2024 21:42:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 21:01:13.382293
• Title: Occam's Razor for Self Supervised Learning: What is Sufficient to Learn Good Representations?
• Title（参考訳）: Occam's Razor for Self Supervised Learning: What is Sufficient to Learn Good Representations?
• Authors: Mark Ibrahim, David Klindt, Randall Balestriero,
• Abstract要約: Self Supervised Learning (SSL)ソリューションには、数多くの設計選択が導入されている。 これらの追加は2つの課題をもたらす: まず、これらの相互に絡み合った設計を組み込むのに失敗する理論研究の影響を制限する。 本研究では、少なくとも数十万のサンプルの事前トレーニングデータセットに対して、SSLによって導入された追加設計は、学習された表現の品質に寄与しない、という驚くべき観察を前進させる。
• 参考スコア（独自算出の注目度）: 16.712600382775598
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Deep Learning is often depicted as a trio of data-architecture-loss. Yet, recent Self Supervised Learning (SSL) solutions have introduced numerous additional design choices, e.g., a projector network, positive views, or teacher-student networks. These additions pose two challenges. First, they limit the impact of theoretical studies that often fail to incorporate all those intertwined designs. Second, they slow-down the deployment of SSL methods to new domains as numerous hyper-parameters need to be carefully tuned. In this study, we bring forward the surprising observation that--at least for pretraining datasets of up to a few hundred thousands samples--the additional designs introduced by SSL do not contribute to the quality of the learned representations. That finding not only provides legitimacy to existing theoretical studies, but also simplifies the practitioner's path to SSL deployment in numerous small and medium scale settings. Our finding answers a long-lasting question: the often-experienced sensitivity to training settings and hyper-parameters encountered in SSL come from their design, rather than the absence of supervised guidance.
• Abstract（参考訳）: ディープラーニングは、データアーキテクチャロスのトリオとして描かれることが多い。 しかし、最近のセルフ監視学習(SSL)ソリューションでは、プロジェクタネットワーク、ポジティブビュー、教師-学生ネットワークなど、多くの設計選択が導入されている。 これらの追加は2つの課題をもたらす。 まず、これらの相互に絡み合った設計を組み込むのに失敗する理論研究の影響を制限する。 次に、多くのハイパーパラメータを慎重に調整する必要があるため、SSLメソッドの新たなドメインへのデプロイを遅くする。 本研究では、少なくとも数十万のサンプルの事前トレーニングデータセットに対して、SSLによって導入された追加設計は、学習された表現の品質に寄与しない、という驚くべき観察を前進させる。 この発見は、既存の理論的研究に正当性を提供するだけでなく、多くの小規模および中規模環境でSSLデプロイメントへの実践者の道筋を単純化する。 SSLで遭遇したトレーニング設定やハイパーパラメータに対する経験豊富な感度は、教師付きガイダンスが欠如しているというよりも、彼らの設計によるものです。

関連論文リスト

• A Survey of the Self Supervised Learning Mechanisms for Vision Transformers [5.152455218955949]
  視覚タスクにおける自己教師あり学習(SSL)の適用は注目されている。 SSL手法を体系的に分類する包括的分類法を開発した。 SSLの背後にあるモチベーションについて議論し、人気のある事前トレーニングタスクをレビューし、この分野の課題と進歩を強調します。
  論文  参考訳（メタデータ） (2024-08-30T07:38:28Z)
• Self-Supervised Skeleton-Based Action Representation Learning: A Benchmark and Beyond [19.074841631219233]
  自己教師付き学習(SSL)は骨格に基づく行動理解に有効であることが証明されている。 本稿では,自己教師型骨格に基づく行動表現学習に関する包括的調査を行う。
  論文  参考訳（メタデータ） (2024-06-05T06:21:54Z)
• Plasticity-Optimized Complementary Networks for Unsupervised Continual Learning [22.067640536948545]
  継続的教師なし表現学習(CURL)の研究は、自己教師付き学習(SSL)技術の改善から大いに恩恵を受けている。 SSLを使った既存のCURLメソッドは、ラベルなしで高品質な表現を学習できるが、マルチタスクのデータストリームで学ぶ場合、顕著なパフォーマンス低下がある。 本稿では,従来の知識の維持の義務を解き放ち,新たなタスクに最適に集中できる専門家ネットワークを育成することを提案する。
  論文  参考訳（メタデータ） (2023-09-12T09:31:34Z)
• Representation Learning Dynamics of Self-Supervised Models [7.289672463326423]
  自己監視学習(SSL)は、非競合データから表現を学習するための重要なパラダイムである。 SSLモデルの学習力学、特に対照的な損失と非対照的な損失を最小化して得られる表現について検討する。 グラスマン多様体上の勾配降下を用いて訓練されたSSLモデルの正確な学習ダイナミクスを導出する。
  論文  参考訳（メタデータ） (2023-09-05T07:48:45Z)
• A Survey on Self-supervised Learning: Algorithms, Applications, and Future Trends [82.64268080902742]
  自己教師付き学習(SSL)は、ラベル付きラベルを頼らずにラベル付きデータから識別的特徴を学習することを目的としている。 SSLは最近大きな注目を集め、多くの関連するアルゴリズムの開発に繋がった。 本稿では,アルゴリズム的側面,アプリケーション領域,3つの重要なトレンド,オープンな研究課題を含む,多様なSSL手法のレビューを行う。
  論文  参考訳（メタデータ） (2023-01-13T14:41:05Z)
• Understanding and Improving the Role of Projection Head in Self-Supervised Learning [77.59320917894043]
  自己教師付き学習(SSL)は、人間のラベル付きデータアノテーションにアクセスせずに有用な特徴表現を作成することを目的としている。 現在の対照的な学習アプローチは、InfoNCEの目的を最適化するために、あるバックボーンネットワークの端にパラメータ化されたプロジェクションヘッドを付加する。 学習可能なプロジェクションヘッドが、トレーニング後にそれを破棄する場合、なぜ必要となるのか?
  論文  参考訳（メタデータ） (2022-12-22T05:42:54Z)
• Dive into Self-Supervised Learning for Medical Image Analysis: Data, Models and Tasks [8.720079280914169]
  自己教師付き学習は、様々な医療画像のタスクにおいて、大量の未ラベルデータから先行情報を減らすことによって、顕著なパフォーマンスを達成している。 SSLのキャパシティを、4つの現実的で重要な問題の観点から活用することに重点を置いています。 我々は,予測的,コントラスト的,生成的,マルチSSLアルゴリズムに関する広範な実験を通じて,大規模で詳細な研究を行う。
  論文  参考訳（メタデータ） (2022-09-25T06:04:11Z)
• Semi-Supervised and Unsupervised Deep Visual Learning: A Survey [76.2650734930974]
  半教師なし学習と教師なし学習は、ラベルなしの視覚データから学ぶための有望なパラダイムを提供する。 本稿では, 半教師付き学習(SSL)と非教師付き学習(UL)の先進的な深層学習アルゴリズムについて, 統一的な視点による視覚的認識について概説する。
  論文  参考訳（メタデータ） (2022-08-24T04:26:21Z)
• Decoupled Adversarial Contrastive Learning for Self-supervised Adversarial Robustness [69.39073806630583]
  頑健な表現学習のための対人訓練(AT)と教師なし表現学習のための自己教師型学習(SSL)は2つの活発な研究分野である。 Decoupled Adversarial Contrastive Learning (DeACL) と呼ばれる2段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-22T06:30:44Z)
• DATA: Domain-Aware and Task-Aware Pre-training [94.62676913928831]
  我々は、自己教師付き学習(SSL)に特化した、シンプルで効果的なNASアプローチであるDataを提示する。 提案手法は,画像分類,オブジェクト検出,セマンティックセグメンテーションなど,下流タスクにおける計算コストの広い範囲にわたる有望な結果を実現する。
  論文  参考訳（メタデータ） (2022-03-17T02:38:49Z)
• Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
  データセット不均衡下での自己教師型学習について検討する。 既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。 我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
  論文  参考訳（メタデータ） (2021-10-11T06:29:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。