論文の概要: A Cookbook of Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2304.12210v1
• Date: Mon, 24 Apr 2023 15:49:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-25 14:15:40.062088
• Title: A Cookbook of Self-Supervised Learning
• Title（参考訳）: 自己指導型学習のクックブック
• Authors: Randall Balestriero, Mark Ibrahim, Vlad Sobal, Ari Morcos, Shashank Shekhar, Tom Goldstein, Florian Bordes, Adrien Bardes, Gregoire Mialon, Yuandong Tian, Avi Schwarzschild, Andrew Gordon Wilson, Jonas Geiping, Quentin Garrido, Pierre Fernandez, Amir Bar, Hamed Pirsiavash, Yann LeCun and Micah Goldblum
• Abstract要約: 我々は,調理書のスタイルに基礎と最新のSSLレシピを組み込むことで,SSL研究への参入障壁を低くすることを目指している。 興味のある研究者がメソッドの地形をナビゲートし、さまざまなノブの役割を理解し、SSLがいかに美味しいかを探求するために必要なノウハウを得ることを願っています。
• 参考スコア（独自算出の注目度）: 85.22250979551036
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning, dubbed the dark matter of intelligence, is a promising path to advance machine learning. Yet, much like cooking, training SSL methods is a delicate art with a high barrier to entry. While many components are familiar, successfully training a SSL method involves a dizzying set of choices from the pretext tasks to training hyper-parameters. Our goal is to lower the barrier to entry into SSL research by laying the foundations and latest SSL recipes in the style of a cookbook. We hope to empower the curious researcher to navigate the terrain of methods, understand the role of the various knobs, and gain the know-how required to explore how delicious SSL can be.
• Abstract（参考訳）: 人工知能のダークマターと呼ばれる自己教師型学習は、機械学習を進めるための有望な道である。 しかし、料理と同様にSSLメソッドのトレーニングは、参入障壁の高い繊細なテクニックである。 多くのコンポーネントは慣れ親しんでいるが、SSLメソッドをうまくトレーニングするには、プリテキストタスクからハイパーパラメータのトレーニングまで、一連の選択をめちゃくちゃにする必要がある。 私たちのゴールは、基本と最新のSSLレシピをクックブックのスタイルで配置することで、SSL研究への参入障壁を低くすることにあります。 興味のある研究者がメソッドの地形をナビゲートし、さまざまなノブの役割を理解し、SSLがいかに美味しいかを探求するために必要なノウハウを得ることを期待しています。

関連論文リスト

• Towards Adversarial Robustness And Backdoor Mitigation in SSL [0.562479170374811]
  Self-Supervised Learning (SSL)は、ラベルのないデータから表現を学習する際の大きな可能性を示している。 SSLメソッドは、最近、バックドア攻撃に対して脆弱であることが示されている。 この作業はSSLのバックドア攻撃に対する防御に対処することを目的としている。
  論文  参考訳（メタデータ） (2024-03-23T19:21:31Z)
• Do SSL Models Have D\'ej\`a Vu? A Case of Unintended Memorization in Self-supervised Learning [47.46863155263094]
  自己教師付き学習(SSL)アルゴリズムは、自然画像の様々な部分を相互に関連付けることを学ぶことによって、有用な画像表現を生成することができる。 SSLモデルは、意味的に意味のある関連を学習するのではなく、個別のトレーニングサンプルの特定の部分を意図せずに記憶することができる。 背景のみを含む訓練画像の訓練モデルと収穫量を考えると,前景オブジェクトを高精度に推測できることを示す。
  論文  参考訳（メタデータ） (2023-04-26T22:29:49Z)
• A Survey on Self-supervised Learning: Algorithms, Applications, and Future Trends [82.64268080902742]
  自己教師付き学習(SSL)は、ラベル付きラベルを頼らずにラベル付きデータから識別的特徴を学習することを目的としている。 SSLは最近大きな注目を集め、多くの関連するアルゴリズムの開発に繋がった。 本稿では,アルゴリズム的側面,アプリケーション領域,3つの重要なトレンド,オープンな研究課題を含む,多様なSSL手法のレビューを行う。
  論文  参考訳（メタデータ） (2023-01-13T14:41:05Z)
• Understanding and Improving the Role of Projection Head in Self-Supervised Learning [77.59320917894043]
  自己教師付き学習(SSL)は、人間のラベル付きデータアノテーションにアクセスせずに有用な特徴表現を作成することを目的としている。 現在の対照的な学習アプローチは、InfoNCEの目的を最適化するために、あるバックボーンネットワークの端にパラメータ化されたプロジェクションヘッドを付加する。 学習可能なプロジェクションヘッドが、トレーニング後にそれを破棄する場合、なぜ必要となるのか?
  論文  参考訳（メタデータ） (2022-12-22T05:42:54Z)
• Demystifying How Self-Supervised Features Improve Training from Noisy Labels [16.281091780103736]
  ネットワークがラベルノイズに抵抗する理由と自己教師機能について検討する。 その結果,SSLから事前学習した品質エンコーダでは,クロスエントロピー損失によって訓練された単純な線形層が対称ラベルノイズに対して理論的に堅牢であることがわかった。
  論文  参考訳（メタデータ） (2021-10-18T05:41:57Z)
• Solo-learn: A Library of Self-supervised Methods for Visual Representation Learning [83.02597612195966]
  solo-learnは視覚表現学習のための自己指導型のメソッドのライブラリである。 Pythonで実装され、PytorchとPytorch Lightningを使用して、このライブラリは研究と業界のニーズの両方に適合する。
  論文  参考訳（メタデータ） (2021-08-03T22:19:55Z)
• Online Lifelong Generalized Zero-Shot Learning [7.909034037183046]
  ゼロショット学習(ZSL)の文献で提案される手法は、通常オフライン学習に適しており、連続的なストリーミングデータから継続的に学習することはできない。 本稿では,連続学習中にタスク情報を必要としないタスクフリー(タスク非依存)CZSL手法を提案する。
  論文  参考訳（メタデータ） (2021-03-19T11:24:05Z)
• Interventional Few-Shot Learning [88.31112565383457]
  本稿では,新しいFew-Shot Learningパラダイム,Interventional Few-Shot Learningを提案する。 コードはhttps://github.com/yue-zhongqi/ifsl.comで公開されている。
  論文  参考訳（メタデータ） (2020-09-28T01:16:54Z)
• Self-supervised Visual Attribute Learning for Fashion Compatibility [71.73414832639698]
  トレーニング中にラベルを必要とせずに、色やテクスチャを意識した機能を学ぶことができるSSLフレームワークを提案する。 当社のアプローチは,事前の作業で無視される異なる概念を捉えるために設計された3つの自己教師型タスクから構成される。 当社のアプローチは,異なるデータセット上で高いパフォーマンスを達成しながら,ひとつのデータセットでトレーニングできることを実証して,トランスファーラーニングに使用することができることを示す。
  論文  参考訳（メタデータ） (2020-08-01T21:53:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。