論文の概要: The SSL Interplay: Augmentations, Inductive Bias, and Generalization
- arxiv url: http://arxiv.org/abs/2302.02774v1
- Date: Mon, 6 Feb 2023 13:42:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-07 16:37:20.920060
- Title: The SSL Interplay: Augmentations, Inductive Bias, and Generalization
- Title(参考訳): SSLのインタープレイ:拡張、インダクティブバイアス、一般化
- Authors: Vivien Cabannes, Bobak T. Kiani, Randall Balestriero, Yann LeCun,
Alberto Bietti
- Abstract要約: 自己教師付き学習は、教師なしの生データから表現を学習する強力なフレームワークとして登場した。
しかし実際には、エンジニアはトレーニング中にチューニングの不安定性や表現の崩壊といった問題に直面している。
本稿では,データ拡張,ネットワークアーキテクチャ,トレーニングアルゴリズム間の複雑な相互作用に光を当てる理論を提案する。
- 参考スコア(独自算出の注目度): 24.787356572850317
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Self-supervised learning (SSL) has emerged as a powerful framework to learn
representations from raw data without supervision. Yet in practice, engineers
face issues such as instability in tuning optimizers and collapse of
representations during training. Such challenges motivate the need for a theory
to shed light on the complex interplay between the choice of data augmentation,
network architecture, and training algorithm. We study such an interplay with a
precise analysis of generalization performance on both pretraining and
downstream tasks in a theory friendly setup, and highlight several insights for
SSL practitioners that arise from our theory.
- Abstract(参考訳): 自己教師付き学習(SSL)は、監視なしで生データから表現を学習する強力なフレームワークとして登場した。
しかし実際には、エンジニアはチューニングオプティマイザの不安定さやトレーニング中の表現の崩壊といった問題に直面している。
このような課題は、データ拡張の選択、ネットワークアーキテクチャ、トレーニングアルゴリズムの間の複雑な相互作用に光を当てる理論の必要性を動機付けている。
本研究では,理論フレンドリな設定において,事前学習タスクと下流タスクの両方における一般化性能の正確な解析を行い,我々の理論から生じるSSL実践者に対するいくつかの知見を明らかにする。
関連論文リスト
- On the Generalization Ability of Unsupervised Pretraining [53.06175754026037]
教師なし学習の最近の進歩は、教師なし事前学習、および微調整がモデル一般化を改善することを示している。
本稿では、教師なし事前学習中に得られた知識の伝達可能性に影響を及ぼす重要な要因をその後の微調整フェーズに照らす新しい理論的枠組みを提案する。
この結果は教師なし事前学習と微調整のパラダイムの理解を深め、より効果的な事前学習アルゴリズムの設計に光を当てることができる。
論文 参考訳(メタデータ) (2024-03-11T16:23:42Z) - Understanding and Leveraging the Learning Phases of Neural Networks [7.1169582271841625]
深層ニューラルネットワークの学習力学はよく理解されていない。
本研究では,入力および予測性能の層再構築能力について検討し,学習力学を包括的に解析する。
本稿では,ResNetやVGGといった共通データセットとアーキテクチャを用いた3つのフェーズの存在を示す。
論文 参考訳(メタデータ) (2023-12-11T23:20:58Z) - Hierarchical Decomposition of Prompt-Based Continual Learning:
Rethinking Obscured Sub-optimality [55.88910947643436]
大量のラベルのないデータを実際に扱うためには、自己教師付き事前トレーニングが不可欠である。
HiDe-Promptは、タスク固有のプロンプトと統計のアンサンブルで階層的なコンポーネントを明示的に最適化する革新的なアプローチである。
実験では,HiDe-Promptの優れた性能と,継続学習における事前学習パラダイムへの頑健さを実証した。
論文 参考訳(メタデータ) (2023-10-11T06:51:46Z) - Understanding Self-Supervised Learning of Speech Representation via
Invariance and Redundancy Reduction [0.45060992929802207]
自己教師付き学習(SSL)は、ラベルのないデータから柔軟な音声表現を学習するための有望なパラダイムとして登場した。
本研究は,人間の知覚における冗長性低下の理論に触発されたSSL技術であるBarlow Twins(BT)を実証分析した。
論文 参考訳(メタデータ) (2023-09-07T10:23:59Z) - Reverse Engineering Self-Supervised Learning [17.720366509919167]
自己教師型学習(SSL)は機械学習の強力なツールである。
本稿ではSSL学習表現の詳細な実験的検討を行う。
論文 参考訳(メタデータ) (2023-05-24T23:15:28Z) - ArCL: Enhancing Contrastive Learning with Augmentation-Robust
Representations [30.745749133759304]
我々は,自己教師付きコントラスト学習の伝達可能性を分析する理論的枠組みを開発する。
対照的な学習は、その伝達可能性を制限するような、ドメイン不変の機能を学ぶのに失敗することを示す。
これらの理論的知見に基づき、Augmentation-robust Contrastive Learning (ArCL) と呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2023-03-02T09:26:20Z) - Understanding and Improving the Role of Projection Head in
Self-Supervised Learning [77.59320917894043]
自己教師付き学習(SSL)は、人間のラベル付きデータアノテーションにアクセスせずに有用な特徴表現を作成することを目的としている。
現在の対照的な学習アプローチは、InfoNCEの目的を最適化するために、あるバックボーンネットワークの端にパラメータ化されたプロジェクションヘッドを付加する。
学習可能なプロジェクションヘッドが、トレーニング後にそれを破棄する場合、なぜ必要となるのか?
論文 参考訳(メタデータ) (2022-12-22T05:42:54Z) - Decoupled Adversarial Contrastive Learning for Self-supervised
Adversarial Robustness [69.39073806630583]
頑健な表現学習のための対人訓練(AT)と教師なし表現学習のための自己教師型学習(SSL)は2つの活発な研究分野である。
Decoupled Adversarial Contrastive Learning (DeACL) と呼ばれる2段階のフレームワークを提案する。
論文 参考訳(メタデータ) (2022-07-22T06:30:44Z) - Hybrid Learning for Orchestrating Deep Learning Inference in Multi-user
Edge-cloud Networks [3.7630209350186807]
ディープラーニングのためのコラボレーション型のエッジクラウドコンピューティングは、さまざまなパフォーマンスと効率を提供する。
ディープラーニング推論オーケストレーション戦略では、最適なオーケストレーションポリシを見つけるために強化学習を採用している。
我々は、最先端のRLベースの推論オーケストレーションを実験的に比較することで、HL戦略の有効性を実証する。
論文 参考訳(メタデータ) (2022-02-21T21:50:50Z) - A Scaling Law for Synthetic-to-Real Transfer: A Measure of Pre-Training [52.93808218720784]
合成から現実への変換学習は,実タスクのための合成画像と接地真実アノテーションを用いた事前学習を行うフレームワークである。
合成画像はデータの不足を克服するが、事前訓練されたモデルで微調整性能がどのようにスケールするかは定かではない。
我々は、合成事前学習データの様々なタスク、モデル、複雑さにおける学習曲線を一貫して記述する、単純で一般的なスケーリング法則を観察する。
論文 参考訳(メタデータ) (2021-08-25T02:29:28Z) - Dynamics Generalization via Information Bottleneck in Deep Reinforcement
Learning [90.93035276307239]
本稿では,RLエージェントのより優れた一般化を実現するために,情報理論正則化目標とアニーリングに基づく最適化手法を提案する。
迷路ナビゲーションからロボットタスクまで、さまざまな領域において、我々のアプローチの極端な一般化の利点を実証する。
この研究は、タスク解決のために冗長な情報を徐々に取り除き、RLの一般化を改善するための原則化された方法を提供する。
論文 参考訳(メタデータ) (2020-08-03T02:24:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。