論文の概要: Evaluating Self-Supervised Learning via Risk Decomposition

• arxiv url: http://arxiv.org/abs/2302.03068v3
• Date: Mon, 8 Jan 2024 05:04:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-10 00:26:14.320929
• Title: Evaluating Self-Supervised Learning via Risk Decomposition
• Title（参考訳）: リスク分解による自己指導型学習の評価
• Authors: Yann Dubois and Tatsunori Hashimoto and Percy Liang
• Abstract要約: 自己教師付き学習(SSL)パイプラインは、アーキテクチャや拡張、事前トレーニングデータなど、多くの設計上の選択肢が異なる。 これはなぜモデルが良いのか、いつ良いのか、どのように改善するかについて、あまり洞察を提供していない。 本稿では,古典的教師付き近似-推定分解を一般化したSSLリスク分解を提案する。
• 参考スコア（独自算出の注目度）: 100.73914689472507
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised learning (SSL) pipelines differ in many design choices such as the architecture, augmentations, or pretraining data. Yet SSL is typically evaluated using a single metric: linear probing on ImageNet. This does not provide much insight into why or when a model is better, now how to improve it. To address this, we propose an SSL risk decomposition, which generalizes the classical supervised approximation-estimation decomposition by considering errors arising from the representation learning step. Our decomposition consists of four error components: approximation, representation usability, probe generalization, and encoder generalization. We provide efficient estimators for each component and use them to analyze the effect of 30 design choices on 169 SSL vision models evaluated on ImageNet. Our analysis gives valuable insights for designing and using SSL models. For example, it highlights the main sources of error and shows how to improve SSL in specific settings (full- vs few-shot) by trading off error components. All results and pretrained models are at https://github.com/YannDubs/SSL-Risk-Decomposition.
• Abstract（参考訳）: 自己教師付き学習(SSL)パイプラインは、アーキテクチャや拡張、事前トレーニングデータなど、多くの設計上の選択肢が異なる。 しかし、SSLは通常、1つのメトリックを使って評価される。 これにより、モデルがなぜ、いつ、どのように改善されるのか、多くの洞察が得られない。 そこで本研究では,表現学習ステップから生じる誤りを考慮し,古典的教師付き近似推定分解を一般化したsslリスク分解を提案する。 分解は,近似,表現ユーザビリティ,プローブ一般化,エンコーダ一般化の4つの誤差成分からなる。 我々は,各コンポーネントに対して効率的な推定器を提供し,imagenet で評価した 169 ssl ビジョンモデルに対する30 の設計選択の影響を分析する。 私たちの分析はSSLモデルを設計、使用するための貴重な洞察を与えます。 例えば、エラーの主なソースを強調し、エラーコンポーネントのトレーディングによって特定の設定(フル対数ショット)でSSLを改善する方法を示している。 すべての結果と事前訓練されたモデルはhttps://github.com/YannDubs/SSL-Risk-Decompositionにある。

関連論文リスト

• A Closer Look at Benchmarking Self-Supervised Pre-training with Image Classification [51.35500308126506]
  自己教師付き学習(SSL)は、データ自体が監視を提供する機械学習アプローチであり、外部ラベルの必要性を排除している。 SSLの分類に基づく評価プロトコルがどのように相関し、異なるデータセットのダウンストリーム性能を予測するかを検討する。
  論文  参考訳（メタデータ） (2024-07-16T23:17:36Z)
• FroSSL: Frobenius Norm Minimization for Efficient Multiview Self-Supervised Learning [8.572896815776089]
  FroSSLは、共分散固有値正則化を調整し、より多くのビューを使用する。 我々は,FroSSLが他のSSLメソッドよりも高速に競合精度に達することを示す。 また、FroSSLは、複数のデータセット上でResNet-18をトレーニングする際に、線形プローブ評価の競合表現を学習することを示す。
  論文  参考訳（メタデータ） (2023-10-04T15:42:23Z)
• Evaluating The Robustness of Self-Supervised Representations to Background/Foreground Removal [4.007351600492541]
  DINOv2, MAE, SwaVといった最先端のSSL事前トレーニングモデルを検討し, 4つの画像分類データセットの表現レベルの変化を分析した。 経験的に、すべてのモデルが前景、背景、および完全なイメージを分離する表現につながるわけではない。
  論文  参考訳（メタデータ） (2023-06-02T09:46:22Z)
• Benchmark for Uncertainty & Robustness in Self-Supervised Learning [0.0]
  セルフ・スーパーバイザード・ラーニングは現実世界のアプリケーション、特に医療や自動運転車のようなデータ・ハングリーな分野に不可欠である。 本稿では Jigsaw Puzzles, Context, Rotation, Geometric Transformations Prediction for vision や BERT や GPT for Language Task など,SSL メソッドの変種について検討する。 我々のゴールは、実験から出力されたベンチマークを作成し、信頼性のある機械学習で新しいSSLメソッドの出発点を提供することです。
  論文  参考訳（メタデータ） (2022-12-23T15:46:23Z)
• Improving Self-Supervised Learning by Characterizing Idealized Representations [155.1457170539049]
  与えられたデータ拡張に不変なタスクに対して必要かつ十分な条件を証明します。 対照的に、我々のフレームワークは、従来の手法に対して単純だが重要な改善を規定している。 非コントラスト学習では、私たちのフレームワークを使って、シンプルで斬新な目的を導き出します。
  論文  参考訳（メタデータ） (2022-09-13T18:01:03Z)
• Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
  データセット不均衡下での自己教師型学習について検討する。 既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。 我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
  論文  参考訳（メタデータ） (2021-10-11T06:29:56Z)
• Rethinking Self-Supervised Learning: Small is Beautiful [30.809693803413445]
  小解像度、小アーキテクチャ、小データという3つの部分を含むスケールダウン自己監督学習(S3L)を提案します。 さまざまなデータセットセットにおいて、S3Lは、以前のSSL学習パラダイムと比較して、トレーニングコストを大幅に削減しながら、一貫して高い精度を達成する。
  論文  参考訳（メタデータ） (2021-03-25T01:48:52Z)
• Understanding self-supervised Learning Dynamics without Contrastive Pairs [72.1743263777693]
  自己監視学習(SSL)に対する対照的アプローチは、同じデータポイントの2つの拡張ビュー間の距離を最小限にすることで表現を学習する。 BYOLとSimSiamは、負のペアなしで素晴らしいパフォーマンスを示す。 単純線形ネットワークにおける非コントラストSSLの非線形学習ダイナミクスについて検討する。
  論文  参考訳（メタデータ） (2021-02-12T22:57:28Z)
• Interventional Few-Shot Learning [88.31112565383457]
  本稿では,新しいFew-Shot Learningパラダイム,Interventional Few-Shot Learningを提案する。 コードはhttps://github.com/yue-zhongqi/ifsl.comで公開されている。
  論文  参考訳（メタデータ） (2020-09-28T01:16:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。