論文の概要: Weighted Ensemble Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2211.09981v1
• Date: Fri, 18 Nov 2022 02:00:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 13:50:12.646312
• Title: Weighted Ensemble Self-Supervised Learning
• Title（参考訳）: 重み付きアンサンブル自己教師付き学習
• Authors: Yangjun Ruan, Saurabh Singh, Warren Morningstar, Alexander A. Alemi, Sergey Ioffe, Ian Fischer, Joshua V. Dillon
• Abstract要約: 組み立ては、モデルパフォーマンスを高めるための強力なテクニックであることが証明されている。 我々は,データ依存型重み付きクロスエントロピー損失を許容するフレームワークを開発した。 提案手法は、ImageNet-1K上での複数の評価指標において、両者に優れる。
• 参考スコア（独自算出の注目度）: 67.24482854208783
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ensembling has proven to be a powerful technique for boosting model performance, uncertainty estimation, and robustness in supervised learning. Advances in self-supervised learning (SSL) enable leveraging large unlabeled corpora for state-of-the-art few-shot and supervised learning performance. In this paper, we explore how ensemble methods can improve recent SSL techniques by developing a framework that permits data-dependent weighted cross-entropy losses. We refrain from ensembling the representation backbone; this choice yields an efficient ensemble method that incurs a small training cost and requires no architectural changes or computational overhead to downstream evaluation. The effectiveness of our method is demonstrated with two state-of-the-art SSL methods, DINO (Caron et al., 2021) and MSN (Assran et al., 2022). Our method outperforms both in multiple evaluation metrics on ImageNet-1K, particularly in the few-shot setting. We explore several weighting schemes and find that those which increase the diversity of ensemble heads lead to better downstream evaluation results. Thorough experiments yield improved prior art baselines which our method still surpasses; e.g., our overall improvement with MSN ViT-B/16 is 3.9 p.p. for 1-shot learning.
• Abstract（参考訳）: ensemblingは、教師付き学習におけるモデルパフォーマンス、不確実性推定、堅牢性を高める強力な技術であることが証明されている。 自己教師付き学習(SSL)の進歩により、最先端のいくつかのショットと教師付き学習のパフォーマンスに、大きなラベルのないコーパスを活用することができる。 本稿では,データ依存重み付きクロスエントロピー損失を許容するフレームワークを開発することにより,最近のssl技術を改善する手法を検討する。 この選択は、少ないトレーニングコストを伴い、アーキテクチャの変更やダウンストリーム評価に計算オーバーヘッドを必要としない効率的なアンサンブルメソッドをもたらす。 本手法の有効性をDINO (Caron et al., 2021) とMSN (Assran et al., 2022) の2つの最先端SSL法を用いて実証した。 提案手法は,ImageNet-1Kにおける複数の評価指標,特に数ショット設定において,双方で優れる。 我々は,いくつかの重み付け方式を検討し,アンサンブルヘッドの多様性を増大させると下流評価結果が向上することを示す。 例えば、MSN ViT-B/16の総合的な改善は1ショット学習では3.9 p.p.である。

関連論文リスト

• Skywork-MoE: A Deep Dive into Training Techniques for Mixture-of-Experts Language Models [57.582219834039506]
  提案手法は,146億のパラメータと16名のエキスパートを伴い,高性能な多言語モデル(LLM)であるSkywork-MoEの開発において実現された訓練手法を紹介する。 これは、Skywork-13Bモデルの既存の密度の高いチェックポイントに基づいています。
  論文  参考訳（メタデータ） (2024-06-03T03:58:41Z)
• On Improving the Algorithm-, Model-, and Data- Efficiency of Self-Supervised Learning [18.318758111829386]
  非パラメトリックなインスタンス識別に基づく効率的なシングルブランチSSL手法を提案する。 また,確率分布と正方形根版とのKL分散を最小限に抑える新しい自己蒸留損失を提案する。
  論文  参考訳（メタデータ） (2024-04-30T06:39:04Z)
• Augmentations vs Algorithms: What Works in Self-Supervised Learning [9.194402355758164]
  自己監督学習(SSL)におけるデータ強化,事前学習アルゴリズム,モデルアーキテクチャの相対効果について検討する。 異なるSSLメソッドを単一の共有テンプレートに統合する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-08T23:42:06Z)
• From Pretext to Purpose: Batch-Adaptive Self-Supervised Learning [32.18543787821028]
  本稿では,自己教師付きコントラスト学習におけるバッチ融合の適応的手法を提案する。 公平な比較で最先端のパフォーマンスを達成する。 提案手法は,データ駆動型自己教師型学習研究の進展に寄与する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-11-16T15:47:49Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• FewNLU: Benchmarking State-of-the-Art Methods for Few-Shot Natural Language Understanding [89.92513889132825]
  本稿では,従来の評価手順を,テスト性能,開発-テスト相関,安定性の3つの重要な側面で改善する評価フレームワークを提案する。 評価フレームワークを実装したツールキットFewNLUと、最先端のメソッドをオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2021-09-27T00:57:30Z)
• To be Critical: Self-Calibrated Weakly Supervised Learning for Salient Object Detection [95.21700830273221]
  弱教師付き有色物体検出(WSOD)は,画像レベルのアノテーションを用いた有色度モデルの開発を目的としている。 擬似ラベルとネットワーク予測の相互校正ループを明確に設定し,自己校正学習戦略を提案する。 十分に整合したアノテーションを持つはるかに小さなデータセットであっても、モデルがより優れたパフォーマンスと一般化性を達成するのに役立ちます。
  論文  参考訳（メタデータ） (2021-09-04T02:45:22Z)
• ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
  自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。 本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。 提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-07-20T06:53:07Z)
• Generalized Reinforcement Meta Learning for Few-Shot Optimization [3.7675996866306845]
  本稿では, 汎用的かつ柔軟な強化学習(RL)に基づくメタラーニングフレームワークを提案する。 我々のフレームワークは簡単にネットワークアーキテクチャ検索に拡張できる。
  論文  参考訳（メタデータ） (2020-05-04T03:21:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。