論文の概要: Weighted Ensemble Self-Supervised Learning
- arxiv url: http://arxiv.org/abs/2211.09981v3
- Date: Sun, 9 Apr 2023 19:15:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-11 21:31:48.346569
- Title: Weighted Ensemble Self-Supervised Learning
- Title(参考訳): 重み付きアンサンブル自己教師付き学習
- Authors: Yangjun Ruan, Saurabh Singh, Warren Morningstar, Alexander A. Alemi,
Sergey Ioffe, Ian Fischer, Joshua V. Dillon
- Abstract要約: 組み立ては、モデルパフォーマンスを高めるための強力なテクニックであることが証明されている。
我々は,データ依存型重み付きクロスエントロピー損失を許容するフレームワークを開発した。
提案手法は、ImageNet-1K上での複数の評価指標において、両者に優れる。
- 参考スコア(独自算出の注目度): 67.24482854208783
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Ensembling has proven to be a powerful technique for boosting model
performance, uncertainty estimation, and robustness in supervised learning.
Advances in self-supervised learning (SSL) enable leveraging large unlabeled
corpora for state-of-the-art few-shot and supervised learning performance. In
this paper, we explore how ensemble methods can improve recent SSL techniques
by developing a framework that permits data-dependent weighted cross-entropy
losses. We refrain from ensembling the representation backbone; this choice
yields an efficient ensemble method that incurs a small training cost and
requires no architectural changes or computational overhead to downstream
evaluation. The effectiveness of our method is demonstrated with two
state-of-the-art SSL methods, DINO (Caron et al., 2021) and MSN (Assran et al.,
2022). Our method outperforms both in multiple evaluation metrics on
ImageNet-1K, particularly in the few-shot setting. We explore several weighting
schemes and find that those which increase the diversity of ensemble heads lead
to better downstream evaluation results. Thorough experiments yield improved
prior art baselines which our method still surpasses; e.g., our overall
improvement with MSN ViT-B/16 is 3.9 p.p. for 1-shot learning.
- Abstract(参考訳): ensemblingは、教師付き学習におけるモデルパフォーマンス、不確実性推定、堅牢性を高める強力な技術であることが証明されている。
自己教師付き学習(SSL)の進歩により、最先端のいくつかのショットと教師付き学習のパフォーマンスに、大きなラベルのないコーパスを活用することができる。
本稿では,データ依存重み付きクロスエントロピー損失を許容するフレームワークを開発することにより,最近のssl技術を改善する手法を検討する。
この選択は、少ないトレーニングコストを伴い、アーキテクチャの変更やダウンストリーム評価に計算オーバーヘッドを必要としない効率的なアンサンブルメソッドをもたらす。
本手法の有効性をDINO (Caron et al., 2021) とMSN (Assran et al., 2022) の2つの最先端SSL法を用いて実証した。
提案手法は,ImageNet-1Kにおける複数の評価指標,特に数ショット設定において,双方で優れる。
我々は,いくつかの重み付け方式を検討し,アンサンブルヘッドの多様性を増大させると下流評価結果が向上することを示す。
例えば、MSN ViT-B/16の総合的な改善は1ショット学習では3.9 p.p.である。
関連論文リスト
- Augmentations vs Algorithms: What Works in Self-Supervised Learning [9.194402355758164]
自己監督学習(SSL)におけるデータ強化,事前学習アルゴリズム,モデルアーキテクチャの相対効果について検討する。
異なるSSLメソッドを単一の共有テンプレートに統合する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-08T23:42:06Z) - From Pretext to Purpose: Batch-Adaptive Self-Supervised Learning [2.713192158879508]
本稿では,自己教師付きコントラスト学習におけるバッチ融合の適応的手法を提案する。
公平な比較で最先端のパフォーマンスを達成する。
提案手法は,データ駆動型自己教師型学習研究の進展に寄与する可能性が示唆された。
論文 参考訳(メタデータ) (2023-11-16T15:47:49Z) - Boosting Weakly-Supervised Image Segmentation via Representation,
Transform, and Compensator [26.991314511807907]
既存のWSISアプローチでは多段階の訓練手順が広く使われており、質の高い擬似マスクを基礎として取得している。
そこで本研究では,Symese ネットワークとコントラスト学習を用いて,クラスアクティベーションマップ(CAM)の品質を向上し,自己補充プロセスを実現するための,新しいワンステージ WSIS 手法を提案する。
PASCAL VOC 2012データセットでは67.2%と68.76%のmIoUを達成した。
論文 参考訳(メタデータ) (2023-09-02T09:07:25Z) - Robust Learning with Progressive Data Expansion Against Spurious
Correlation [65.83104529677234]
本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。
分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。
本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-06-08T05:44:06Z) - Effective Decision Boundary Learning for Class Incremental Learning [13.426495434163234]
クラスインクリメンタルラーニング(CIL)におけるリハーサルアプローチは、新しいクラスに過度に適合する決定境界に悩まされる。
これら2つの要因に対処するための,単純かつ効果的なアプローチを提案する。
実験の結果,提案したLはいくつかのCILベンチマークにおいて,最先端の性能を実現していることがわかった。
論文 参考訳(メタデータ) (2023-01-12T18:04:51Z) - Contrastive UCB: Provably Efficient Contrastive Self-Supervised Learning
in Online Reinforcement Learning [113.90282991169201]
対照的な自己指導型学習は、(深層)強化学習(RL)の実践にうまく統合されている
我々は,低ランク遷移を伴うマルコフ決定過程(MDP)とマルコフゲーム(MG)のクラスにおいて,コントラスト学習によってRLをどのように強化できるかを検討する。
オンライン環境下では,MDPやMGのオンラインRLアルゴリズムと対照的な損失を生かした,新しい高信頼境界(UCB)型アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-07-29T17:29:08Z) - FewNLU: Benchmarking State-of-the-Art Methods for Few-Shot Natural
Language Understanding [89.92513889132825]
本稿では,従来の評価手順を,テスト性能,開発-テスト相関,安定性の3つの重要な側面で改善する評価フレームワークを提案する。
評価フレームワークを実装したツールキットFewNLUと、最先端のメソッドをオープンソースとして公開しています。
論文 参考訳(メタデータ) (2021-09-27T00:57:30Z) - To be Critical: Self-Calibrated Weakly Supervised Learning for Salient
Object Detection [95.21700830273221]
弱教師付き有色物体検出(WSOD)は,画像レベルのアノテーションを用いた有色度モデルの開発を目的としている。
擬似ラベルとネットワーク予測の相互校正ループを明確に設定し,自己校正学習戦略を提案する。
十分に整合したアノテーションを持つはるかに小さなデータセットであっても、モデルがより優れたパフォーマンスと一般化性を達成するのに役立ちます。
論文 参考訳(メタデータ) (2021-09-04T02:45:22Z) - ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。
本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。
提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
論文 参考訳(メタデータ) (2021-07-20T06:53:07Z) - Generalized Reinforcement Meta Learning for Few-Shot Optimization [3.7675996866306845]
本稿では, 汎用的かつ柔軟な強化学習(RL)に基づくメタラーニングフレームワークを提案する。
我々のフレームワークは簡単にネットワークアーキテクチャ検索に拡張できる。
論文 参考訳(メタデータ) (2020-05-04T03:21:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。