論文の概要: Bag of Instances Aggregation Boosts Self-supervised Learning

• arxiv url: http://arxiv.org/abs/2107.01691v1
• Date: Sun, 4 Jul 2021 17:33:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-06 15:00:40.656614
• Title: Bag of Instances Aggregation Boosts Self-supervised Learning
• Title（参考訳）: Bag of Instances Aggregationは自己教師型学習を促進する
• Authors: Haohang Xu and Jiemin Fang and Xiaopeng Zhang and Lingxi Xie and Xinggang Wang and Wenrui Dai and Hongkai Xiong and Qi Tian
• Abstract要約: 教師なし学習のための簡易かつ効果的な蒸留戦略を提案する。 BINGOと呼ばれる本手法は,教師が学習した関係を学生に伝達することを目的としている。 BINGOは、小規模モデルにおける最先端の新たなパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 122.61914701794296
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in self-supervised learning have experienced remarkable progress, especially for contrastive learning based methods, which regard each image as well as its augmentations as an individual class and try to distinguish them from all other images. However, due to the large quantity of exemplars, this kind of pretext task intrinsically suffers from slow convergence and is hard for optimization. This is especially true for small scale models, which we find the performance drops dramatically comparing with its supervised counterpart. In this paper, we propose a simple but effective distillation strategy for unsupervised learning. The highlight is that the relationship among similar samples counts and can be seamlessly transferred to the student to boost the performance. Our method, termed as BINGO, which is short for \textbf{B}ag of \textbf{I}nsta\textbf{N}ces a\textbf{G}gregati\textbf{O}n, targets at transferring the relationship learned by the teacher to the student. Here bag of instances indicates a set of similar samples constructed by the teacher and are grouped within a bag, and the goal of distillation is to aggregate compact representations over the student with respect to instances in a bag. Notably, BINGO achieves new state-of-the-art performance on small scale models, \emph{i.e.}, 65.5% and 68.9% top-1 accuracies with linear evaluation on ImageNet, using ResNet-18 and ResNet-34 as backbone, respectively, surpassing baselines (52.5% and 57.4% top-1 accuracies) by a significant margin. The code will be available at \url{https://github.com/haohang96/bingo}.
• Abstract（参考訳）: 近年の自己教師型学習の進歩は顕著な進歩を遂げており、特に対照的な学習に基づく手法では、各画像と、その拡張を個別のクラスとみなし、他のすべての画像と区別しようと試みている。 しかし、多くの例があるため、この種のプレテキストタスクは本質的には収束が遅く、最適化が難しい。 これは特に小規模モデルに当てはまり、教師付きモデルと比較すると、パフォーマンスが劇的に低下することがわかった。 本稿では,教師なし学習のための簡易かつ効果的な蒸留戦略を提案する。 注目すべき点は、類似したサンプル間の関係がカウントされ、パフォーマンスを高めるために学生にシームレスに転送できることだ。 私たちのメソッドはBINGOと呼ばれ、教師が学習した関係を学生に転送するターゲットとして、 \textbf{I}nsta\textbf{N}ces a\textbf{G}gregati\textbf{O}n の \textbf{B}ag と略される。 ここでの例の袋は、教師によって構築され、袋の中にグループ化されている類似のサンプルのセットを示し、蒸留の目的は、バッグのインスタンスに関して学生にコンパクト表現を集約することである。 特筆すべきは、BINGOは小規模モデルにおける新しい最先端性能であるemph{i.e。 ResNet-18とResNet-34をバックボーンとして、ImageNet上で線形評価された65.5%と68.9%のトップ1アキュラシーは、それぞれベースライン(52.5%と57.4%のトップ1アキュラシー)をかなり上回っている。 コードは \url{https://github.com/haohang96/bingo} で入手できる。

関連論文リスト

• $\mathbb{X}$-Sample Contrastive Loss: Improving Contrastive Learning with Sample Similarity Graphs [62.565573316667276]
  サンプルが他者とどのように関連しているかを符号化する目的を開発する。 クラスやテキストのキャプション記述における類似性に基づいて視覚モデルを訓練する。 我々の目標は、特に低いデータ体制でうまく機能しているようで、CLIPが16.8%、ImageNet Realが18.1%だった。
  論文  参考訳（メタデータ） (2024-07-25T15:38:16Z)
• Intra-task Mutual Attention based Vision Transformer for Few-Shot Learning [12.5354658533836]
  人間は、ほんのわずかの例に晒された後に、新しい、目に見えない画像を正確に分類する能力を持っている。 人工ニューラルネットワークモデルでは、限られたサンプルを持つ2つのイメージを区別する最も関連性の高い特徴を決定することが課題である。 本稿では,サポートとクエリサンプルをパッチに分割するタスク内相互注意手法を提案する。
  論文  参考訳（メタデータ） (2024-05-06T02:02:57Z)
• CoNe: Contrast Your Neighbours for Supervised Image Classification [62.12074282211957]
  Contrast Your Neighbours (CoNe)は、教師付き画像分類のための学習フレームワークである。 CoNeは、より適応的で洗練されたターゲットを生成するために、類似した隣人の特徴をアンカーとして採用している。 私たちのCoNeは、最近のTimトレーニングレシピを上回るResNet-50で、ImageNetの80.8%のTop-1精度を実現しています。
  論文  参考訳（メタデータ） (2023-08-21T14:49:37Z)
• MoBYv2AL: Self-supervised Active Learning for Image Classification [57.4372176671293]
  画像分類のための自己教師型アクティブラーニングフレームワークであるMoBYv2ALを提案する。 私たちの貢献は、最も成功した自己教師付き学習アルゴリズムであるMoBYをALパイプラインに持ち上げることです。 近年のAL法と比較すると,最先端の結果が得られている。
  論文  参考訳（メタデータ） (2023-01-04T10:52:02Z)
• Weakly Supervised Contrastive Learning [68.47096022526927]
  この問題に対処するために,弱教師付きコントラスト学習フレームワーク(WCL)を導入する。 WCLはResNet50を使用して65%と72%のImageNet Top-1の精度を実現している。
  論文  参考訳（メタデータ） (2021-10-10T12:03:52Z)
• CompRess: Self-Supervised Learning by Compressing Representations [14.739041141948032]
  我々は、既に学んだ、深い自己教師付きモデル(教師)をより小さなモデル(学生)に圧縮するモデル圧縮法を開発した。 教師の埋め込み空間におけるデータポイント間の相対的類似性を模倣するように、学生モデルを訓練する。 ImageNet分類において、自己監督型AlexNetが教師型AlexNetを上回ったのはこれが初めてである。
  論文  参考訳（メタデータ） (2020-10-28T02:49:18Z)
• Memory-Augmented Relation Network for Few-Shot Learning [114.47866281436829]
  本研究では,新しい距離学習手法であるメモリ拡張リレーショナルネットワーク(MRN)について検討する。 MRNでは、作業状況と視覚的に類似したサンプルを選択し、重み付け情報伝搬を行い、選択したサンプルから有用な情報を注意深く集約し、その表現を強化する。 我々は、MRNが祖先よりも大幅に向上し、他の数発の学習手法と比較して、競争力や性能が向上することを示した。
  論文  参考訳（メタデータ） (2020-05-09T10:09:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。