論文の概要: Data-Efficient Training of CNNs and Transformers with Coresets: A Stability Perspective

• arxiv url: http://arxiv.org/abs/2303.02095v1
• Date: Fri, 3 Mar 2023 17:24:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-06 14:02:51.347592
• Title: Data-Efficient Training of CNNs and Transformers with Coresets: A Stability Perspective
• Title（参考訳）: コアセットを用いたcnnとトランスフォーマーのデータ効率トレーニング : 安定性の観点から
• Authors: Animesh Gupta, Irtiza Hassan, Dilip K. Prasad, Deepak K. Gupta
• Abstract要約: ベンチマーク設定を行い、CNNとトランスフォーマーの異なるコアセット選択方法を比較する。 我々は,SOTA選択法と比較して,サブセットのランダム選択がより堅牢で安定であることを示す。 トランスフォーマーは一般的に大規模なデータセットで事前トレーニングされており、特定のターゲットデータセットに対して、非常に小さなコアセットサイズでパフォーマンスを安定させるのに役立ちます。
• 参考スコア（独自算出の注目度）: 12.53542203921728
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Coreset selection is among the most effective ways to reduce the training time of CNNs, however, only limited is known on how the resultant models will behave under variations of the coreset size, and choice of datasets and models. Moreover, given the recent paradigm shift towards transformer-based models, it is still an open question how coreset selection would impact their performance. There are several similar intriguing questions that need to be answered for a wide acceptance of coreset selection methods, and this paper attempts to answer some of these. We present a systematic benchmarking setup and perform a rigorous comparison of different coreset selection methods on CNNs and transformers. Our investigation reveals that under certain circumstances, random selection of subsets is more robust and stable when compared with the SOTA selection methods. We demonstrate that the conventional concept of uniform subset sampling across the various classes of the data is not the appropriate choice. Rather samples should be adaptively chosen based on the complexity of the data distribution for each class. Transformers are generally pretrained on large datasets, and we show that for certain target datasets, it helps to keep their performance stable at even very small coreset sizes. We further show that when no pretraining is done or when the pretrained transformer models are used with non-natural images (e.g. medical data), CNNs tend to generalize better than transformers at even very small coreset sizes. Lastly, we demonstrate that in the absence of the right pretraining, CNNs are better at learning the semantic coherence between spatially distant objects within an image, and these tend to outperform transformers at almost all choices of the coreset size.
• Abstract（参考訳）: コアセットの選択は、cnnのトレーニング時間を短縮するための最も効果的な方法の1つだが、コアセットのサイズやデータセットやモデルの選択によって結果モデルがどのように振る舞うかは、限定的である。 さらに、最近のトランスフォーマティブベースのモデルへのパラダイムシフトを考えると、コアセットの選択がパフォーマンスにどのように影響するかはまだ疑問の余地がある。 コアセット選択法を広く受け入れるためには,同様の疑問がいくつかあるが,本論文ではそのいくつかに答えようとしている。 本稿では,cnnとトランスフォーマーの異なるコアセット選択法について,体系的なベンチマーク設定を行い,厳密な比較を行う。 本研究は, ある状況下では, SOTA選択法と比較して, サブセットのランダム選択がより堅牢で安定であることを明らかにする。 データの様々なクラスにまたがる一様部分集合サンプリングという従来の概念が適切な選択ではないことを実証する。 むしろ、各クラスのデータ分散の複雑さに基づいて、サンプルを適応的に選択する必要がある。 トランスフォーマーは一般的に大規模なデータセットで事前トレーニングされており、特定のターゲットデータセットに対して、非常に小さなコアセットサイズでパフォーマンスを安定させるのに役立ちます。 さらに、事前トレーニングが行われていない場合や、非自然な画像(医療データなど)で事前トレーニングされたトランスフォーマーモデルを使用する場合、CNNは、非常に小さなコアセットサイズでトランスフォーマーを一般化する傾向にあることを示す。 最後に、適切な事前学習がない場合、CNNは画像内の空間的に離れたオブジェクト間のセマンティックコヒーレンスを学習し、コアセットサイズのほとんどすべての選択においてトランスフォーマーよりも優れていることを示した。

関連論文リスト

• B-cosification: Transforming Deep Neural Networks to be Inherently Interpretable [53.848005910548565]
  B-コシフィケーション(B-cosification)は、既存の訓練済みモデルを本質的に解釈可能なものにするための新しいアプローチである。 B-コシフィケーションは、解釈可能性の観点から、スクラッチから訓練されたB-コシフィケーションモデルに匹敵するモデルが得られる。
  論文  参考訳（メタデータ） (2024-11-01T16:28:11Z)
• D2 Pruning: Message Passing for Balancing Diversity and Difficulty in Data Pruning [70.98091101459421]
  コアセット選択は、トレーニングデータのサブセットを選択して、このサブセット(コアセットとも呼ばれる)でトレーニングされたモデルのパフォーマンスを最大化する。 コアセット選択のために,このデータセットグラフ上で前後のメッセージパッシングを利用する新しいプルーニングアルゴリズムD2プルーニングを提案する。 その結果、D2プルーニングは従来の最先端手法よりもコアセット選択を向上し、最大70%のプルーニングレートが得られた。
  論文  参考訳（メタデータ） (2023-10-11T23:01:29Z)
• Transfer Learning for Microstructure Segmentation with CS-UNet: A Hybrid Algorithm with Transformer and CNN Encoders [0.2353157426758003]
  顕微鏡画像上で事前学習したTransformerモデルとCNNモデルのセグメンテーション性能を、自然画像上で事前学習したモデルと比較する。 また,画像セグメンテーションにおいて,事前学習したトランスフォーマーとCNNエンコーダの組み合わせは,事前学習したCNNエンコーダ単独よりも一貫して優れていることがわかった。
  論文  参考訳（メタデータ） (2023-08-26T16:56:15Z)
• Efficient Video Transformers with Spatial-Temporal Token Selection [68.27784654734396]
  入力ビデオサンプルに条件付き時間的・空間的両方のトークンを動的に選択するトークン選択フレームワークSTTSを提案する。 我々のフレームワークは、20%の計算を必要としながら、同様の結果を得る。
  論文  参考訳（メタデータ） (2021-11-23T00:35:58Z)
• nnFormer: Interleaved Transformer for Volumetric Segmentation [50.10441845967601]
  本稿では,自己意図と畳み込みを実証的に組み合わせた,インターリーブアーキテクチャを備えた強力なセグメンテーションモデルであるnnFormerを紹介する。 nnFormerは、SynapseとACDCの2つの一般的なデータセットで、以前のTransformerベースのメソッドよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2021-09-07T17:08:24Z)
• Efficient Training of Visual Transformers with Small-Size Datasets [64.60765211331697]
  進化的ネットワーク(CNN)に代わるアーキテクチャパラダイムとして、ビジュアルトランスフォーマー(VT)が登場している。 ImageNetでトレーニングされた場合、同等の精度を持つにもかかわらず、より小さなデータセットでのパフォーマンスは、大きく異なる可能性があることを示す。 本稿では,計算オーバーヘッドの少ない画像から追加情報を抽出できる自己教師型タスクを提案する。
  論文  参考訳（メタデータ） (2021-06-07T16:14:06Z)
• Balancing Constraints and Submodularity in Data Subset Selection [43.03720397062461]
  より少ないトレーニングデータを用いて、従来のディープラーニングモデルと同様の精度が得られることを示す。 新たな多様性駆動客観的関数を提案し,マトロイドを用いたクラスラベルと決定境界の制約のバランスをとる。
  論文  参考訳（メタデータ） (2021-04-26T19:22:27Z)
• ViViT: A Video Vision Transformer [75.74690759089529]
  ビデオ分類にpure-transformerベースのモデルを提案する。 本モデルでは,入力ビデオから時間トークンを抽出し,一連のトランスフォーマー層で符号化する。 トレーニング中にモデルを効果的に正規化し、トレーニング済みの画像モデルを利用して比較的小さなデータセットでトレーニングできることを示します。
  論文  参考訳（メタデータ） (2021-03-29T15:27:17Z)
• Deep Ensembles for Low-Data Transfer Learning [21.578470914935938]
  我々は、事前訓練されたモデルからアンサンブルを作成する様々な方法を研究する。 プレトレーニング自体が多様性の優れた源であることが示される。 本稿では,任意の下流データセットに対して,事前学習したモデルのサブセットを効率的に同定する実用的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-14T07:59:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。