論文の概要: Speeding Up Image Classifiers with Little Companions

• arxiv url: http://arxiv.org/abs/2406.17117v2
• Date: Thu, 27 Jun 2024 03:25:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-28 18:27:13.212137
• Title: Speeding Up Image Classifiers with Little Companions
• Title（参考訳）: コンパニオンの少ない画像分類器の高速化
• Authors: Yang Liu, Kowshik Thopalli, Jayaraman Thiagarajan,
• Abstract要約: ニューラルネットワークのスケールアップは、大規模な言語とビジョンモデルの成功の鍵となるレシピである。 まず、軽量の"リトル"モデルを用いて、すべてのサンプルの予測を行う。 Little-Bigはまた、Intern Image-G-512をスピードアップし、90%のImageNet-1Kトップ1の精度を達成した。
• 参考スコア（独自算出の注目度）: 5.9999780224657195
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Scaling up neural networks has been a key recipe to the success of large language and vision models. However, in practice, up-scaled models can be disproportionately costly in terms of computations, providing only marginal improvements in performance; for example, EfficientViT-L3-384 achieves <2% improvement on ImageNet-1K accuracy over the base L1-224 model, while requiring $14\times$ more multiply-accumulate operations (MACs). In this paper, we investigate scaling properties of popular families of neural networks for image classification, and find that scaled-up models mostly help with "difficult" samples. Decomposing the samples by difficulty, we develop a simple model-agnostic two-pass Little-Big algorithm that first uses a light-weight "little" model to make predictions of all samples, and only passes the difficult ones for the "big" model to solve. Good little companion achieve drastic MACs reduction for a wide variety of model families and scales. Without loss of accuracy or modification of existing models, our Little-Big models achieve MACs reductions of 76% for EfficientViT-L3-384, 81% for EfficientNet-B7-600, 71% for DeiT3-L-384 on ImageNet-1K. Little-Big also speeds up the InternImage-G-512 model by 62% while achieving 90% ImageNet-1K top-1 accuracy, serving both as a strong baseline and as a simple practical method for large model compression.
• Abstract（参考訳）: ニューラルネットワークのスケールアップは、大規模な言語とビジョンモデルの成功の鍵となるレシピである。 例えば、EfficientViT-L3-384は、ベースとなるL1-224モデルよりもImageNet-1Kの精度が2%向上し、14\times$1,4\times$ more multiply-accumulate operation (MACs) を必要とする。 本稿では、画像分類のためのニューラルネットワークの一般的なファミリーのスケーリング特性について検討し、スケールアップモデルが「難易度」サンプルに大きく寄与していることを見出した。 サンプルを難解に分解し、まず軽量の"リトル"モデルを用いて全てのサンプルを予測し、"ビッグ"モデルが解決する難しいモデルのみをパスする、単純なモデルに依存しない2パスのリトル・ビッグアルゴリズムを開発した。 良い小さな仲間は、様々なモデルファミリとスケールに対して劇的なMAC還元を達成する。 既存のモデルの精度や修正を欠くことなく、私たちのLittle-Bigモデルは、効率的なViT-L3-384で76%、効率的なNet-B7-600で81%、ImageNet-1KでDeiT3-L-384で71%のMAC削減を実現しています。 Little-BigはIntern Image-G-512モデルを62%高速化し、90%のImageNet-1Kトップ-1精度を実現した。

関連論文リスト

• Tiny Models are the Computational Saver for Large Models [1.8350044465969415]
  本稿では,TinySaverについて紹介する。TinySaverは,大規模モデルを適応的に置き換えるために小さなモデルを用いる,早期に出現する動的モデル圧縮手法である。 この手法をImageNet-1k分類で評価した結果,最大90%の演算数を削減できる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-03-26T14:14:30Z)
• A Simple and Efficient Baseline for Data Attribution on Images [107.12337511216228]
  現在の最先端のアプローチでは、モデル予測を正確に評価するために、最大30万のモデルの大規模なアンサンブルが必要となる。 本研究では、自己教師付き学習によって事前訓練されたバックボーンの特徴空間を利用して、データ帰属を行うミニマリストベースラインに焦点を当てる。 提案手法はモデルに依存しず,大規模データセットに容易にスケールできる。
  論文  参考訳（メタデータ） (2023-11-03T17:29:46Z)
• Core Risk Minimization using Salient ImageNet [53.616101711801484]
  私たちは、1000のImagenetクラスのコアとスプリアス機能をローカライズする100万人以上のソフトマスクを備えたSalient Imagenetデータセットを紹介します。 このデータセットを用いて、まず、いくつかのImagenet事前訓練されたモデル(総計42件)の素早い特徴に対する依存度を評価する。 次に、コアリスク最小化(CoRM)と呼ばれる新しい学習パラダイムを導入する。
  論文  参考訳（メタデータ） (2022-03-28T01:53:34Z)
• Combined Scaling for Zero-shot Transfer Learning [146.0851484769142]
  我々は,ImageNet ILSVRC-2012バリデーションセットにおいて,85.7%のトップ1の精度を達成できるBASICと組み合わせたスケーリング手法を提案する。 この精度はCLIPとALIGNの9.3%を超える。 我々のモデルは、ロバストネスベンチマークの大幅な改善も示しています。
  論文  参考訳（メタデータ） (2021-11-19T05:25:46Z)
• SimMIM: A Simple Framework for Masked Image Modeling [29.015777125540613]
  本稿では,マスク画像モデリングのためのシンプルなフレームワークであるSimについて述べる。 フレームワークの主要なコンポーネントについて検討し、各コンポーネントのシンプルな設計が、非常に強力な表現学習性能を示した。 また、このアプローチを利用して3Bモデルのトレーニングをしやすくし、従来の4つの代表的なビジョンベンチマークよりも40ドル安いデータで、最先端の4つのビジョンベンチマークを実現しています。
  論文  参考訳（メタデータ） (2021-11-18T18:59:45Z)
• Network Augmentation for Tiny Deep Learning [73.57192520534585]
  ニューラルネットワークの性能向上のための新しいトレーニング手法であるNetAug(Net Aug)を紹介する。 画像分類と物体検出におけるNetAugの有効性を示す。
  論文  参考訳（メタデータ） (2021-10-17T18:48:41Z)
• Greedy Network Enlarging [53.319011626986004]
  本稿では,計算のリアルタイム化に基づくグリーディ・ネットワーク拡大手法を提案する。 異なる段階の計算をステップバイステップで修正することで、拡張されたネットワークはMACの最適な割り当てと利用を提供する。 GhostNetへの我々の手法の適用により、最先端の80.9%と84.3%のImageNet Top-1アキュラシーを実現する。
  論文  参考訳（メタデータ） (2021-07-31T08:36:30Z)
• Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
  本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。 実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
  論文  参考訳（メタデータ） (2021-06-18T01:03:13Z)
• High-Performance Large-Scale Image Recognition Without Normalization [34.58818094675353]
  バッチ正規化は、ほとんどの画像分類モデルのキーコンポーネントであるが、多くの望ましくない性質を持っている。 我々は,これらの不安定性を克服する適応的勾配クリッピング手法を開発し,より優れた正規化自由レスネットのクラスを設計する。 大規模事前トレーニング後のImageNetの微調整では,バッチ正規化よりも大幅に性能が向上した。
  論文  参考訳（メタデータ） (2021-02-11T18:23:20Z)
• Scalable and Practical Natural Gradient for Large-Scale Deep Learning [19.220930193896404]
  SP-NGDは1次法に比べて計算オーバーヘッドが無視できるような大きなミニバッチサイズにスケールする。 また,SP-NGDの873ステップにおいて,超大小バッチサイズ131,072の74.9%,32,768の1024GPUを用いた5.5分でトップ1検証精度75.4%の収束性を示した。
  論文  参考訳（メタデータ） (2020-02-13T11:55:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。