論文の概要: Efficient Adaptive Ensembling for Image Classification

• arxiv url: http://arxiv.org/abs/2206.07394v3
• Date: Wed, 30 Aug 2023 06:36:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-31 18:11:19.226080
• Title: Efficient Adaptive Ensembling for Image Classification
• Title（参考訳）: 画像分類のための効率的な適応組立
• Authors: Antonio Bruno, Davide Moroni, Massimo Martinelli
• Abstract要約: 本稿では,複雑性を増大させることなく画像分類性能を向上させる新しい手法を提案する。 データの不整合部分集合に基づいて2つの効率的なNet-b0のエンドツーエンドモデルを訓練した。 精度で平均0.5$%の精度で最先端の技術を上回りました。
• 参考スコア（独自算出の注目度）: 3.7241274058257092
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent times, with the exception of sporadic cases, the trend in Computer Vision is to achieve minor improvements compared to considerable increases in complexity. To reverse this trend, we propose a novel method to boost image classification performances without increasing complexity. To this end, we revisited ensembling, a powerful approach, often not used properly due to its more complex nature and the training time, so as to make it feasible through a specific design choice. First, we trained two EfficientNet-b0 end-to-end models (known to be the architecture with the best overall accuracy/complexity trade-off for image classification) on disjoint subsets of data (i.e. bagging). Then, we made an efficient adaptive ensemble by performing fine-tuning of a trainable combination layer. In this way, we were able to outperform the state-of-the-art by an average of 0.5$\%$ on the accuracy, with restrained complexity both in terms of the number of parameters (by 5-60 times), and the FLoating point Operations Per Second (FLOPS) by 10-100 times on several major benchmark datasets.
• Abstract（参考訳）: 近年では、散発的なケースを除いて、コンピュータビジョンの傾向は、複雑化の著しい増加に比べてわずかに改善される。 この傾向を逆転するために,画像分類性能を複雑化することなく向上させる新しい手法を提案する。 この目的のために、より複雑な性質とトレーニング時間のためにしばしば適切に使用されない強力なアプローチであるアンサンブルを再検討し、特定の設計選択によって実現できるようにしました。 まず、2つの効率的なNet-b0エンド・ツー・エンド・モデル(画像分類の全体的な精度/複雑さのトレードオフが最も高いアーキテクチャとして知られている)を非結合なサブセット(バッグング)でトレーニングした。 そこで,訓練可能な組み合わせ層の微調整を行い,効率的な適応アンサンブルを製作した。 このようにして、パラメータ数(5～60倍)とFLoating Point Operations Per Second(FLOPS)の両面で、いくつかの主要なベンチマークデータセットで10～100倍の複雑さを抑えながら、平均0.5$\%の精度で最先端技術を上回るパフォーマンスを実現しました。

関連論文リスト

• Parameter Tracking in Federated Learning with Adaptive Optimization [14.111863825607001]
  フェデレートラーニング(FL)では、モデルトレーニングのパフォーマンスはクライアント間のデータ不均一性に強く影響されます。 GT(Gradient Tracking)は、最近、局所モデル更新に修正項を導入することでこの問題を軽減するソリューションとして登場した。 現在まで、GTはグラディエント(SGD)ベースのDescentトレーニングしか考慮されていないが、現代のFLフレームワークは収束を改善するために適応性を採用する傾向にある。
  論文  参考訳（メタデータ） (2025-02-04T21:21:30Z)
• Towards Generalizable Trajectory Prediction Using Dual-Level Representation Learning And Adaptive Prompting [107.4034346788744]
  既存の車両軌道予測モデルは、一般化可能性、予測の不確実性、複雑な相互作用を扱う。 本研究では,(1)自己拡張(SD)とマスドレコンストラクション(MR)による二重レベル表現学習,グローバルコンテキストと細部の詳細の収集,(2)レジスタベースのクエリと事前学習の強化,クラスタリングと抑圧の必要性の排除,(3)微調整中の適応型プロンプトチューニング,メインアーキテクチャの凍結,および少数のプロンプトの最適化といった,新たなトラジェクタ予測フレームワークであるPerceiverを提案する。
  論文  参考訳（メタデータ） (2025-01-08T20:11:09Z)
• ParaFormer: Parallel Attention Transformer for Efficient Feature Matching [8.552303361149612]
  本稿ではParaFormerという新しい並列アテンションモデルを提案する。 振幅と位相という概念を通じて特徴とキーポイントの位置を融合させ、平行して自己と横断性を統合する。 ホモグラフィー推定、ポーズ推定、画像マッチングなど様々な応用実験により、ParaFormerが最先端の性能を達成することを示す。 効率のよいParaFormer-Uは、既存のアテンションベースモデルの50%未満のFLOPで同等のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-03-02T03:29:16Z)
• Deep Negative Correlation Classification [82.45045814842595]
  既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。 深部負相関分類(DNCC)を提案する。 DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
  論文  参考訳（メタデータ） (2022-12-14T07:35:20Z)
• Prompt Tuning for Parameter-efficient Medical Image Segmentation [79.09285179181225]
  2つの医用画像データセットのセマンティックセグメンテーションにパラメータ効率が良いが効果的な適応を実現するために,いくつかのコントリビューションを提案し,検討する。 我々はこのアーキテクチャを、オンライン生成プロトタイプへの割り当てに基づく専用密集型セルフスーパービジョンスキームで事前訓練する。 得られたニューラルネットワークモデルにより、完全に微調整されたモデルとパラメータに適応したモデルとのギャップを緩和できることを実証する。
  論文  参考訳（メタデータ） (2022-11-16T21:55:05Z)
• Contextual Squeeze-and-Excitation for Efficient Few-Shot Image Classification [57.36281142038042]
  本稿では,事前学習したニューラルネットワークを新しいタスクで調整し,性能を大幅に向上させる,Contextual Squeeze-and-Excitation (CaSE) という適応ブロックを提案する。 また、メタトレーニングされたCaSEブロックと微調整ルーチンを利用して効率よく適応する、アッパーCaSEと呼ばれるコーディネートダイスに基づく新しいトレーニングプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-06-20T15:25:08Z)
• Learning strides in convolutional neural networks [34.20666933112202]
  この研究は、学習可能なステップを持つ最初のダウンサンプリング層であるDiffStrideを紹介している。 音声と画像の分類実験は,ソリューションの汎用性と有効性を示す。
  論文  参考訳（メタデータ） (2022-02-03T16:03:36Z)
• Joint inference and input optimization in equilibrium networks [68.63726855991052]
  ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。 この2つの設定の間には自然なシナジーがあることが示されています。 この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
  論文  参考訳（メタデータ） (2021-11-25T19:59:33Z)
• MIO : Mutual Information Optimization using Self-Supervised Binary Contrastive Learning [19.5917119072985]
  対が正かどうかを予測するために、比較学習を二項分類問題にモデル化する。 提案手法は,STL-10,CIFAR-10,CIFAR-100などのベンチマークデータセットにおいて,最先端のアルゴリズムよりも優れている。
  論文  参考訳（メタデータ） (2021-11-24T17:51:29Z)
• Learning Deformable Image Registration from Optimization: Perspective, Modules, Bilevel Training and Beyond [62.730497582218284]
  マルチスケールの伝搬により微分同相モデルを最適化する,新しいディープラーニングベースのフレームワークを開発した。 我々は,脳MRIデータにおける画像-アトラス登録,肝CTデータにおける画像-画像登録を含む,3次元ボリュームデータセットにおける画像登録実験の2つのグループを実行する。
  論文  参考訳（メタデータ） (2020-04-30T03:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。