論文の概要: Efficient Adaptive Ensembling for Image Classification
- arxiv url: http://arxiv.org/abs/2206.07394v1
- Date: Wed, 15 Jun 2022 08:55:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-17 02:00:56.886050
- Title: Efficient Adaptive Ensembling for Image Classification
- Title（参考訳）: 画像分類のための効率的な適応組立
- Authors: Antonio Bruno, Davide Moroni, Massimo Martinelli
- Abstract要約: 複雑化を伴わずに画像分類性能を向上させる新しい手法を提案する。
まず、データの不整合部分集合に対して、エンドツーエンドの2つのEfficientNet-b0モデルをトレーニングした。
そこで,訓練可能な組み合わせ層の微調整を行い,効率的な適応アンサンブルを製作した。
- 参考スコア（独自算出の注目度）: 0.14801019176999608
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent times, except for sporadic cases, the trend in Computer Vision is
to achieve minor improvements over considerable increases in complexity.
To reverse this tendency, we propose a novel method to boost image
classification performances without an increase in complexity.
To this end, we revisited ensembling, a powerful approach, not often
adequately used due to its nature of increased complexity and training time,
making it viable by specific design choices. First, we trained end-to-end two
EfficientNet-b0 models (known to be the architecture with the best overall
accuracy/complexity trade-off in image classification) on disjoint subsets of
data (i.e. bagging). Then, we made an efficient adaptive ensemble by performing
fine-tuning of a trainable combination layer. In this way, we were able to
outperform the state-of-the-art by an average of 0.5\% on the accuracy with
restrained complexity both in terms of number of parameters (by 5-60 times),
and FLoating point Operations Per Second (by 10-100 times) on several major
benchmark datasets, fully embracing the green AI.
- Abstract（参考訳）: 近年では、散発的なケースを除いて、コンピュータビジョンの傾向は、複雑さのかなりの増加よりもわずかに改善されている。
この傾向を逆転するために,画像分類性能を複雑化することなく向上させる新しい手法を提案する。
この目的のために私たちは、複雑さとトレーニング時間の増大という性質から、あまり適切に使われない強力なアプローチであるensemblingを再検討しました。
まず、データの非結合部分集合(つまり、バッグング)に対して、エンドツーエンドの2つのEfficientNet-b0モデル(画像分類において最も全体的な精度/複雑さのトレードオフを持つアーキテクチャとして知られている)を訓練した。
そこで,訓練可能な組み合わせ層の微調整を行い,効率的な適応アンサンブルを製作した。
このようにして、いくつかの主要なベンチマークデータセットにおいて、パラメータ数(5～60倍)とFLoating Point Operations Per Second(10～100倍)の両方で、複雑性を抑えた精度で、平均0.5倍の精度で最先端を達成できたのです。
関連論文リスト
- Parameter Tracking in Federated Learning with Adaptive Optimization [14.111863825607001]
フェデレートラーニング(FL)では、モデルトレーニングのパフォーマンスはクライアント間のデータ不均一性に強く影響されます。
GT(Gradient Tracking)は、最近、局所モデル更新に修正項を導入することでこの問題を軽減するソリューションとして登場した。
現在まで、GTはグラディエント(SGD)ベースのDescentトレーニングしか考慮されていないが、現代のFLフレームワークは収束を改善するために適応性を採用する傾向にある。
論文 参考訳（メタデータ） (2025-02-04T21:21:30Z) - Towards Generalizable Trajectory Prediction Using Dual-Level Representation Learning And Adaptive Prompting [107.4034346788744]
既存の車両軌道予測モデルは、一般化可能性、予測の不確実性、複雑な相互作用を扱う。
本研究では,(1)自己拡張(SD)とマスドレコンストラクション(MR)による二重レベル表現学習,グローバルコンテキストと細部の詳細の収集,(2)レジスタベースのクエリと事前学習の強化,クラスタリングと抑圧の必要性の排除,(3)微調整中の適応型プロンプトチューニング,メインアーキテクチャの凍結,および少数のプロンプトの最適化といった,新たなトラジェクタ予測フレームワークであるPerceiverを提案する。
論文 参考訳（メタデータ） (2025-01-08T20:11:09Z) - ParaFormer: Parallel Attention Transformer for Efficient Feature
Matching [8.552303361149612]
本稿ではParaFormerという新しい並列アテンションモデルを提案する。
振幅と位相という概念を通じて特徴とキーポイントの位置を融合させ、平行して自己と横断性を統合する。
ホモグラフィー推定、ポーズ推定、画像マッチングなど様々な応用実験により、ParaFormerが最先端の性能を達成することを示す。
効率のよいParaFormer-Uは、既存のアテンションベースモデルの50%未満のFLOPで同等のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-03-02T03:29:16Z) - Deep Negative Correlation Classification [82.45045814842595]
既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。
深部負相関分類(DNCC)を提案する。
DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
論文 参考訳（メタデータ） (2022-12-14T07:35:20Z) - Prompt Tuning for Parameter-efficient Medical Image Segmentation [79.09285179181225]
2つの医用画像データセットのセマンティックセグメンテーションにパラメータ効率が良いが効果的な適応を実現するために,いくつかのコントリビューションを提案し,検討する。
我々はこのアーキテクチャを、オンライン生成プロトタイプへの割り当てに基づく専用密集型セルフスーパービジョンスキームで事前訓練する。
得られたニューラルネットワークモデルにより、完全に微調整されたモデルとパラメータに適応したモデルとのギャップを緩和できることを実証する。
論文 参考訳（メタデータ） (2022-11-16T21:55:05Z) - Contextual Squeeze-and-Excitation for Efficient Few-Shot Image
Classification [57.36281142038042]
本稿では,事前学習したニューラルネットワークを新しいタスクで調整し,性能を大幅に向上させる,Contextual Squeeze-and-Excitation (CaSE) という適応ブロックを提案する。
また、メタトレーニングされたCaSEブロックと微調整ルーチンを利用して効率よく適応する、アッパーCaSEと呼ばれるコーディネートダイスに基づく新しいトレーニングプロトコルを提案する。
論文 参考訳（メタデータ） (2022-06-20T15:25:08Z) - Learning strides in convolutional neural networks [34.20666933112202]
この研究は、学習可能なステップを持つ最初のダウンサンプリング層であるDiffStrideを紹介している。
音声と画像の分類実験は,ソリューションの汎用性と有効性を示す。
論文 参考訳（メタデータ） (2022-02-03T16:03:36Z) - Joint inference and input optimization in equilibrium networks [68.63726855991052]
ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。
この2つの設定の間には自然なシナジーがあることが示されています。
この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
論文 参考訳（メタデータ） (2021-11-25T19:59:33Z) - MIO : Mutual Information Optimization using Self-Supervised Binary
Contrastive Learning [19.5917119072985]
対が正かどうかを予測するために、比較学習を二項分類問題にモデル化する。
提案手法は,STL-10,CIFAR-10,CIFAR-100などのベンチマークデータセットにおいて,最先端のアルゴリズムよりも優れている。
論文 参考訳（メタデータ） (2021-11-24T17:51:29Z) - Learning Deformable Image Registration from Optimization: Perspective,
Modules, Bilevel Training and Beyond [62.730497582218284]
マルチスケールの伝搬により微分同相モデルを最適化する,新しいディープラーニングベースのフレームワークを開発した。
我々は,脳MRIデータにおける画像-アトラス登録,肝CTデータにおける画像-画像登録を含む,3次元ボリュームデータセットにおける画像登録実験の2つのグループを実行する。
論文 参考訳（メタデータ） (2020-04-30T03:23:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。