論文の概要: Low-Cost Self-Ensembles Based on Multi-Branch Transformation and Grouped Convolution

• arxiv url: http://arxiv.org/abs/2408.02307v1
• Date: Mon, 5 Aug 2024 08:36:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-06 14:06:30.552175
• Title: Low-Cost Self-Ensembles Based on Multi-Branch Transformation and Grouped Convolution
• Title（参考訳）: マルチブランチ変換とグループ畳み込みに基づく低コスト自己集合
• Authors: Hojung Lee, Jong-Seok Lee,
• Abstract要約: 本稿では,高い効率と分類性能を実現するために,低コストなアンサンブル学習を提案する。 学習には,教師の信号として出力のアンサンブルを用いた知識蒸留を用いる。 実験結果から,本手法は最先端の分類精度と精度の高い不確実性推定性能を実現することが示された。
• 参考スコア（独自算出の注目度）: 20.103367702014474
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in low-cost ensemble learning have demonstrated improved efficiency for image classification. However, the existing low-cost ensemble methods show relatively lower accuracy compared to conventional ensemble learning. In this paper, we propose a new low-cost ensemble learning, which can simultaneously achieve high efficiency and classification performance. A CNN is transformed into a multi-branch structure without introduction of additional components, which maintains the computational complexity as that of the original single model and also enhances diversity among the branches' outputs via sufficient separation between different pathways of the branches. In addition, we propose a new strategy that applies grouped convolution in the branches with different numbers of groups in different branches, which boosts the diversity of the branches' outputs. For training, we employ knowledge distillation using the ensemble of the outputs as the teacher signal. The high diversity among the outputs enables to form a powerful teacher, enhancing the individual branch's classification performance and consequently the overall ensemble performance. Experimental results show that our method achieves state-of-the-art classification accuracy and higher uncertainty estimation performance compared to previous low-cost ensemble methods. The code is available at https://github.com/hjdw2/SEMBG.
• Abstract（参考訳）: 近年の低コストアンサンブル学習の進歩により,画像分類の効率化が図られている。 しかし,既存のアンサンブル法は従来のアンサンブル学習に比べて比較的精度が低い。 本稿では,高い効率と分類性能を同時に達成できる,低コストなアンサンブル学習を提案する。 CNNは追加のコンポーネントを導入することなくマルチブランチ構造に変換され、元の単一モデルの計算複雑性を維持し、枝の異なる経路間の十分な分離によって枝の出力の多様性を高める。 さらに,各枝に異なる数の群を持つ枝に群化畳み込みを適用し,枝の出力の多様性を高める新しい戦略を提案する。 学習には,教師の信号として出力のアンサンブルを用いた知識蒸留を用いる。 出力の多様性が高いため、強力な教師を形成し、個々のブランチの分類性能を高め、結果として全体のアンサンブル性能を高めることができる。 実験の結果,従来の低コストアンサンブル法と比較して,最先端の分類精度と不確実性評価性能が向上していることがわかった。 コードはhttps://github.com/hjdw2/SEMBGで入手できる。

関連論文リスト

• Achieving More with Less: A Tensor-Optimization-Powered Ensemble Method [53.170053108447455]
  アンサンブル学習(英: Ensemble learning)は、弱い学習者を利用して強力な学習者を生み出す方法である。 我々は、マージンの概念を活かした滑らかで凸な目的関数を設計し、強力な学習者がより差別的になるようにした。 そして、我々のアルゴリズムを、多数のデータセットの10倍の大きさのランダムな森林や他の古典的な手法と比較する。
  論文  参考訳（メタデータ） (2024-08-06T03:42:38Z)
• Convolutional autoencoder-based multimodal one-class classification [80.52334952912808]
  1クラス分類は、単一のクラスからのデータを用いた学習のアプローチを指す。 マルチモーダルデータに適した深層学習一クラス分類法を提案する。
  論文  参考訳（メタデータ） (2023-09-25T12:31:18Z)
• Dynamic Perceiver for Efficient Visual Recognition [87.08210214417309]
  特徴抽出手順と早期分類タスクを分離する動的知覚器(Dyn-Perceiver)を提案する。 特徴ブランチは画像の特徴を抽出し、分類ブランチは分類タスクに割り当てられた遅延コードを処理する。 早期出口は分類枝に限られており、低レベルの特徴において線形分離性は不要である。
  論文  参考訳（メタデータ） (2023-06-20T03:00:22Z)
• Few-shot Classification via Ensemble Learning with Multi-Order Statistics [9.145742362513932]
  基本クラスにおけるアンサンブル学習を活用することで,新たなクラスにおける真の誤りを低減できることを示す。 本稿では,多階統計を用いたアンサンブル学習法(ELMOS)を提案する。 提案手法は,複数ショットの分類ベンチマークデータセット上で,最先端の性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2023-04-30T11:41:01Z)
• Deep Negative Correlation Classification [82.45045814842595]
  既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。 深部負相関分類(DNCC)を提案する。 DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
  論文  参考訳（メタデータ） (2022-12-14T07:35:20Z)
• Bi-directional Feature Reconstruction Network for Fine-Grained Few-Shot Image Classification [61.411869453639845]
  クラス間およびクラス内変動を同時に対応できるバイコンストラクション機構を導入する。 この設計は、モデルがより微妙で差別的な特徴を探索するのに役立つ。 広範に使用されている3つのきめ細かな画像分類データセットに対する実験結果は、一貫して大幅に改善されている。
  論文  参考訳（メタデータ） (2022-11-30T16:55:14Z)
• Structurally Diverse Sampling Reduces Spurious Correlations in Semantic Parsing Datasets [51.095144091781734]
  本稿では,構造化された出力を持つラベル付きインスタンスプールから,構造的に多様なインスタンス群をサンプリングする新しいアルゴリズムを提案する。 提案アルゴリズムは, 合成テンプレート分割だけでなく, 従来のID分割においても, 従来のアルゴリズムよりも競合的に動作することを示す。 一般に、多種多様な列車集合は、10組のデータセット分割ペアのうち9組で同じ大きさのランダムな訓練集合よりも優れた一般化をもたらす。
  論文  参考訳（メタデータ） (2022-03-16T07:41:27Z)
• On-the-Fly Ensemble Pruning in Evolving Data Streams [4.137914981603379]
  CCRPはマルチクラスデータストリーム分類のためのオンザフライ・アンサンブル・プルーニング方式である。 CCRPを統合した異なるタイプのen-semblesは、平均メモリ消費量を20%から90%削減して、同等または優れた性能で一貫して収まることを示す。
  論文  参考訳（メタデータ） (2021-09-15T22:54:22Z)
• Multiple Classifiers Based Maximum Classifier Discrepancy for Unsupervised Domain Adaptation [25.114533037440896]
  本稿では、2つの分類器の構造を複数の分類器に拡張し、その性能をさらに向上することを提案する。 平均的に、3つの分類器の構造を採用すると、精度と効率のトレードオフとして最高の性能が得られることを示す。
  論文  参考訳（メタデータ） (2021-08-02T03:00:13Z)
• Residual Likelihood Forests [19.97069303172077]
  本稿では,Residual Likelihood Forests(RLF)と呼ばれる新たなアンサンブル学習手法を提案する。 我々の弱い学習者は、過去の学習者の文脈でグローバルな損失を用いて逐次最適化された条件付き確率を生成する。 Random Forests や Gradient Boosted Trees など,いくつかのアンサンブルアプローチと比較すると,RDF のパフォーマンスは大幅に向上している。
  論文  参考訳（メタデータ） (2020-11-04T00:59:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。