論文の概要: Ensembling Pruned Attention Heads For Uncertainty-Aware Efficient Transformers

• arxiv url: http://arxiv.org/abs/2510.18358v1
• Date: Tue, 21 Oct 2025 07:26:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:13.12601
• Title: Ensembling Pruned Attention Heads For Uncertainty-Aware Efficient Transformers
• Title（参考訳）: 不確実性を考慮した効率的な変圧器のためのプルーニングアテンションヘッドの組込み
• Authors: Firas Gabetni, Giuseppe Curci, Andrea Pilzer, Subhankar Roy, Elisa Ricci, Gianni Franchi,
• Abstract要約: 不確実性定量化(UQ)は、ディープニューラルネットワークを安全クリティカルな環境でデプロイするために不可欠である。 Hydra Ensemblesは効率的なトランスフォーマーベースのアンサンブルで、様々なメンバーを創造するために注意を喚起する。 これにより、単一のネットワークに近い推論速度を持つコンパクトモデルが得られ、スクラッチから再トレーニングすることなく、UQ性能のDeep Ensemblesをマッチングまたは超える。
• 参考スコア（独自算出の注目度）: 27.402302964345864
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Uncertainty quantification (UQ) is essential for deploying deep neural networks in safety-critical settings. Although methods like Deep Ensembles achieve strong UQ performance, their high computational and memory costs hinder scalability to large models. We introduce Hydra Ensembles, an efficient transformer-based ensemble that prunes attention heads to create diverse members and merges them via a new multi-head attention with grouped fully-connected layers. This yields a compact model with inference speed close to a single network, matching or surpassing Deep Ensembles in UQ performance without retraining from scratch. We also provide an in-depth analysis of pruning, showing that naive approaches can harm calibration, whereas Hydra Ensembles preserves robust uncertainty. Experiments on image and text classification tasks, with various architectures, show consistent gains over Deep Ensembles. Remarkably, in zero-shot classification on ImageNet-1k, our approach surpasses state of the art methods, even without requiring additional training.
• Abstract（参考訳）: 不確実性定量化(UQ)は、ディープニューラルネットワークを安全クリティカルな環境でデプロイするために不可欠である。 Deep Ensemblesのような手法は強いUQ性能を実現するが、その高い計算とメモリコストは大規模モデルへのスケーラビリティを妨げている。 我々はHydra Ensemblesを紹介した。Hydra Ensemblesは、効率的なトランスフォーマーベースのアンサンブルで、様々なメンバーを創り出し、グループ化された完全に接続されたレイヤーで新しいマルチヘッドアテンションを通じてそれらをマージする。 これにより、単一のネットワークに近い推論速度を持つコンパクトモデルが得られ、スクラッチから再トレーニングすることなく、UQ性能のDeep Ensemblesをマッチングまたは超える。 また,ナイーブアプローチはキャリブレーションに悪影響を及ぼすが,Hydra Ensemblesはロバストな不確実性を保っている。 様々なアーキテクチャによる画像とテキストの分類タスクの実験は、Deep Ensemblesよりも一貫した利得を示している。 注目すべきは、ImageNet-1k上のゼロショット分類において、我々のアプローチは、追加のトレーニングを必要とせずとも最先端の手法を超えることである。

関連論文リスト

• Real-Time Image Segmentation via Hybrid Convolutional-Transformer Architecture Search [51.89707241449435]
  本稿では,高分解能表現CNNにマルチヘッド自己認識を効率よく組み込むという課題に対処する。 本稿では,高解像度機能の利点をフル活用したマルチターゲットマルチブランチ・スーパーネット手法を提案する。 本稿では,Hybrid Convolutional-Transformer Architecture Search (HyCTAS)法を用いて,軽量畳み込み層とメモリ効率のよい自己保持層を最適に組み合わせたモデルを提案する。
  論文  参考訳（メタデータ） (2024-03-15T15:47:54Z)
• Tailoring Adversarial Attacks on Deep Neural Networks for Targeted Class Manipulation Using DeepFool Algorithm [6.515472477685614]
  敵対的攻撃に対するディープニューラルネットワーク(DNN)の感受性は、多くのアプリケーションにまたがる信頼性を損なう。 このアルゴリズムは,所望の誤分類対象の指定を容易にするだけでなく,最小限の信頼スコアも組み込む。 我々の実証的研究は、画像の整合性を維持する上で、この洗練されたアプローチが優れていることを示すものである。
  論文  参考訳（メタデータ） (2023-10-18T18:50:39Z)
• Layer Ensembles [95.42181254494287]
  本稿では,ネットワークの各層に対する独立なカテゴリ分布の集合を考慮した不確実性推定手法を提案する。 その結果,メモリと実行時間が少なくなるモデルが得られた。
  論文  参考訳（メタデータ） (2022-10-10T17:52:47Z)
• Learning Robust Kernel Ensembles with Kernel Average Pooling [3.6540368812166872]
  本稿では,階層活性化テンソルのカーネル次元に沿って平均フィルタを適用するニューラルネットワーク構築ブロックであるKernel Average Pooling(KAP)を紹介する。 類似機能を持つカーネルのアンサンブルは、KAPを装備した畳み込みニューラルネットワークにおいて自然に出現し、バックプロパゲーションで訓練されることを示す。
  論文  参考訳（メタデータ） (2022-09-30T19:49:14Z)
• Complexity-Driven CNN Compression for Resource-constrained Edge AI [1.6114012813668934]
  本稿では,CNNの層レベルでの複雑さを生かして,新しい,計算効率の高いプルーニングパイプラインを提案する。 パラメータ認識(PA)、FLOP認識(FA)、メモリ認識(MA)の3つのモードを定義し、CNNの汎用圧縮を導入する。
  論文  参考訳（メタデータ） (2022-08-26T16:01:23Z)
• Defensive Tensorization [113.96183766922393]
  本稿では,ネットワークの遅延高次分解を利用した対角防御手法であるテンソル防御手法を提案する。 我々は,標準画像分類ベンチマークにおけるアプローチの有効性を実証的に実証した。 我々は,音声タスクとバイナリネットワークを考慮し,ドメイン間のアプローチと低精度アーキテクチャの汎用性を検証した。
  論文  参考訳（メタデータ） (2021-10-26T17:00:16Z)
• Ensemble-in-One: Learning Ensemble within Random Gated Networks for Enhanced Adversarial Robustness [18.514706498043214]
  敵の攻撃は現代のディープラーニングシステムに高いセキュリティリスクをもたらしている。 ランダムゲートネットワーク(RGN)内でアンサンブルを訓練するためのアンサンブル・イン・ワン(EIO)を提案する。 EIOは、従来のアンサンブルトレーニング手法を一貫して上回り、計算オーバーヘッドがさらに少なくなります。
  論文  参考訳（メタデータ） (2021-03-27T03:13:03Z)
• Neural Ensemble Search for Uncertainty Estimation and Dataset Shift [67.57720300323928]
  ニューラルネットワークのアンサンブルは、データセットシフトに対する精度、不確実性キャリブレーション、堅牢性の観点から、スタンドアロンネットワークよりも優れたパフォーマンスを実現する。 本稿では,アンサンブルをアンサンブルで自動構築する2つの手法を提案する。 得られたアンサンブルは、精度だけでなく、不確実なキャリブレーションやデータセットシフトに対する堅牢性の観点からも、深いアンサンブルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-15T17:38:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。