論文の概要: SAE: Single Architecture Ensemble Neural Networks

• arxiv url: http://arxiv.org/abs/2402.06580v2
• Date: Wed, 24 Jul 2024 09:38:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-25 19:20:39.436967
• Title: SAE: Single Architecture Ensemble Neural Networks
• Title（参考訳）: SAE: ニューラルネットワークを組み込んだ単一アーキテクチャ
• Authors: Martin Ferianc, Hongxiang Fan, Miguel Rodrigues,
• Abstract要約: 異なるニューラルネットワーク(NN)のアンサンブルは、タスク間の単一NNよりも精度と信頼性のキャリブレーションが優れている。 近年の手法では,早期出口の追加やマルチ入力マルチ出力手法によるアンサンブルを単一ネットワーク内で生成している。 我々の新しいSingle Architecture Ensembleフレームワークは、早期出口とマルチ入力マルチ出力構成による自動および共同検索を可能にする。
• 参考スコア（独自算出の注目度）: 7.011763596804071
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ensembles of separate neural networks (NNs) have shown superior accuracy and confidence calibration over single NN across tasks. To improve the hardware efficiency of ensembles of separate NNs, recent methods create ensembles within a single network via adding early exits or considering multi input multi output approaches. However, it is unclear which of these methods is the most effective for a given task, needing a manual and separate search through each method. Our novel Single Architecture Ensemble (SAE) framework enables an automatic and joint search through the early exit and multi input multi output configurations and their previously unobserved in-between combinations. SAE consists of two parts: a scalable search space that generalises the previous methods and their in-between configurations, and an optimisation objective that allows learning the optimal configuration for a given task. Our image classification and regression experiments show that with SAE we can automatically find diverse configurations that fit the task, achieving competitive accuracy or confidence calibration to baselines while reducing the compute operations or parameter count by up to $1.5{\sim}3.7\times$.
• Abstract（参考訳）: 異なるニューラルネットワーク(NN)のアンサンブルは、タスク間の単一NNよりも精度と信頼性のキャリブレーションが優れている。 異なるNNのアンサンブルのハードウェア効率を向上させるため、近年の手法では、早期出口の追加やマルチ入力マルチ出力アプローチによるアンサンブルを単一ネットワーク内で生成している。 しかし、これらの手法のどちらが与えられたタスクに対して最も効果的であるかは定かではなく、手動で各メソッドを検索する必要がある。 我々の新しいSingle Architecture Ensemble(SAE)フレームワークは、初期出口とマルチ入力マルチ出力構成と、これまで観測されていなかったイン・バイ・バイ・バイ・ザ・コンビネーションを通じて、自動およびジョイント検索を可能にする。 SAEは2つの部分から構成される: 前のメソッドとその中間設定を一般化するスケーラブルな検索空間と、与えられたタスクの最適設定を学習する最適化目標である。 画像分類と回帰実験により、SAEでは、計算操作やパラメータカウントを最大1.5{\sim}3.7\times$に減らしながら、タスクに適合する多様な構成を自動的に見つけ、競争精度やベースラインへの信頼度校正を達成できることがわかった。

関連論文リスト

• Aux-NAS: Exploiting Auxiliary Labels with Negligibly Extra Inference Cost [73.28626942658022]
  本研究の目的は,独立タスク(副次タスク)から追加の補助ラベルを活用することで,タスクのパフォーマンスを向上させることである。 本手法は,主タスクと補助タスクのための柔軟な非対称構造を持つアーキテクチャに基づく。 VGG、ResNet、ViTのバックボーンを使用して、NYU v2、CityScapes、Taskonomyデータセット上の6つのタスクで実験を行った。
  論文  参考訳（メタデータ） (2024-05-09T11:50:19Z)
• Multi-objective Differentiable Neural Architecture Search [58.67218773054753]
  本研究では,パフォーマンスとハードウェアメトリクスのトレードオフのために,ユーザの好みを符号化するNASアルゴリズムを提案する。 提案手法は,既存のMOO NAS手法を,定性的に異なる検索空間やデータセットの広い範囲で性能良くする。
  論文  参考訳（メタデータ） (2024-02-28T10:09:04Z)
• SimQ-NAS: Simultaneous Quantization Policy and Neural Architecture Search [6.121126813817338]
  最近のワンショットニューラルネットワーク検索アルゴリズムは、特定のタスクに適したハードウェアに依存しないスーパーネットワークをトレーニングし、異なるハードウェアプラットフォームのための効率的なサブネットワークを抽出する。 我々は,光学習された予測器と組み合わせた多目的探索アルゴリズムを用いることで,サブネットワークアーキテクチャとそれに対応する量子化ポリシーの両方を効率的に探索できることを示す。
  論文  参考訳（メタデータ） (2023-12-19T22:08:49Z)
• OFA$^2$: A Multi-Objective Perspective for the Once-for-All Neural Architecture Search [79.36688444492405]
  once-for-All(OFA)は、異なるリソース制約を持つデバイスのための効率的なアーキテクチャを探索する問題に対処するために設計された、ニューラルネットワーク検索(NAS)フレームワークである。 我々は,探索段階を多目的最適化問題として明示的に考えることにより,効率の追求を一歩進めることを目指している。
  論文  参考訳（メタデータ） (2023-03-23T21:30:29Z)
• Multi-headed Neural Ensemble Search [68.10888689513583]
  異なる種(ディープ・アンサンブルとしても知られる)で訓練されたCNNモデルのアンサンブルは、CNNの単一コピーよりも優れたパフォーマンスを達成することが知られている。 我々はNESをマルチヘッドアンサンブルに拡張し、複数の予測ヘッドにアタッチされた共有バックボーンで構成される。
  論文  参考訳（メタデータ） (2021-07-09T11:20:48Z)
• Embedded Self-Distillation in Compact Multi-Branch Ensemble Network for Remote Sensing Scene Classification [17.321718779142817]
  本稿では,特徴表現能力を向上させるマルチブランチアンサンブルネットワークを提案する。 自己蒸留法(SD)を組み込んで,アンサンブルネットワークからメインブランチへ知識を伝達する。 その結果,提案するESD-MBENetは,従来のSOTA(State-of-the-art)モデルよりも精度が高いことがわかった。
  論文  参考訳（メタデータ） (2021-04-01T03:08:52Z)
• Decoupled and Memory-Reinforced Networks: Towards Effective Feature Learning for One-Step Person Search [65.51181219410763]
  歩行者検出と識別サブタスクを1つのネットワークで処理するワンステップ方式を開発しました。 現在のワンステップアプローチには2つの大きな課題があります。 本稿では,これらの問題を解決するために,分離メモリ強化ネットワーク(DMRNet)を提案する。
  論文  参考訳（メタデータ） (2021-02-22T06:19:45Z)
• MTL-NAS: Task-Agnostic Neural Architecture Search towards General-Purpose Multi-Task Learning [71.90902837008278]
  汎用マルチタスク学習(GP-MTL)にニューラルアーキテクチャサーチ(NAS)を導入することを提案する。 異なるタスクの組み合わせに対応するため、GP-MTLネットワークを単一タスクのバックボーンに分割する。 また,探索されたアーキテクチャ間の性能ギャップを埋める単一ショット勾配に基づく探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-31T09:49:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。