論文の概要: Generating Efficient DNN-Ensembles with Evolutionary Computation

• arxiv url: http://arxiv.org/abs/2009.08698v2
• Date: Mon, 3 May 2021 12:59:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 02:15:16.302532
• Title: Generating Efficient DNN-Ensembles with Evolutionary Computation
• Title（参考訳）: 進化計算による効率的なDNNアンサンブルの生成
• Authors: Marc Ortiz, Florian Scheidegger, Marc Casas, Cristiano Malossi, Eduard Ayguad\'e
• Abstract要約: 私たちは、より速く、より小さく、より正確なディープラーニングモデルを作成するためのツールとして、アンサンブル学習を活用しています。 EARNを10の画像分類データセット上で実行し、CPUとGPUプラットフォームの両方で32の最先端DCNNを初期プールします。 スピードアップが7.60Times$、パラメータが10times$、精度が6.01%$まで向上したモデルを生成します。
• 参考スコア（独自算出の注目度）: 3.28217012194635
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we leverage ensemble learning as a tool for the creation of faster, smaller, and more accurate deep learning models. We demonstrate that we can jointly optimize for accuracy, inference time, and the number of parameters by combining DNN classifiers. To achieve this, we combine multiple ensemble strategies: bagging, boosting, and an ordered chain of classifiers. To reduce the number of DNN ensemble evaluations during the search, we propose EARN, an evolutionary approach that optimizes the ensemble according to three objectives regarding the constraints specified by the user. We run EARN on 10 image classification datasets with an initial pool of 32 state-of-the-art DCNN on both CPU and GPU platforms, and we generate models with speedups up to $7.60\times$, reductions of parameters by $10\times$, or increases in accuracy up to $6.01\%$ regarding the best DNN in the pool. In addition, our method generates models that are $5.6\times$ faster than the state-of-the-art methods for automatic model generation.
• Abstract（参考訳）: 本研究では,より速く,より小さく,より正確なディープラーニングモデルを作成するためのツールとして,アンサンブル学習を利用する。 dnn分類器を組み合わせることで,精度,推定時間,パラメータ数を共同で最適化できることを実証する。 これを実現するために、バッグング、ブースティング、順序付き分類器のチェーンという複数のアンサンブル戦略を組み合わせる。 検索中のDNNアンサンブルの評価回数を減らすために,ユーザの指定した制約に対する3つの目的に応じてアンサンブルを最適化する進化的アプローチEARNを提案する。 cpuとgpuの両方で32の最先端dcnnの初期プールを持つ10の画像分類データセットを実行し、最大速度アップで7.60\times$、パラメータの10\times$の削減、プールの最高のdnnに関して最大6.01\%$の精度向上といったモデルを生成します。 加えて、この手法は自動モデル生成のための最先端メソッドよりも5.6\times$高速のモデルを生成する。

関連論文リスト

• Decoding-Time Language Model Alignment with Multiple Objectives [116.42095026960598]
  既存の手法は主に、1つの報酬関数に対してLMを最適化することに集中し、それらの適応性は様々な目的に制限される。 本稿では,予測の線形結合から次のトークンを出力する復号時間アルゴリズムである$textbfmulti-objective decoding (MOD)$を提案する。 提案手法は, 自然条件下であっても, 既存のアプローチが準最適であることを示すとともに, 提案手法の最適性を保証する。
  論文  参考訳（メタデータ） (2024-06-27T02:46:30Z)
• Multivector Neurons: Better and Faster O(n)-Equivariant Clifford Graph Neural Networks [17.716680490388306]
  本研究では,クリフォード・マルチベクタに基づく新しいメッセージパッシンググラフニューラルネットワーク(GNN)を試作する。 我々はNボディデータセットの最先端エラーを0.0035にプッシュし、最近の手法よりも8%改善した。
  論文  参考訳（メタデータ） (2024-06-06T13:17:44Z)
• ApproxDARTS: Differentiable Neural Architecture Search with Approximate Multipliers [0.24578723416255746]
  本稿では、DARTSと呼ばれる一般的な微分可能なニューラルアーキテクチャ探索手法を応用し、近似乗算器を活用可能なニューラルアーキテクチャ探索(NAS)手法であるApproxDARTSを提案する。 ApproxDARTSは10ドル未満のGPU時間で完全なアーキテクチャ検索を実行でき、畳み込み層に近似乗算器を含む競合畳み込みニューラルネットワーク(CNN)を生成する。
  論文  参考訳（メタデータ） (2024-04-08T09:54:57Z)
• ANN vs SNN: A case study for Neural Decoding in Implantable Brain-Machine Interfaces [0.7904805552920349]
  本研究では,運動復号化のための異なるニューラルネットワーク(NN)を精度と実装コストの観点から比較する。 さらに,従来の信号処理技術と機械学習技術を組み合わせることで,単純なNNでも驚くほど優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2023-12-26T05:40:39Z)
• Towards Hyperparameter-Agnostic DNN Training via Dynamical System Insights [4.513581513983453]
  本稿では,ディープニューラルネットワーク(DNN),ECCO-DNNに特化した一階最適化手法を提案する。 本手法は, 最適変数軌道を動的システムとしてモデル化し, 軌道形状に基づいてステップサイズを適応的に選択する離散化アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2023-10-21T03:45:13Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
  そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。 ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。 我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
  論文  参考訳（メタデータ） (2020-05-13T13:25:51Z)
• Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
  自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。 本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。 その結果, 直接使用法と比較して計算時間を2～5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2020-02-04T20:00:28Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。