Fugu-MT 論文翻訳(概要): Deep-n-Cheap: An Automated Search Framework for Low Complexity Deep Learning

論文の概要: Deep-n-Cheap: An Automated Search Framework for Low Complexity Deep Learning

arxiv url: http://arxiv.org/abs/2004.00974v3
Date: Sat, 5 Sep 2020 21:24:04 GMT
ステータス: 処理完了
システム内更新日: 2022-12-19 04:27:52.461751
Title: Deep-n-Cheap: An Automated Search Framework for Low Complexity Deep Learning
Title（参考訳）: Deep-n-Cheap:低複雑性ディープラーニングのための自動検索フレームワーク
Authors: Sourya Dey, Saikrishna C. Kanala, Keith M. Chugg, Peter A. Beerel
Abstract要約: 私たちはディープラーニングモデルを探すためのオープンソースのAutoMLフレームワークであるDeep-n-Cheapを紹介します。私たちのフレームワークは、ベンチマークとカスタムデータセットの両方へのデプロイをターゲットとしています。 Deep-n-Cheapには、トレーニング時間やパラメータ数とパフォーマンスをトレードオフする、ユーザ管理可能な複雑性ペナルティが含まれている。
参考スコア（独自算出の注目度）: 3.479254848034425
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present Deep-n-Cheap -- an open-source AutoML framework to search for deep learning models. This search includes both architecture and training hyperparameters, and supports convolutional neural networks and multi-layer perceptrons. Our framework is targeted for deployment on both benchmark and custom datasets, and as a result, offers a greater degree of search space customizability as compared to a more limited search over only pre-existing models from literature. We also introduce the technique of 'search transfer', which demonstrates the generalization capabilities of the models found by our framework to multiple datasets. Deep-n-Cheap includes a user-customizable complexity penalty which trades off performance with training time or number of parameters. Specifically, our framework results in models offering performance comparable to state-of-the-art while taking 1-2 orders of magnitude less time to train than models from other AutoML and model search frameworks. Additionally, this work investigates and develops various insights regarding the search process. In particular, we show the superiority of a greedy strategy and justify our choice of Bayesian optimization as the primary search methodology over random / grid search.
Abstract（参考訳）: 私たちはディープラーニングモデルを探すためのオープンソースのAutoMLフレームワークであるDeep-n-Cheapを紹介します。この検索には、アーキテクチャとトレーニングの両方のハイパーパラメータが含まれ、畳み込みニューラルネットワークと多層パーセプトロンをサポートする。我々のフレームワークは、ベンチマークとカスタムデータセットの両方にデプロイすることを目的としており、その結果、文献から既存のモデルのみに対するより限定的な検索に比べて、検索空間のカスタマイズ性が高い。また、フレームワークから複数のデータセットへのモデルの一般化機能を示す「検索転送」技術についても紹介する。 Deep-n-Cheapには、トレーニング時間やパラメータ数とパフォーマンスをトレードオフする、ユーザ管理可能な複雑性ペナルティが含まれている。特に、私たちのフレームワークは、他のautomlおよびモデル検索フレームワークのモデルよりも1-2桁のトレーニング時間を要しながら、最先端に匹敵するパフォーマンスを提供するモデルを提供します。さらに本研究は,検索過程に関する様々な知見を調査し,展開する。特に,欲望戦略の優越性を示し,ランダム/グリッド探索よりもベイズ最適化を第一の探索方法論として正当化する。

関連論文リスト

MGAS: Multi-Granularity Architecture Search for Trade-Off Between Model Effectiveness and Efficiency [10.641875933652647]
我々は,多粒度アーキテクチャサーチ(MGAS)を導入し,効率的かつ効率的なニューラルネットワークを探索する。各粒度レベル固有の離散化関数を学習し、進化したアーキテクチャに従って単位残率を適応的に決定する。 CIFAR-10、CIFAR-100、ImageNetの大規模な実験により、MGASはモデル性能とモデルサイズとのトレードオフを改善するために、他の最先端の手法よりも優れていることが示された。
論文参考訳（メタデータ） (2023-10-23T16:32:18Z)
POPNASv3: a Pareto-Optimal Neural Architecture Search Solution for Image and Time Series Classification [8.190723030003804]
本稿では、異なるハードウェア環境と複数の分類タスクを対象とした逐次モデルベースNASアルゴリズムの第3版について述べる。提案手法は,異なるタスクに適応するフレキシブルな構造とデータ処理パイプラインを維持しながら,大規模な検索空間内で競合するアーキテクチャを見つけることができる。画像と時系列の分類データセットで実施された実験は、POPNASv3が多種多様な演算子を探索し、異なるシナリオで提供されるデータの種類に適した最適なアーキテクチャに収束できることを示す。
論文参考訳（メタデータ） (2022-12-13T17:14:14Z)
Automatic Discovery of Composite SPMD Partitioning Strategies in PartIR [1.2507285499419876]
本稿では,多くのモデルアーキテクチャとアクセラレータシステムのための効率的な組み合わせを同定する自動分割器を提案する。我々の重要な発見は、Monte Carlo Tree Searchベースのパーティショナがパーティショニング固有のコンパイラ分析を直接利用し、ガイドされたゴールは、様々なモデルのエキスパートレベルの戦略と一致することである。
論文参考訳（メタデータ） (2022-10-07T17:46:46Z)
AutoBERT-Zero: Evolving BERT Backbone from Scratch [94.89102524181986]
そこで本稿では,提案するハイブリッドバックボーンアーキテクチャを自動検索するOP-NASアルゴリズムを提案する。提案するOP-NASの効率を向上させるために,探索アルゴリズムと候補モデルの評価を最適化する。実験の結果、検索されたアーキテクチャ(AutoBERT-Zero)は、様々な下流タスクにおいてBERTとそのバリエーションの異なるモデル容量を著しく上回っていることがわかった。
論文参考訳（メタデータ） (2021-07-15T16:46:01Z)
Redefining Neural Architecture Search of Heterogeneous Multi-Network Models by Characterizing Variation Operators and Model Components [71.03032589756434]
複素領域における異なる変動演算子の効果について検討する。モデルの複雑さと性能に影響を及ぼす変化演算子と、それを構成する異なる部分の質を推定する様々な指標に依存するモデルの両方を特徴付ける。
論文参考訳（メタデータ） (2021-06-16T17:12:26Z)
Efficient Data-specific Model Search for Collaborative Filtering [56.60519991956558]
協調フィルタリング(CF)はレコメンダシステムの基本的なアプローチである。本稿では,機械学習(AutoML)の最近の進歩を動機として,データ固有のCFモデルを設計することを提案する。ここでキーとなるのは、最先端(SOTA)のCFメソッドを統一し、それらを入力エンコーディング、埋め込み関数、インタラクション、予測関数の非結合ステージに分割する新しいフレームワークである。
論文参考訳（メタデータ） (2021-06-14T14:30:32Z)
One-Shot Neural Ensemble Architecture Search by Diversity-Guided Search Space Shrinking [97.60915598958968]
本稿では,この2つの課題に対処するワンショットニューラルアンサンブルアーキテクチャサーチ(NEAS)ソリューションを提案する。最初の課題として,探索空間の縮小を導くために,多様性に基づく新しい指標を導入する。第2の課題として,異なるモデル間の階層共有を効率向上のために学習する新たな探索次元を実現する。
論文参考訳（メタデータ） (2021-04-01T16:29:49Z)
Efficient Model Performance Estimation via Feature Histories [27.008927077173553]
ニューラルネットワーク設計のタスクにおける重要なステップは、モデルの性能を評価することである。この研究では、トレーニングの初期段階におけるネットワークの機能の進化履歴を使用して、プロキシ分類器を構築します。本手法は,複数の探索アルゴリズムと組み合わせ,より幅広いタスクに対するより良い解を見つけることができることを示す。
論文参考訳（メタデータ） (2021-03-07T20:41:57Z)
NASE: Learning Knowledge Graph Embedding for Link Prediction via Neural Architecture Search [9.634626241415916]
リンク予測は、知識グラフ(KG)におけるエンティティ間の欠落した接続を予測するタスクであるこれまでの研究では、Automated Machine Learning(AutoML)を使用して、データセットに最適なモデルを探していた。リンク予測タスクのための新しいニューラルネットワーク探索(NAS)フレームワークを提案する。
論文参考訳（メタデータ） (2020-08-18T03:34:09Z)
AutoPose: Searching Multi-Scale Branch Aggregation for Pose Estimation [96.29533512606078]
本稿では,新しいニューラルアーキテクチャサーチ(NAS)フレームワークであるAutoPoseを紹介する。高精度で高解像度な2次元ポーズ推定に向けて、クロススケール接続の複数の並列ブランチを自動的に検出することができる。
論文参考訳（メタデータ） (2020-08-16T22:27:43Z)
AutoSTR: Efficient Backbone Search for Scene Text Recognition [80.7290173000068]
テキストインスタンスの多様性とシーンの複雑さのため、シーンテキスト認識(STR)は非常に難しい。テキスト認識性能を向上させるために,データ依存のバックボーンを検索するための自動STR(AutoSTR)を提案する。実験によると、データ依存のバックボーンを検索することで、AutoSTRは標準ベンチマークにおける最先端のアプローチより優れている。
論文参考訳（メタデータ） (2020-03-14T06:51:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。