論文の概要: Bayesian Neural Architecture Search using A Training-Free Performance Metric

• arxiv url: http://arxiv.org/abs/2001.10726v2
• Date: Fri, 23 Apr 2021 07:48:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-05 20:37:20.688807
• Title: Bayesian Neural Architecture Search using A Training-Free Performance Metric
• Title（参考訳）: トレーニングフリーパフォーマンスメトリクスを用いたベイズ型ニューラルアーキテクチャ探索
• Authors: Andr\'es Camero, Hao Wang, Enrique Alba, Thomas B\"ack
• Abstract要約: リカレントニューラルネットワーク(RNN)は時系列予測の強力なアプローチである。 本稿では,ベイズ最適化(BO)アルゴリズムの変種を用いて,アーキテクチャ最適化問題に取り組むことを提案する。 また,可変長アーキテクチャ表現に対処する3つの固定長符号化方式を提案する。
• 参考スコア（独自算出の注目度）: 7.775212462771685
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recurrent neural networks (RNNs) are a powerful approach for time series prediction. However, their performance is strongly affected by their architecture and hyperparameter settings. The architecture optimization of RNNs is a time-consuming task, where the search space is typically a mixture of real, integer and categorical values. To allow for shrinking and expanding the size of the network, the representation of architectures often has a variable length. In this paper, we propose to tackle the architecture optimization problem with a variant of the Bayesian Optimization (BO) algorithm. To reduce the evaluation time of candidate architectures the Mean Absolute Error Random Sampling (MRS), a training-free method to estimate the network performance, is adopted as the objective function for BO. Also, we propose three fixed-length encoding schemes to cope with the variable-length architecture representation. The result is a new perspective on accurate and efficient design of RNNs, that we validate on three problems. Our findings show that 1) the BO algorithm can explore different network architectures using the proposed encoding schemes and successfully designs well-performing architectures, and 2) the optimization time is significantly reduced by using MRS, without compromising the performance as compared to the architectures obtained from the actual training procedure.
• Abstract（参考訳）: リカレントニューラルネットワーク(RNN)は時系列予測の強力なアプローチである。 しかし、その性能はアーキテクチャやハイパーパラメータ設定の影響を強く受けている。 RNNのアーキテクチャ最適化は時間を要する作業であり、探索空間は典型的には実数、整数、カテゴリーの値の混合である。 ネットワークの縮小と拡張を可能にするため、アーキテクチャの表現は、しばしば可変長を持つ。 本稿では,ベイズ最適化(BO)アルゴリズムの変種を用いて,アーキテクチャ最適化問題に取り組むことを提案する。 ネットワーク性能を推定するトレーニングフリーな手法である平均絶対誤差ランダムサンプリング(mrs)をboの目的関数として採用し、候補アーキテクチャの評価時間を短縮する。 また,可変長アーキテクチャ表現に対応する3つの固定長符号化方式を提案する。 その結果、rnnの正確かつ効率的な設計に関する新たな視点が生まれ、3つの問題について検証した。 私たちの発見は 1)boアルゴリズムは,提案する符号化方式を用いて異なるネットワークアーキテクチャを探索し,高性能アーキテクチャの設計に成功している。 2) MRSを用いることで,実際のトレーニング手順から得られたアーキテクチャと比較して,性能を損なうことなく,最適化時間を著しく短縮する。

関連論文リスト

• Growing Tiny Networks: Spotting Expressivity Bottlenecks and Fixing Them Optimally [2.645067871482715]
  機械学習タスクでは、ある機能空間内で最適な関数を探索する。 この方法で、トレーニング中の機能の進化を、選択したアーキテクチャで表現可能な領域内に配置させます。 表現力のボトルネックによる望ましいアーキテクチャ変更に関する情報は, 後処理の % から抽出可能であることを示す。
  論文  参考訳（メタデータ） (2024-05-30T08:23:56Z)
• Time Elastic Neural Networks [2.1756081703276]
  時間弾性ニューラルネットワーク(teNN)という,非定型ニューラルネットワークアーキテクチャの導入と詳細化について述べる。 古典的ニューラルネットワークアーキテクチャと比較して新しいのは、時間ゆがみ能力を明確に組み込んでいることだ。 トレーニング過程において,TENNは各細胞に必要となるニューロン数を減少させることに成功した。
  論文  参考訳（メタデータ） (2024-05-27T09:01:30Z)
• FlowNAS: Neural Architecture Search for Optical Flow Estimation [65.44079917247369]
  本研究では,フロー推定タスクにおいて,より優れたエンコーダアーキテクチャを自動で見つけるために,FlowNASというニューラルアーキテクチャ探索手法を提案する。 実験の結果、スーパーネットワークから受け継いだ重み付きアーキテクチャは、KITTI上で4.67%のF1-allエラーを達成していることがわかった。
  論文  参考訳（メタデータ） (2022-07-04T09:05:25Z)
• Shapley-NAS: Discovering Operation Contribution for Neural Architecture Search [96.20505710087392]
  ニューラルアーキテクチャ探索のための演算寄与度(Shapley-NAS)を評価するためのShapley値に基づく手法を提案する。 提案手法は,光探索コストに比例して最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-20T14:41:49Z)
• EmProx: Neural Network Performance Estimation For Neural Architecture Search [0.0]
  本研究では,アーキテクチャを連続的な埋め込み空間にマッピングする新しい手法であるEmProx Scoreを提案する。 次に、その性能が知られているアーキテクチャの埋め込みベクトルに基づいて、重み付けされたkNNを用いて、候補の性能を推定する。 本手法の性能評価は,NAOの精度はNAOの約9倍高速であり,NAOの性能予測値に匹敵する。
  論文  参考訳（メタデータ） (2022-06-13T08:35:52Z)
• Learning Interpretable Models Through Multi-Objective Neural Architecture Search [0.9990687944474739]
  本稿では,タスク性能と「イントロスペクタビリティ」の両方を最適化するフレームワークを提案する。 タスクエラーとイントロスペクタビリティを共同で最適化することは、エラー内で実行されるより不整合でデバッグ可能なアーキテクチャをもたらすことを実証する。
  論文  参考訳（メタデータ） (2021-12-16T05:50:55Z)
• ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
  スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T04:34:24Z)
• Neural Architecture Search For LF-MMI Trained Time Delay Neural Networks [61.76338096980383]
  TDNN(State-of-the-the-art Factored Time delay Neural Network)の2種類のハイパーパラメータを自動的に学習するために、さまざまなニューラルネットワークサーチ(NAS)技術が使用されている。 DARTSメソッドはアーキテクチャ選択とLF-MMI(格子のないMMI)TDNNトレーニングを統合する。 300時間のSwitchboardコーパスで行われた実験では、自動構成システムはベースラインLF-MMI TDNNシステムより一貫して優れていることが示唆された。
  論文  参考訳（メタデータ） (2020-07-17T08:32:11Z)
• Neural Architecture Optimization with Graph VAE [21.126140965779534]
  連続空間におけるネットワークアーキテクチャを最適化するための効率的なNAS手法を提案する。 フレームワークは、エンコーダ、パフォーマンス予測器、複雑性予測器、デコーダの4つのコンポーネントを共同で学習する。
  論文  参考訳（メタデータ） (2020-06-18T07:05:48Z)
• FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
  サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。 高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。 FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
  論文  参考訳（メタデータ） (2020-06-03T05:20:21Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。