論文の概要: Accuracy Prediction for NAS Acceleration using Feature Selection and Extrapolation

• arxiv url: http://arxiv.org/abs/2211.12419v1
• Date: Tue, 22 Nov 2022 17:27:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 17:08:39.000499
• Title: Accuracy Prediction for NAS Acceleration using Feature Selection and Extrapolation
• Title（参考訳）: 特徴選択と外挿によるNAS加速の精度予測
• Authors: Tal Hakim
• Abstract要約: 候補となるニューラルネットワークの精度を予測することは、NASベースのソリューションの重要な能力である。 特徴選択により回帰精度を向上する一方で,回帰アルゴリズムの評価も行う。 この研究で使用された拡張データセットとコードはNAAP-440リポジトリで公開されている。
• 参考スコア（独自算出の注目度）: 1.2183405753834562
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Predicting the accuracy of candidate neural architectures is an important capability of NAS-based solutions. When a candidate architecture has properties that are similar to other known architectures, the prediction task is rather straightforward using off-the-shelf regression algorithms. However, when a candidate architecture lies outside of the known space of architectures, a regression model has to perform extrapolated predictions, which is not only a challenging task, but also technically impossible using the most popular regression algorithm families, which are based on decision trees. In this work, we are trying to address two problems. The first one is improving regression accuracy using feature selection, whereas the other one is the evaluation of regression algorithms on extrapolating accuracy prediction tasks. We extend the NAAP-440 dataset with new tabular features and introduce NAAP-440e, which we use for evaluation. We observe a dramatic improvement from the old baseline, namely, the new baseline requires 3x shorter training processes of candidate architectures, while maintaining the same mean-absolute-error and achieving almost 2x fewer monotonicity violations, compared to the old baseline's best reported performance. The extended dataset and code used in the study have been made public in the NAAP-440 repository.
• Abstract（参考訳）: 候補となるニューラルネットワークの精度を予測することは、NASベースのソリューションの重要な能力である。 候補アーキテクチャが他の既知のアーキテクチャと類似した特性を持つ場合、予測タスクは既存の回帰アルゴリズムを使用して比較的単純である。 しかし、候補アーキテクチャが既知のアーキテクチャの空間外にある場合、回帰モデルは外挿予測を実行する必要があり、これは困難なタスクであるだけでなく、決定木に基づく最も一般的な回帰アルゴリズムファミリを使用して技術的に不可能である。 この作業では、2つの問題に対処しようとしています。 1つは特徴選択による回帰精度の向上であり、もう1つは精度予測タスクの補間における回帰アルゴリズムの評価である。 NAAP-440データセットを新しい表構造で拡張し、評価に使用するNAAP-440eを導入する。 従来のベースラインと比較して,従来のベースラインに比べて,平均絶対誤差を維持しつつ,約2倍のモノトニック性違反を達成しながら,新しいベースラインでは候補アーキテクチャの3倍のトレーニングプロセスが要求されるという劇的な改善が観察された。 この研究で使用された拡張データセットとコードはNAAP-440リポジトリで公開されている。

関連論文リスト

• OPUS: Occupancy Prediction Using a Sparse Set [64.60854562502523]
  学習可能なクエリの集合を用いて、占有された場所とクラスを同時に予測するフレームワークを提案する。 OPUSには、モデルパフォーマンスを高めるための非自明な戦略が組み込まれている。 最も軽量なモデルではOcc3D-nuScenesデータセットの2倍 FPS に優れたRayIoUが得られる一方、最も重いモデルは6.1 RayIoUを上回ります。
  論文  参考訳（メタデータ） (2024-09-14T07:44:22Z)
• Evaluating Graph Neural Networks for Link Prediction: Current Pitfalls and New Benchmarking [66.83273589348758]
  リンク予測は、グラフのエッジの一部のみに基づいて、目に見えないエッジが存在するかどうかを予測しようとする。 近年,この課題にグラフニューラルネットワーク(GNN)を活用すべく,一連の手法が導入されている。 これらの新しいモデルの有効性をよりよく評価するために、新しい多様なデータセットも作成されている。
  論文  参考訳（メタデータ） (2023-06-18T01:58:59Z)
• NAAP-440 Dataset and Baseline for Neural Architecture Accuracy Prediction [1.2183405753834562]
  440のニューラルアーキテクチャのNAAP-440データセットを導入し、CIFAR10で定型レシピを用いてトレーニングした。 実験では、既製の回帰アルゴリズムを使用してトレーニングプロセスの最大10%を実行することで、アーキテクチャの精度を正確に予測できるだけでなく、より正確に予測できることが示されている。 このアプローチはNASベースの研究を加速するための強力なツールとなり、それによってその効率が劇的に向上する。
  論文  参考訳（メタデータ） (2022-09-14T13:21:39Z)
• A Hybrid Framework for Sequential Data Prediction with End-to-End Optimization [0.0]
  オンライン環境での非線形予測について検討し,手作業による特徴や手作業によるモデル選択の問題を効果的に緩和するハイブリッドモデルを提案する。 逐次データからの適応的特徴抽出にはLSTM(Recurrent Neural Network)、効果的な教師付き回帰には勾配強化機構(soft GBDT)を用いる。 本稿では, 合成データに対するアルゴリズムの学習挙動と, 各種実生活データセットに対する従来の手法による性能改善について述べる。
  論文  参考訳（メタデータ） (2022-03-25T17:13:08Z)
• Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient for Out-of-Distribution Generalization [52.7137956951533]
  既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。 本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。 自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
  論文  参考訳（メタデータ） (2022-02-14T16:42:16Z)
• Learning to Fit Morphable Models [12.469605679847085]
  学習最適化の最近の進歩の上に構築し、古典的なレバンス・マルカルトアルゴリズムに触発された更新ルールを提案する。 本稿では,頭部装着装置による3次元体表面推定問題と2次元ランドマークによる顔の嵌合性に対するニューラルネットワークの有効性を示す。
  論文  参考訳（メタデータ） (2021-11-29T18:59:53Z)
• Backward-Compatible Prediction Updates: A Probabilistic Approach [12.049279991559091]
  本稿では,予測更新問題を定式化し,上記の質問に対する効率的な確率的アプローチを提案する。 標準分類ベンチマークデータセットの広範な実験において,提案手法は後方互換性のある予測更新のための代替戦略よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-02T13:05:31Z)
• Confidence Adaptive Anytime Pixel-Level Recognition [86.75784498879354]
  任意の時間推論は、いつでも停止される可能性のある予測の進行を行うモデルを必要とする。 我々は,任意のピクセルレベルの認識に対して,最初の統一とエンドツーエンドのモデルアプローチを提案する。
  論文  参考訳（メタデータ） (2021-04-01T20:01:57Z)
• Streaming Linear System Identification with Reverse Experience Replay [45.17023170054112]
  本稿では,線形時間不変(LTI)力学系を,ストリーミングアルゴリズムによる単一軌道から推定する問題を考察する。 強化学習(RL)で遭遇する多くの問題において、勾配オラクルを用いて囲碁上のパラメータを推定することが重要である。 本稿では,RL文学で人気のある経験リプレイ(ER)技術に触発された小説SGD with Reverse Experience Replay (SGD-RER)を提案する。
  論文  参考訳（メタデータ） (2021-03-10T06:51:55Z)
• Weak NAS Predictors Are All You Need [91.11570424233709]
  最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。 私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。 NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-02-21T01:58:43Z)
• Accuracy Prediction with Non-neural Model for Neural Architecture Search [185.0651567642238]
  精度予測に非神経モデルを用いる別の手法について検討する。 我々は、ニューラルネットワーク探索(NAS)の予測因子として、勾配向上決定木(GBDT)を活用する。 NASBench-101とImageNetの実験は、NASの予測器としてGBDTを使用することの有効性を示した。
  論文  参考訳（メタデータ） (2020-07-09T13:28:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。