論文の概要: AIO-P: Expanding Neural Performance Predictors Beyond Image
Classification
- arxiv url: http://arxiv.org/abs/2211.17228v2
- Date: Mon, 24 Apr 2023 20:07:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-26 23:51:23.206743
- Title: AIO-P: Expanding Neural Performance Predictors Beyond Image
Classification
- Title（参考訳）: AIO-P: 画像分類を超えてニューラルネットワークのパフォーマンス予測を拡張
- Authors: Keith G. Mills, Di Niu, Mohammad Salameh, Weichen Qiu, Fred X. Han,
Puyuan Liu, Jialin Zhang, Wei Lu, Shangling Jui
- Abstract要約: アーキテクチャの例でニューラルネットワーク予測器を事前訓練するための新しいオールインワン予測器(AIO-P)を提案する。
AIO-Pは平均絶対誤差(MAE)とスピアマンランク相関(SRCC)をそれぞれ1%以下と0.5以上で達成できる。
- 参考スコア（独自算出の注目度）: 22.743278613519152
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Evaluating neural network performance is critical to deep neural network
design but a costly procedure. Neural predictors provide an efficient solution
by treating architectures as samples and learning to estimate their performance
on a given task. However, existing predictors are task-dependent, predominantly
estimating neural network performance on image classification benchmarks. They
are also search-space dependent; each predictor is designed to make predictions
for a specific architecture search space with predefined topologies and set of
operations. In this paper, we propose a novel All-in-One Predictor (AIO-P),
which aims to pretrain neural predictors on architecture examples from
multiple, separate computer vision (CV) task domains and multiple architecture
spaces, and then transfer to unseen downstream CV tasks or neural
architectures. We describe our proposed techniques for general graph
representation, efficient predictor pretraining and knowledge infusion
techniques, as well as methods to transfer to downstream tasks/spaces.
Extensive experimental results show that AIO-P can achieve Mean Absolute Error
(MAE) and Spearman's Rank Correlation (SRCC) below 1% and above 0.5,
respectively, on a breadth of target downstream CV tasks with or without
fine-tuning, outperforming a number of baselines. Moreover, AIO-P can directly
transfer to new architectures not seen during training, accurately rank them
and serve as an effective performance estimator when paired with an algorithm
designed to preserve performance while reducing FLOPs.
- Abstract（参考訳）: ニューラルネットワークの性能評価は、ディープニューラルネットワークの設計には不可欠であるが、コストのかかる手順である。
ニューラルネットワーク予測器は、アーキテクチャをサンプルとして扱い、与えられたタスクでパフォーマンスを見積もるために学習することで、効率的なソリューションを提供する。
しかし、既存の予測子はタスク依存であり、主に画像分類ベンチマークでニューラルネットワークのパフォーマンスを推定する。
それぞれの予測子は、事前に定義されたトポロジと操作セットを持つ特定のアーキテクチャ検索空間の予測を行うように設計されている。
本稿では,複数のコンピュータビジョン(CV)タスクドメインと複数のアーキテクチャ空間からニューラルネットワーク予測器を事前学習し,未知の下流CVタスクやニューラルアーキテクチャに移行することを目的とした,新しいAll-in-One Predictor(AIO-P)を提案する。
本稿では,汎用グラフ表現,効率的な予測事前学習,知識注入技術,下流タスク/スペースへの転送手法について述べる。
AIO-Pが平均絶対誤差 (MAE) とスピアマンランク相関 (SRCC) をそれぞれ1%以下, 0.5以上で達成できることを示す実験結果が得られた。
さらに、AIO-Pはトレーニング中に見えない新しいアーキテクチャへ直接移行でき、FLOPを減らしながら性能を維持するために設計されたアルゴリズムと組み合わせることで、それらを正確にランク付けし、効果的な性能推定器として機能する。
関連論文リスト
- POMONAG: Pareto-Optimal Many-Objective Neural Architecture Generator [4.09225917049674]
Transferable NASが登場し、データセット依存からタスク依存への探索プロセスを一般化した。
本稿では多目的拡散プロセスを通じて拡散NAGを拡張するPOMONAGを紹介する。
結果は、NAS201とMobileNetV3の2つの検索スペースで検証され、15の画像分類データセットで評価された。
論文 参考訳（メタデータ） (2024-09-30T16:05:29Z) - FR-NAS: Forward-and-Reverse Graph Predictor for Efficient Neural Architecture Search [10.699485270006601]
ニューラルネットワーク探索のための新しいグラフニューラルネットワーク(GNN)予測器を提案する。
この予測器は、従来のグラフビューと逆グラフビューを組み合わせることで、ニューラルネットワークをベクトル表現に変換する。
実験の結果, 予測精度は3%～16%向上し, 予測精度は有意に向上した。
論文 参考訳（メタデータ） (2024-04-24T03:22:49Z) - Deep Learning Architectures for FSCV, a Comparison [0.0]
適合性は、"out-of-probe"の場合の予測性能、人工的に誘導される電気ノイズに対する応答、与えられたプローブに対してモデルがいつ不完全になるかを予測する能力によって決定される。
深い畳み込みニューラルネットワークであるInceptionTimeアーキテクチャは、テストされたモデルの最高の絶対的な予測性能を持つが、ノイズの影響を受けやすい。
単純多層型パーセプトロンアーキテクチャは2番目に低い予測誤差を有しており、人工ノイズの影響を受けていないため、畳み込みは疑わしいほど重要でない可能性がある。
論文 参考訳（メタデータ） (2022-12-05T00:20:10Z) - Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。
我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。
SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2022-10-23T18:37:22Z) - Towards Theoretically Inspired Neural Initialization Optimization [66.04735385415427]
我々は,ニューラルネットワークの初期状態を評価するための理論的知見を備えた,GradCosineという微分可能な量を提案する。
標準制約下でGradCosineを最大化することにより、ネットワークのトレーニングとテストの両方の性能を向上させることができることを示す。
サンプル分析から実際のバッチ設定に一般化されたNIOは、無視可能なコストで、より優れた初期化を自動で探すことができる。
論文 参考訳（メタデータ） (2022-10-12T06:49:16Z) - FlowNAS: Neural Architecture Search for Optical Flow Estimation [65.44079917247369]
本研究では,フロー推定タスクにおいて,より優れたエンコーダアーキテクチャを自動で見つけるために,FlowNASというニューラルアーキテクチャ探索手法を提案する。
実験の結果、スーパーネットワークから受け継いだ重み付きアーキテクチャは、KITTI上で4.67%のF1-allエラーを達成していることがわかった。
論文 参考訳（メタデータ） (2022-07-04T09:05:25Z) - SCAI: A Spectral data Classification framework with Adaptive Inference
for the IoT platform [0.0]
適応推論を用いたスペクトルデータ分類フレームワークを提案する。
具体的には、異なるデバイス間のコラボレーションをよりよく活用しながら、異なるサンプルに対して異なる計算を割り当てる。
我々の知る限り、この論文はIoTプラットフォーム下でのスペクトル検出のための適応推論による最適化を行うための最初の試みである。
論文 参考訳（メタデータ） (2022-06-24T09:22:52Z) - RANK-NOSH: Efficient Predictor-Based Architecture Search via Non-Uniform
Successive Halving [74.61723678821049]
予算の浪費を回避するため,早期に性能の低いアーキテクチャのトレーニングを終了する階層的スケジューリングアルゴリズムであるNOn-uniform Successive Halving (NOSH)を提案する。
予測器に基づくアーキテクチャ探索をペア比較でランク付けする学習として定式化する。
その結果、RANK-NOSHは検索予算を5倍に削減し、様々な空間やデータセットにおける従来の最先端予測手法よりも、競争力やパフォーマンスの向上を実現した。
論文 参考訳（メタデータ） (2021-08-18T07:45:21Z) - FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。
高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。
FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
論文 参考訳（メタデータ） (2020-06-03T05:20:21Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳（メタデータ） (2020-05-14T09:02:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。