論文の概要: Data Aware Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2304.01821v1
• Date: Tue, 4 Apr 2023 14:20:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-05 13:40:23.753487
• Title: Data Aware Neural Architecture Search
• Title（参考訳）: データ認識ニューラルアーキテクチャ探索
• Authors: Emil Njor, Jan Madsen, Xenofon Fafoutis
• Abstract要約: 機械学習では、NNアーキテクチャを評価するのに1つのメトリクスだけでは不十分である。 資源制約システムのためのNASに関する最近の研究は、複数のメトリクスを最適化するための様々なアプローチについて研究している。 このようなシステムに“Data Aware NAS”と命名し,そのメリットを示す実験的な証拠を提供する。
• 参考スコア（独自算出の注目度）: 0.12891210250935145
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Architecture Search (NAS) is a popular tool for automatically generating Neural Network (NN) architectures. In early NAS works, these tools typically optimized NN architectures for a single metric, such as accuracy. However, in the case of resource constrained Machine Learning, one single metric is not enough to evaluate a NN architecture. For example, a NN model achieving a high accuracy is not useful if it does not fit inside the flash memory of a given system. Therefore, recent works on NAS for resource constrained systems have investigated various approaches to optimize for multiple metrics. In this paper, we propose that, on top of these approaches, it could be beneficial for NAS optimization of resource constrained systems to also consider input data granularity. We name such a system "Data Aware NAS", and we provide experimental evidence of its benefits by comparing it to traditional NAS.
• Abstract（参考訳）: Neural Architecture Search(NAS)は、ニューラルネットワーク(NN)アーキテクチャを自動生成する一般的なツールである。 初期のNAS作業では、これらのツールは通常、精度などの単一のメトリクスに対してNNアーキテクチャを最適化する。 しかし、リソース制約のある機械学習の場合、NNアーキテクチャを評価するのに1つのメトリクスだけでは不十分である。 例えば、高い精度を達成するnnモデルは、与えられたシステムのフラッシュメモリ内に収まらない場合、役に立たない。 そのため、リソース制約付きシステムのためのnasに関する最近の研究は、複数のメトリクスを最適化するための様々なアプローチを調査している。 本稿では,これらの手法を用いて,資源制約付きシステムのNAS最適化により,入力データの粒度も考慮できる可能性が示唆された。 我々はこのようなシステムに「データ認識NAS(Data Aware NAS)」と命名し、従来のNASと比較することによってその利点を実証する。

関連論文リスト

• Fair Differentiable Neural Network Architecture Search for Long-Tailed Data with Self-Supervised Learning [0.0]
  本稿では,NASの長期化データセットにおける探索・訓練性能の向上について検討する。 まず、NASに関する関連する研究と、長い尾を持つデータセットに対するディープラーニング手法について論じる。 次に、自己教師付き学習と公正な差別化可能なNASを統合したSSF-NASと呼ばれる既存の研究に焦点を当てる。 最後に,性能評価のためのCIFAR10-LTデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2024-06-19T12:39:02Z)
• DiffusionNAG: Predictor-guided Neural Architecture Generation with Diffusion Models [56.584561770857306]
  本研究では拡散モデルに基づく新しい条件付きニューラルネットワーク生成(NAG)フレームワークDiffusionNAGを提案する。 具体的には、ニューラルネットワークを有向グラフとみなし、それらを生成するためのグラフ拡散モデルを提案する。 本研究では,2つの予測型NAS(Transferable NAS)とベイズ最適化(BO)に基づくNAS(Bayesian Optimization)の2つのシナリオにおいて,DiffusionNAGの有効性を検証する。 BOベースのアルゴリズムに統合されると、DiffusionNAGは既存のBOベースのNASアプローチ、特にImageNet 1Kデータセット上の大規模なMobileNetV3検索スペースよりも優れている。
  論文  参考訳（メタデータ） (2023-05-26T13:58:18Z)
• NASiam: Efficient Representation Learning using Neural Architecture Search for Siamese Networks [76.8112416450677]
  シームズネットワークは、自己教師付き視覚表現学習(SSL)を実現するための最も傾向のある方法の1つである。 NASiamは、初めて微分可能なNASを使用して、多層パーセプトロンプロジェクタと予測器(エンコーダ/予測器ペア)を改善する新しいアプローチである。 NASiamは、小規模(CIFAR-10/CIFAR-100)と大規模(画像Net)画像分類データセットの両方で競合性能を達成し、わずか数GPU時間しかかからない。
  論文  参考訳（メタデータ） (2023-01-31T19:48:37Z)
• Generalization Properties of NAS under Activation and Skip Connection Search [66.8386847112332]
  ニューラルネットワーク探索(NAS)の一般化特性を統一的枠組みの下で検討する。 我々は, 有限幅政権下でのニューラル・タンジェント・カーネル(NTK)の最小固有値の下(および上)境界を導出する。 トレーニングなしでもNASがトップパフォーマンスアーキテクチャを選択する方法を示す。
  論文  参考訳（メタデータ） (2022-09-15T12:11:41Z)
• UnrealNAS: Can We Search Neural Architectures with Unreal Data? [84.78460976605425]
  ニューラルアーキテクチャサーチ(NAS)はディープニューラルネットワーク(DNN)の自動設計において大きな成功を収めた。 これまでの研究は、NASに地道ラベルを持つことの必要性を分析し、幅広い関心を喚起した。 NASが有効であるためには、実際のデータが必要であるかどうか、さらに疑問を呈する。
  論文  参考訳（メタデータ） (2022-05-04T16:30:26Z)
• U-Boost NAS: Utilization-Boosted Differentiable Neural Architecture Search [50.33956216274694]
  ターゲットプラットフォームにおけるリソース利用の最適化は、DNN推論時に高いパフォーマンスを達成するための鍵となる。 本稿では,タスクの正確性や推論遅延を最適化するだけでなく,資源利用のためのハードウェア対応NASフレームワークを提案する。 我々は,従来のハードウェア対応NAS法と比較して,DNN推論の2.8～4倍の高速化を実現している。
  論文  参考訳（メタデータ） (2022-03-23T13:44:15Z)
• PEng4NN: An Accurate Performance Estimation Engine for Efficient Automated Neural Network Architecture Search [0.0]
  ニューラルネットワーク(NN)モデルは、科学シミュレーションやAI、その他の高性能コンピューティング分野でますます利用されている。 NASは、NN機能をキャプチャする主要なメトリクスによってパフォーマンスが測定される特殊なダットセットに対して、優れたパフォーマンスのNNモデルを見つけようとする。 本稿では,NNのトレーニングリソースを削減し,NASスループットを向上する性能推定手法を提案する。
  論文  参考訳（メタデータ） (2021-01-11T20:49:55Z)
• AdvantageNAS: Efficient Neural Architecture Search with Credit Assignment [23.988393741948485]
  ワンショット・スパース伝播NAS(AdvantageNAS)の新たな探索戦略を提案する。 アドバンテージNASは、アーキテクチャ更新の勾配推定にクレジット割り当てを導入することで検索効率を向上させるグラデーションベースのアプローチです。 NAS-Bench-201およびPTBデータセットの実験は、AdvantageNASが限られた時間予算でより高いパフォーマンスのアーキテクチャを発見することを示しています。
  論文  参考訳（メタデータ） (2020-12-11T05:45:03Z)
• Direct Federated Neural Architecture Search [0.0]
  本稿では,ハードウェアに依存せず,計算的に軽量な直接フェデレーションNASと,準備の整ったニューラルネットワークモデルを探すためのワンステージ手法を提案する。 以上の結果から, 従来技術の精度向上を図りながら, 資源消費の大幅な削減を図った。
  論文  参考訳（メタデータ） (2020-10-13T08:11:35Z)
• Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
  バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。 9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
  論文  参考訳（メタデータ） (2020-09-08T15:51:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。