論文の概要: Neural Architecture Search of SPD Manifold Networks

• arxiv url: http://arxiv.org/abs/2010.14535v4
• Date: Sun, 13 Jun 2021 21:24:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 10:55:49.908593
• Title: Neural Architecture Search of SPD Manifold Networks
• Title（参考訳）: SPDマニフォールドネットワークのニューラルネットワーク探索
• Authors: Rhea Sanjay Sukthanker, Zhiwu Huang, Suryansh Kumar, Erik Goron Endsjo, Yan Wu, Luc Van Gool
• Abstract要約: 本研究では,Symmetric Positive Definite (SPD) 多様体ネットワークのニューラルアーキテクチャ探索(NAS)問題を提案する。 まず、効率的なSPDセル設計のために、幾何学的にリッチで多様なSPDニューラルアーキテクチャ探索空間を導入する。 我々は、SPDニューラルアーキテクチャ探索のための緩和された連続探索空間上で微分可能なNASアルゴリズムを利用する。
• 参考スコア（独自算出の注目度）: 79.45110063435617
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a new neural architecture search (NAS) problem of Symmetric Positive Definite (SPD) manifold networks, aiming to automate the design of SPD neural architectures. To address this problem, we first introduce a geometrically rich and diverse SPD neural architecture search space for an efficient SPD cell design. Further, we model our new NAS problem with a one-shot training process of a single supernet. Based on the supernet modeling, we exploit a differentiable NAS algorithm on our relaxed continuous search space for SPD neural architecture search. Statistical evaluation of our method on drone, action, and emotion recognition tasks mostly provides better results than the state-of-the-art SPD networks and traditional NAS algorithms. Empirical results show that our algorithm excels in discovering better performing SPD network design and provides models that are more than three times lighter than searched by the state-of-the-art NAS algorithms.
• Abstract（参考訳）: 本稿では,SPDニューラルネットワークの設計を自動化することを目的とした,Symmetric Positive Definite(SPD)多様体ネットワークのニューラルアーキテクチャ探索(NAS)問題を提案する。 この問題に対処するために,我々はまず,効率的なSPDセル設計のために,幾何学的にリッチで多様なSPDニューラルアーキテクチャ探索空間を導入する。 さらに,1つのスーパーネットのワンショットトレーニングプロセスを用いて新しいNAS問題をモデル化する。 スーパーネットモデリングに基づいて,spdニューラルアーキテクチャ探索のためのゆるやかに連続した検索空間上で,微分可能なnasアルゴリズムを活用した。 ドローン,行動,感情認識タスクにおける我々の手法の統計的評価は,現状のSPDネットワークや従来のNASアルゴリズムよりも優れた結果をもたらす。 実験の結果,本アルゴリズムはspdネットワークの設計性能の向上に優れ,最先端のnasアルゴリズムによる検索よりも3倍以上軽量なモデルを提供することがわかった。

関連論文リスト

• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit CNNs [53.82853297675979]
  バイナリ重みとアクティベーションを備えた1ビット畳み込みニューラルネットワーク(CNN)は、リソース制限された組み込みデバイスの可能性を示している。 自然なアプローチの1つは、NASの計算とメモリコストを削減するために1ビットCNNを使用することである。 本稿では,1ビットCNNを効率的に探索するためにDCP-NAS(Disrepant Child-Parent Neural Architecture Search)を提案する。
  論文  参考訳（メタデータ） (2023-06-27T11:28:29Z)
• GPT-NAS: Evolutionary Neural Architecture Search with the Generative Pre-Trained Model [25.187467297581073]
  この研究は、GPT(Generative Pre-Trained)モデルによってニューラルネットワークを最適化する、GPT-NASと呼ばれる新しいアーキテクチャ探索アルゴリズムを提案する。 GPT-NASでは、大規模コーパスで事前学習した生成モデルが、ニューラルネットワーク構築の基本法則を学習できると仮定する。 GPT-NAS法は7つの手動設計ニューラルアーキテクチャと競合NAS法によって提供される13のアーキテクチャを著しく上回っている。
  論文  参考訳（メタデータ） (2023-05-09T11:29:42Z)
• SpiderNet: Hybrid Differentiable-Evolutionary Architecture Search via Train-Free Metrics [0.0]
  ニューラルネットワーク探索(NAS)アルゴリズムは、手動ニューラルネットワーク設計の負担を取り除くことを意図している。 NASアルゴリズムは、発見できる様々なネットワークを制限する、ユーザ構成やハードコード決定の形で、さまざまな設計パラメータを必要とする。 我々は,最先端ネットワークを迅速かつ効率的に生成する,ハイブリッドな微分可能・進化型・ハードウェア対応アルゴリズムであるSpiderNetを提案する。
  論文  参考訳（メタデータ） (2022-04-20T08:55:01Z)
• D-DARTS: Distributed Differentiable Architecture Search [75.12821786565318]
  微分可能なArchiTecture Search(DARTS)は、最も流行しているニューラルネットワークサーチ(NAS)の1つである。 セルレベルで複数のニューラルネットワークをネストすることでこの問題に対処する新しいソリューションD-DARTSを提案する。
  論文  参考訳（メタデータ） (2021-08-20T09:07:01Z)
• Poisoning the Search Space in Neural Architecture Search [0.0]
  我々は,探索空間におけるデータ中毒攻撃に対して,効率的なNASと呼ばれるアルゴリズムのロバスト性を評価する。 以上の結果から,NASを用いたアーキテクチャ探索の課題に対する洞察が得られた。
  論文  参考訳（メタデータ） (2021-06-28T05:45:57Z)
• Search to aggregate neighborhood for graph neural network [47.47628113034479]
  そこで本研究では,データ固有のGNNアーキテクチャを自動的に設計するためのフレームワークとして,SANE(Search to Aggregate NEighborhood)を提案する。 新規で表現力のある検索空間を設計することにより,従来の強化学習法よりも効率的である微分可能な探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-14T03:15:19Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)
• NPENAS: Neural Predictor Guided Evolution for Neural Architecture Search [9.038625856798227]
  ニューラルアーキテクチャ探索(NAS)におけるEAの探索能力を高めるためのニューラル予測器誘導進化アルゴリズムを提案する。 NPENAS-BOとNPENAS-NPは、既存のNASアルゴリズムよりも優れている。
  論文  参考訳（メタデータ） (2020-03-28T17:56:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。