論文の概要: Training-free Neural Architecture Search for RNNs and Transformers

• arxiv url: http://arxiv.org/abs/2306.00288v1
• Date: Thu, 1 Jun 2023 02:06:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 18:40:28.340443
• Title: Training-free Neural Architecture Search for RNNs and Transformers
• Title（参考訳）: RNNと変圧器の学習不要ニューラルネットワーク探索
• Authors: Aaron Serianni (Princeton University), Jugal Kalita (University of Colorado at Colorado Springs)
• Abstract要約: 我々は、RNNアーキテクチャのトレーニング性能を予測する、隠れ共分散と呼ばれる新しいトレーニングフリーメトリックを開発した。 トランスフォーマーアーキテクチャの現在の検索空間パラダイムは、トレーニング不要なニューラルアーキテクチャサーチに最適化されていない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural architecture search (NAS) has allowed for the automatic creation of new and effective neural network architectures, offering an alternative to the laborious process of manually designing complex architectures. However, traditional NAS algorithms are slow and require immense amounts of computing power. Recent research has investigated training-free NAS metrics for image classification architectures, drastically speeding up search algorithms. In this paper, we investigate training-free NAS metrics for recurrent neural network (RNN) and BERT-based transformer architectures, targeted towards language modeling tasks. First, we develop a new training-free metric, named hidden covariance, that predicts the trained performance of an RNN architecture and significantly outperforms existing training-free metrics. We experimentally evaluate the effectiveness of the hidden covariance metric on the NAS-Bench-NLP benchmark. Second, we find that the current search space paradigm for transformer architectures is not optimized for training-free neural architecture search. Instead, a simple qualitative analysis can effectively shrink the search space to the best performing architectures. This conclusion is based on our investigation of existing training-free metrics and new metrics developed from recent transformer pruning literature, evaluated on our own benchmark of trained BERT architectures. Ultimately, our analysis shows that the architecture search space and the training-free metric must be developed together in order to achieve effective results.
• Abstract（参考訳）: ニューラルネットワーク検索(NAS)は、新しい効果的なニューラルネットワークアーキテクチャの自動生成を可能にし、複雑なアーキテクチャを手動で設計する面倒なプロセスに代わるものだ。 しかし、従来のNASアルゴリズムは遅く、膨大な計算能力を必要とする。 最近の研究では、画像分類アーキテクチャのトレーニングフリーnasメトリクスを調査し、検索アルゴリズムを劇的に高速化している。 本稿では,言語モデリングタスクを対象としたリカレントニューラルネットワーク(RNN)とBERTベースのトランスフォーマーアーキテクチャのトレーニングフリーNASメトリクスについて検討する。 まず、RNNアーキテクチャのトレーニング性能を予測し、既存のトレーニングフリーメトリクスを著しく上回る、隠れ共分散と呼ばれる新しいトレーニングフリーメトリックを開発する。 NAS-Bench-NLPベンチマークにおける隠れ共分散測定の有効性を実験的に評価した。 第二に、トランスフォーマーアーキテクチャの現在の検索空間パラダイムは、トレーニング不要なニューラルアーキテクチャサーチに最適化されていない。 代わりに、単純な定性解析は、検索空間を効果的に最適なアーキテクチャに縮小することができる。 この結論は、既存のトレーニングフリーメトリクスと、最近のトランスフォーマープルーニング文献から開発された新しいメトリクスについて、我々のトレーニングされたBERTアーキテクチャのベンチマークに基づいて検討した。 分析の結果,実効性を得るためには,アーキテクチャ検索空間と学習自由度を併用しなければならないことがわかった。

関連論文リスト

• Efficient Multi-Objective Neural Architecture Search via Pareto Dominance-based Novelty Search [0.0]
  Neural Architecture Search (NAS)は、高性能なディープニューラルネットワークアーキテクチャの発見を自動化することを目的としている。 従来のNASアプローチは一般的に、興味深いネットワーク構成を含む可能性のあるアーキテクチャ検索空間の大部分を見下ろす特定のパフォーマンス指標(例えば予測精度)を最適化する。 本稿では,Multiple Training-Free Metrics (MTF-PDNS) を用いた多目的NASの新しい検索手法を提案する。
  論文  参考訳（メタデータ） (2024-07-30T08:52:10Z)
• A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
  ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。 NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。 SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-22T12:46:22Z)
• TG-NAS: Leveraging Zero-Cost Proxies with Transformer and Graph Convolution Networks for Efficient Neural Architecture Search [1.30891455653235]
  TG-NASは、アーキテクチャのパフォーマンス予測のためのトレーニング不要プロキシを作成することを目的としている。 TG-NASはトランスフォーマーベースの演算子埋め込みジェネレータとグラフ畳み込みネットワーク(GCN)を利用してアーキテクチャ性能を予測する新しいモデルベースユニバーサルプロキシである。 TG-NASは従来のSOTA ZCプロキシ手法に比べて最大300倍の検索効率向上を実現している。
  論文  参考訳（メタデータ） (2024-03-30T07:25:30Z)
• Robustifying and Boosting Training-Free Neural Architecture Search [49.828875134088904]
  本稿では,多種多様なタスクにおいて,頑健で一貫したパフォーマンスの指標を開発するために,トレーニング不要なNAS (RoBoT) アルゴリズムを提案する。 注目すべきは、我々のRoBoTの期待性能が理論的に保証され、既存のトレーニングフリーNASよりも改善されることだ。
  論文  参考訳（メタデータ） (2024-03-12T12:24:11Z)
• DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit CNNs [53.82853297675979]
  バイナリ重みとアクティベーションを備えた1ビット畳み込みニューラルネットワーク(CNN)は、リソース制限された組み込みデバイスの可能性を示している。 自然なアプローチの1つは、NASの計算とメモリコストを削減するために1ビットCNNを使用することである。 本稿では,1ビットCNNを効率的に探索するためにDCP-NAS(Disrepant Child-Parent Neural Architecture Search)を提案する。
  論文  参考訳（メタデータ） (2023-06-27T11:28:29Z)
• Neural Architecture Search for Speech Emotion Recognition [72.1966266171951]
  本稿では,SERモデルの自動構成にニューラルアーキテクチャサーチ(NAS)技術を適用することを提案する。 NASはモデルパラメータサイズを維持しながらSER性能(54.89%から56.28%)を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-03-31T10:16:10Z)
• Demystifying the Neural Tangent Kernel from a Practical Perspective: Can it be trusted for Neural Architecture Search without training? [37.29036906991086]
  本研究では,ニューラルタンジェントカーネル(NTK)から導出できるいくつかの初期化指標を再検討する。 現代のニューラルアーキテクチャは、高い非線形特性を示しており、NTKベースのメトリクスは、ある程度のトレーニングを伴わずに、アーキテクチャのパフォーマンスを確実に見積もることができる。 これはNTKに基づく新しい計量であり、その固有な定式化により、現代のニューラルアーキテクチャに存在する多くの非線形優位性を捉えることができる。
  論文  参考訳（メタデータ） (2022-03-28T08:43:04Z)
• Learning Interpretable Models Through Multi-Objective Neural Architecture Search [0.9990687944474739]
  本稿では,タスク性能と「イントロスペクタビリティ」の両方を最適化するフレームワークを提案する。 タスクエラーとイントロスペクタビリティを共同で最適化することは、エラー内で実行されるより不整合でデバッグ可能なアーキテクチャをもたらすことを実証する。
  論文  参考訳（メタデータ） (2021-12-16T05:50:55Z)
• Conceptual Expansion Neural Architecture Search (CENAS) [1.3464152928754485]
  概念拡張ニューラルアーキテクチャサーチ(CENAS)という手法を提案する。 サンプル効率が高く、計算的創造性にインスパイアされたトランスファーラーニングアプローチとニューラルアーキテクチャサーチを組み合わせたものだ。 新しいモデルのパラメータを近似するために、既存の重みを転送することで、素早いアーキテクチャ探索よりも高速なモデルを見つける。
  論文  参考訳（メタデータ） (2021-10-07T02:29:26Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。