論文の概要: Entropic Score metric: Decoupling Topology and Size in Training-free NAS

• arxiv url: http://arxiv.org/abs/2310.04179v1
• Date: Fri, 6 Oct 2023 11:49:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-09 18:53:04.183389
• Title: Entropic Score metric: Decoupling Topology and Size in Training-free NAS
• Title（参考訳）: エントロピースコアメトリクス:トレーニングフリーnasにおけるトポロジーとサイズの分離
• Authors: Niccol\`o Cavagnero, Luca Robbiano, Francesca Pistilli, Barbara Caputo, Giuseppe Averta
• Abstract要約: 本稿では,そのアクティベーションの集約的要素ワイドエントロピーを通じてモデル表現率を推定するために,Entropic Score という新しいトレーニング自由度指標を提案する。 LogSynflowと適切な組み合わせにより、モデルサイズを探索し、1GPU時間未満でエッジアプリケーション用の高性能ハイブリッドトランスフォーマーを完全に設計する能力が向上する。
• 参考スコア（独自算出の注目度）: 18.804303642485895
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Networks design is a complex and often daunting task, particularly for resource-constrained scenarios typical of mobile-sized models. Neural Architecture Search is a promising approach to automate this process, but existing competitive methods require large training time and computational resources to generate accurate models. To overcome these limits, this paper contributes with: i) a novel training-free metric, named Entropic Score, to estimate model expressivity through the aggregated element-wise entropy of its activations; ii) a cyclic search algorithm to separately yet synergistically search model size and topology. Entropic Score shows remarkable ability in searching for the topology of the network, and a proper combination with LogSynflow, to search for model size, yields superior capability to completely design high-performance Hybrid Transformers for edge applications in less than 1 GPU hour, resulting in the fastest and most accurate NAS method for ImageNet classification.
• Abstract（参考訳）: ニューラルネットワークの設計は複雑で、特にモバイルサイズのモデルに典型的なリソース制約のあるシナリオの場合、しばしば厄介な作業である。 Neural Architecture Searchは、このプロセスを自動化するための有望なアプローチであるが、既存の競合手法では、正確なモデルを生成するために、大規模なトレーニング時間と計算資源を必要とする。 これらの限界を克服するために、本稿は次のように貢献する。 一 エントロピースコアという、そのアクティベーションの集約された要素のエントロピーを通じてモデル表現率を推定する新規な訓練なし計量 二 モデルのサイズ及びトポロジーを別々に、かつ相乗的に検索するための巡回探索アルゴリズム。 エントロピックスコア(Entropic Score)は,ネットワークのトポロジを探索する優れた能力を示し,モデルサイズを探索するLogSynflowと適切な組み合わせによって,エッジアプリケーション用の高性能ハイブリッドトランスフォーマーを1GPU時間以内で完全に設計する能力が向上し,イメージネット分類における最も高速かつ高精度なNAS法が実現された。

関連論文リスト

• Efficient Training of Deep Neural Operator Networks via Randomized Sampling [0.0]
  ディープオペレータネットワーク(DeepNet)は、様々な科学的・工学的応用における複雑な力学のリアルタイム予測に成功している。 本稿では,DeepONetのトレーニングを取り入れたランダムサンプリング手法を提案する。 実験の結果,訓練中にトランクネットワーク入力にランダム化を組み込むことで,DeepONetの効率性と堅牢性が向上し,複雑な物理系のモデリングにおけるフレームワークの性能向上に期待できる道筋が得られた。
  論文  参考訳（メタデータ） (2024-09-20T07:18:31Z)
• NAR-Former: Neural Architecture Representation Learning towards Holistic Attributes Prediction [37.357949900603295]
  本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。 実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
  論文  参考訳（メタデータ） (2022-11-15T10:15:21Z)
• FlowNAS: Neural Architecture Search for Optical Flow Estimation [65.44079917247369]
  本研究では,フロー推定タスクにおいて,より優れたエンコーダアーキテクチャを自動で見つけるために,FlowNASというニューラルアーキテクチャ探索手法を提案する。 実験の結果、スーパーネットワークから受け継いだ重み付きアーキテクチャは、KITTI上で4.67%のF1-allエラーを達成していることがわかった。
  論文  参考訳（メタデータ） (2022-07-04T09:05:25Z)
• FreeREA: Training-Free Evolution-based Architecture Search [17.202375422110553]
  FreeREAは、トレーニングなしメトリクスの最適化組み合わせを利用してアーキテクチャをランク付けする、独自のセルベースの進化NASアルゴリズムである。 本実験はNAS-Bench-101とNATS-Benchの共通ベンチマークを用いて,フリーレアがモデル自動設計のための高速で効率的かつ効果的な探索手法であることを実証した。
  論文  参考訳（メタデータ） (2022-06-17T11:16:28Z)
• CONetV2: Efficient Auto-Channel Size Optimization for CNNs [35.951376988552695]
  本研究は,チャネルサイズのマイクロサーチ空間を調べることにより,計算制約のある環境において効率的な手法を提案する。 チャネルサイズ最適化に際し、ネットワークの異なる接続層内の依存関係を抽出する自動アルゴリズムを設計する。 また、テスト精度と高い相関性を持ち、個々のネットワーク層を解析できる新しいメトリクスも導入する。
  論文  参考訳（メタデータ） (2021-10-13T16:17:19Z)
• Efficient Model Performance Estimation via Feature Histories [27.008927077173553]
  ニューラルネットワーク設計のタスクにおける重要なステップは、モデルの性能を評価することである。 この研究では、トレーニングの初期段階におけるネットワークの機能の進化履歴を使用して、プロキシ分類器を構築します。 本手法は,複数の探索アルゴリズムと組み合わせ,より幅広いタスクに対するより良い解を見つけることができることを示す。
  論文  参考訳（メタデータ） (2021-03-07T20:41:57Z)
• Progressive Spatio-Temporal Graph Convolutional Network for Skeleton-Based Human Action Recognition [97.14064057840089]
  本稿では,グラフ畳み込みネットワークのためのコンパクトで問題固有のネットワークを,段階的に自動的に見つける手法を提案する。 骨格に基づく人体行動認識のための2つのデータセットの実験結果から,提案手法は競争力あるいはより優れた分類性能を有することが示された。
  論文  参考訳（メタデータ） (2020-11-11T09:57:49Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。