論文の概要: Learning Morphisms with Gauss-Newton Approximation for Growing Networks

• arxiv url: http://arxiv.org/abs/2411.05855v1
• Date: Thu, 07 Nov 2024 01:12:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:13:08.277354
• Title: Learning Morphisms with Gauss-Newton Approximation for Growing Networks
• Title（参考訳）: ガウスニュートン近似を用いた成長ネットワークの学習形態
• Authors: Neal Lawton, Aram Galstyan, Greg Ver Steeg,
• Abstract要約: ニューラル・アーキテクチャ・サーチ(NAS)の一般的な手法は、ネットワーク・アソシエーション(英語版)と呼ばれるネットワークのアーキテクチャへの小さな局所的な変更を通じてネットワークを成長させることに基づいている。 本稿では、損失関数のガウス・ニュートン近似を用いてネットワーク成長のためのNAS法を提案し、ネットワークの候補型を効率的に学習し評価する。
• 参考スコア（独自算出の注目度）: 43.998746572276076
• License:
• Abstract: A popular method for Neural Architecture Search (NAS) is based on growing networks via small local changes to the network's architecture called network morphisms. These methods start with a small seed network and progressively grow the network by adding new neurons in an automated way. However, it remains a challenge to efficiently determine which parts of the network are best to grow. Here we propose a NAS method for growing a network by using a Gauss-Newton approximation of the loss function to efficiently learn and evaluate candidate network morphisms. We compare our method with state of the art NAS methods for CIFAR-10 and CIFAR-100 classification tasks, and conclude our method learns similar quality or better architectures at a smaller computational cost.
• Abstract（参考訳）: ニューラル・アーキテクチャ・サーチ(NAS)の一般的な手法は、ネットワーク・アソシエーション(英語版)と呼ばれるネットワークのアーキテクチャへの小さな局所的な変更を通じてネットワークを成長させることに基づいている。 これらの方法は、小さなシードネットワークから始まり、新しいニューロンを自動で追加することによって、ネットワークを徐々に成長させる。 しかし、ネットワークのどの部分が最適に成長するかを効率的に決定することは依然として課題である。 本稿では、損失関数のガウス・ニュートン近似を用いてネットワーク成長のためのNAS法を提案し、ネットワークの候補型を効率的に学習し評価する。 我々は, CIFAR-10 と CIFAR-100 の分類タスクに対する最先端NAS 手法と比較し, 計算コストを小さくして類似した品質や優れたアーキテクチャを学習する。

関連論文リスト

• Adaptive Neural Networks Using Residual Fitting [2.546014024559691]
  本稿では,ネットワークの残差における説明可能なエラーを探索し,十分なエラーが検出された場合,ネットワークを拡大するネットワーク成長手法を提案する。 これらのタスクの中で、成長するネットワークは、成長しない小さなネットワークよりも優れたパフォーマンスを達成することができる。
  論文  参考訳（メタデータ） (2023-01-13T19:52:30Z)
• Evolutionary Neural Cascade Search across Supernetworks [68.8204255655161]
  ENCAS - Evolutionary Neural Cascade Searchを紹介する。 ENCASは、複数の事前訓練されたスーパーネットを探索するために使用することができる。 我々は、一般的なコンピュータビジョンベンチマークでEMCASをテストする。
  論文  参考訳（メタデータ） (2022-03-08T11:06:01Z)
• Efficient Transfer Learning via Joint Adaptation of Network Architecture and Weight [66.8543732597723]
  近年のニューラルネットワーク探索(NAS)は,十分なネットワーク探索空間を確立することで伝達学習を支援する。 本稿では,2つのモジュールからなる新しいフレームワークを提案する。アーキテクチャトランスファーのためのニューラルアーキテクチャ探索モジュールと,ウェイトトランスファーのためのニューラルウェイト探索モジュールである。 これら2つのモジュールは、減らされたスーパーネットワークに基づいてターゲットタスクを探索するので、ソースタスクのみを訓練する必要がある。
  論文  参考訳（メタデータ） (2021-05-19T08:58:04Z)
• Firefly Neural Architecture Descent: a General Approach for Growing Neural Networks [50.684661759340145]
  firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。 ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。 特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
  論文  参考訳（メタデータ） (2021-02-17T04:47:18Z)
• Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
  そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。 提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。 また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
  論文  参考訳（メタデータ） (2021-02-03T09:30:45Z)
• Evolutionary Neural Architecture Search Supporting Approximate Multipliers [0.5414308305392761]
  進化的畳み込みニューラルネットワーク(CNN)のためのカルト的遺伝的プログラミングに基づく多目的NAS法を提案する。 最も適切な近似乗算器は、近似乗算器のライブラリから自動的に選択される。 進化したCNNは、CIFAR-10ベンチマーク問題に類似した複雑さを持つ一般的な人間によるCNNと比較される。
  論文  参考訳（メタデータ） (2021-01-28T09:26:03Z)
• Channel Planting for Deep Neural Networks using Knowledge Distillation [3.0165431987188245]
  我々は,植林と呼ばれる深層ニューラルネットワークのための新しいインクリメンタルトレーニングアルゴリズムを提案する。 本システムでは,ネットワーク性能向上のためのパラメータの少ない最適ネットワークアーキテクチャを探索できる。 CIFAR-10/100 や STL-10 などの異なるデータセットに対する提案手法の有効性を評価する。
  論文  参考訳（メタデータ） (2020-11-04T16:29:59Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)
• Locality Guided Neural Networks for Explainable Artificial Intelligence [12.435539489388708]
  LGNN(Locality Guided Neural Network)と呼ばれる,バック伝搬のための新しいアルゴリズムを提案する。 LGNNはディープネットワークの各層内の隣接ニューロン間の局所性を保っている。 実験では,CIFAR100 上の画像分類のための様々な VGG と Wide ResNet (WRN) ネットワークを訓練した。
  論文  参考訳（メタデータ） (2020-07-12T23:45:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。