論文の概要: Firefly Neural Architecture Descent: a General Approach for Growing Neural Networks

• arxiv url: http://arxiv.org/abs/2102.08574v1
• Date: Wed, 17 Feb 2021 04:47:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-18 14:35:59.001074
• Title: Firefly Neural Architecture Descent: a General Approach for Growing Neural Networks
• Title（参考訳）: Firefly Neural Architecture Descent: 成長するニューラルネットワークのための一般的なアプローチ
• Authors: Lemeng Wu, Bo Liu, Peter Stone, Qiang Liu
• Abstract要約: firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。 ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。 特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
• 参考スコア（独自算出の注目度）: 50.684661759340145
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose firefly neural architecture descent, a general framework for progressively and dynamically growing neural networks to jointly optimize the networks' parameters and architectures. Our method works in a steepest descent fashion, which iteratively finds the best network within a functional neighborhood of the original network that includes a diverse set of candidate network structures. By using Taylor approximation, the optimal network structure in the neighborhood can be found with a greedy selection procedure. We show that firefly descent can flexibly grow networks both wider and deeper, and can be applied to learn accurate but resource-efficient neural architectures that avoid catastrophic forgetting in continual learning. Empirically, firefly descent achieves promising results on both neural architecture search and continual learning. In particular, on a challenging continual image classification task, it learns networks that are smaller in size but have higher average accuracy than those learned by the state-of-the-art methods.
• Abstract（参考訳）: 本研究では,ネットワークのパラメータとアーキテクチャを協調的に最適化するために,ニューラルネットワークを漸進的かつ動的に成長させる汎用フレームワークであるfirefly neural architecture descendを提案する。 提案手法は最も急な降下方式で動作し,様々な候補ネットワーク構造を含む元のネットワークの機能的近傍において,最適なネットワークを反復的に発見する。 テイラー近似を使用することで、近隣の最適なネットワーク構造を勾配選択手順で見つけることができます。 連続学習における壊滅的な忘れを回避し、より広く、より深いネットワークを柔軟に成長させ、正確かつ資源効率の高い神経アーキテクチャを学習するために適用できることを示した。 経験的に、ハエの降下はニューラルアーキテクチャ探索と連続学習の両方において有望な結果をもたらす。 特に、挑戦的な連続的な画像分類タスクでは、サイズが小さいが最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。

関連論文リスト

• Learning Morphisms with Gauss-Newton Approximation for Growing Networks [43.998746572276076]
  ニューラル・アーキテクチャ・サーチ(NAS)の一般的な手法は、ネットワーク・アソシエーション(英語版)と呼ばれるネットワークのアーキテクチャへの小さな局所的な変更を通じてネットワークを成長させることに基づいている。 本稿では、損失関数のガウス・ニュートン近似を用いてネットワーク成長のためのNAS法を提案し、ネットワークの候補型を効率的に学習し評価する。
  論文  参考訳（メタデータ） (2024-11-07T01:12:42Z)
• Simultaneous Weight and Architecture Optimization for Neural Networks [6.2241272327831485]
  アーキテクチャとパラメータを勾配降下と同時に学習することで、プロセスを変換する新しいニューラルネットワークトレーニングフレームワークを導入する。 このアプローチの中心はマルチスケールエンコーダデコーダで、エンコーダは互いに近くにある同様の機能を持つニューラルネットワークのペアを埋め込む。 実験により、我々のフレームワークは、高性能を維持しているスパースでコンパクトなニューラルネットワークを発見できることを示した。
  論文  参考訳（メタデータ） (2024-10-10T19:57:36Z)
• Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
  高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。 本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。 ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
  論文  参考訳（メタデータ） (2024-02-27T11:52:49Z)
• SIRe-Networks: Skip Connections over Interlaced Multi-Task Learning and Residual Connections for Structure Preserving Object Classification [28.02302915971059]
  本稿では、オブジェクト分類タスクにおける消失勾配を低減するために、SIReを定義したインターレース型マルチタスク学習戦略を提案する。 提案手法は、自動エンコーダを介して入力画像構造を保存することにより、畳み込みニューラルネットワーク(CNN)を直接改善する。 提案手法を検証するため、SIRe戦略を介して単純なCNNと有名なネットワークの様々な実装を拡張し、CIFAR100データセットで広範囲にテストする。
  論文  参考訳（メタデータ） (2021-10-06T13:54:49Z)
• Learning Structures for Deep Neural Networks [99.8331363309895]
  我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。 スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。 公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-27T12:27:24Z)
• NAS-Navigator: Visual Steering for Explainable One-Shot Deep Neural Network Synthesis [53.106414896248246]
  本稿では,分析者がドメイン知識を注入することで,解のサブグラフ空間を効果的に構築し,ネットワーク探索をガイドするフレームワークを提案する。 このテクニックを反復的に適用することで、アナリストは、与えられたアプリケーションに対して最高のパフォーマンスのニューラルネットワークアーキテクチャに収束することができる。
  論文  参考訳（メタデータ） (2020-09-28T01:48:45Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)
• Modeling Dynamic Heterogeneous Network for Link Prediction using Hierarchical Attention with Temporal RNN [16.362525151483084]
  我々はDyHATRと呼ばれる新しい動的ヘテロジニアスネットワーク埋め込み法を提案する。 階層的な注意を使って異質な情報を学習し、進化パターンを捉えるために時間的注意を伴う繰り返しニューラルネットワークを組み込む。 リンク予測のための4つの実世界のデータセットに対して,本手法をベンチマークした。
  論文  参考訳（メタデータ） (2020-04-01T17:16:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。