論文の概要: Growth strategies for arbitrary DAG neural architectures

• arxiv url: http://arxiv.org/abs/2501.12690v1
• Date: Wed, 22 Jan 2025 08:02:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-23 16:53:20.080658
• Title: Growth strategies for arbitrary DAG neural architectures
• Title（参考訳）: 任意のDAGニューラルアーキテクチャの成長戦略
• Authors: Stella Douka, Manon Verbockhaven, Théo Rudkiewicz, Stéphane Rivaud, François P Landes, Sylvain Chevallier, Guillaume Charpiat,
• Abstract要約: 私たちは、必要に応じて小さなモデルのサイズを拡大できるニューラルアーキテクチャの成長にフォーカスしています。 我々は過剰な計算を減らし、よりパラメータ効率の良いアーキテクチャに向けてネットワークの成長を推し進める戦略を探る。
• 参考スコア（独自算出の注目度）: 1.944442137907768
• License:
• Abstract: Deep learning has shown impressive results obtained at the cost of training huge neural networks. However, the larger the architecture, the higher the computational, financial, and environmental costs during training and inference. We aim at reducing both training and inference durations. We focus on Neural Architecture Growth, which can increase the size of a small model when needed, directly during training using information from the backpropagation. We expand existing work and freely grow neural networks in the form of any Directed Acyclic Graph by reducing expressivity bottlenecks in the architecture. We explore strategies to reduce excessive computations and steer network growth toward more parameter-efficient architectures.
• Abstract（参考訳）: ディープラーニングは、巨大なニューラルネットワークをトレーニングするコストで得られた素晴らしい結果を示している。 しかし、アーキテクチャが大きくなるほど、トレーニングや推論の際の計算、財務、環境コストが高くなる。 トレーニングと推論期間の短縮を目指しています。 私たちは、バックプロパゲーションの情報を使用してトレーニング中に、必要に応じて小さなモデルのサイズを拡大できるニューラルアーキテクチャ成長にフォーカスします。 アーキテクチャにおける表現力のボトルネックを減らすことで、既存の作業を拡張し、任意の非循環グラフの形式でニューラルネットワークを自由に成長させます。 我々は過剰な計算を減らし、よりパラメータ効率の良いアーキテクチャに向けてネットワークの成長を推し進める戦略を探る。

関連論文リスト

• Self Expanding Convolutional Neural Networks [1.4330085996657045]
  本稿では,学習中の畳み込みニューラルネットワーク(CNN)を動的に拡張する新しい手法を提案する。 我々は、単一のモデルを動的に拡張する戦略を採用し、様々な複雑さのレベルでチェックポイントの抽出を容易にする。
  論文  参考訳（メタデータ） (2024-01-11T06:22:40Z)
• Neural Architecture Codesign for Fast Bragg Peak Analysis [1.7081438846690533]
  我々は,高速かつリアルタイムなブラッグピーク解析のためのニューラルネットワーク符号の合理化のための自動パイプラインを開発した。 我々の手法では、ハードウェアコストを含むこれらのモデルを強化するために、ニューラルアーキテクチャ検索とAutoMLを使用し、よりハードウェア効率の良いニューラルアーキテクチャの発見に繋がる。
  論文  参考訳（メタデータ） (2023-12-10T19:42:18Z)
• Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
  大規模空間問題に対する学習効率を向上させるために移動学習を用いる。 畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
  論文  参考訳（メタデータ） (2023-06-14T01:24:42Z)
• Dimensionality Reduction in Deep Learning via Kronecker Multi-layer Architectures [4.836352379142503]
  Kronecker積分解の高速行列乗算に基づく新しいディープラーニングアーキテクチャを提案する。 このアーキテクチャにより、ニューラルネットワークのトレーニングと実装が可能になり、計算時間とリソースが大幅に削減されることを示す。
  論文  参考訳（メタデータ） (2022-04-08T19:54:52Z)
• GradMax: Growing Neural Networks using Gradient Information [22.986063120002353]
  本稿では,学習中に学習内容に影響を与えることなく新たなニューロンを付加し,トレーニングのダイナミクスを改良する手法を提案する。 この手法をGradMax(GradMax)と呼び、様々な視覚タスクやアーキテクチャにおいてその効果を実証する。
  論文  参考訳（メタデータ） (2022-01-13T18:30:18Z)
• Efficient Neural Architecture Search with Performance Prediction [0.0]
  ニューラルアーキテクチャ検索を使用して、目前にあるタスクに最適なネットワークアーキテクチャを見つけます。 既存のNASアルゴリズムは、スクラッチから完全にトレーニングすることで、新しいアーキテクチャの適合性を評価する。 サンプルアーキテクチャの評価を高速化するために,エンドツーエンドのオフライン性能予測器を提案する。
  論文  参考訳（メタデータ） (2021-08-04T05:44:16Z)
• Dynamically Grown Generative Adversarial Networks [111.43128389995341]
  本稿では、ネットワークアーキテクチャとそのパラメータを自動化とともに最適化し、トレーニング中にGANを動的に成長させる手法を提案する。 本手法はアーキテクチャ探索手法を勾配に基づく訓練とインターリーブステップとして組み込んで,ジェネレータと識別器の最適アーキテクチャ成長戦略を定期的に探究する。
  論文  参考訳（メタデータ） (2021-06-16T01:25:51Z)
• Sparsity in Deep Learning: Pruning and growth for efficient inference and training in neural networks [78.47459801017959]
  Sparsityは、モバイル機器に適合する通常のネットワークのメモリフットプリントを減らすことができる。 ニューラルネットワークの要素を除去および追加するためのアプローチ、モデルの疎性を達成するための異なるトレーニング戦略、実際に疎性を利用するメカニズムについて説明する。
  論文  参考訳（メタデータ） (2021-01-31T22:48:50Z)
• Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning [56.83172249278467]
  大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。 我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。 また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
  論文  参考訳（メタデータ） (2020-07-14T18:50:12Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。