論文の概要: Simultaneous Weight and Architecture Optimization for Neural Networks

• arxiv url: http://arxiv.org/abs/2410.08339v1
• Date: Thu, 10 Oct 2024 19:57:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 03:56:20.250367
• Title: Simultaneous Weight and Architecture Optimization for Neural Networks
• Title（参考訳）: ニューラルネットワークの同時重みとアーキテクチャ最適化
• Authors: Zitong Huang, Mansooreh Montazerin, Ajitesh Srivastava,
• Abstract要約: アーキテクチャとパラメータを勾配降下と同時に学習することで、プロセスを変換する新しいニューラルネットワークトレーニングフレームワークを導入する。 このアプローチの中心はマルチスケールエンコーダデコーダで、エンコーダは互いに近くにある同様の機能を持つニューラルネットワークのペアを埋め込む。 実験により、我々のフレームワークは、高性能を維持しているスパースでコンパクトなニューラルネットワークを発見できることを示した。
• 参考スコア（独自算出の注目度）: 6.2241272327831485
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks are trained by choosing an architecture and training the parameters. The choice of architecture is often by trial and error or with Neural Architecture Search (NAS) methods. While NAS provides some automation, it often relies on discrete steps that optimize the architecture and then train the parameters. We introduce a novel neural network training framework that fundamentally transforms the process by learning architecture and parameters simultaneously with gradient descent. With the appropriate setting of the loss function, it can discover sparse and compact neural networks for given datasets. Central to our approach is a multi-scale encoder-decoder, in which the encoder embeds pairs of neural networks with similar functionalities close to each other (irrespective of their architectures and weights). To train a neural network with a given dataset, we randomly sample a neural network embedding in the embedding space and then perform gradient descent using our custom loss function, which incorporates a sparsity penalty to encourage compactness. The decoder generates a neural network corresponding to the embedding. Experiments demonstrate that our framework can discover sparse and compact neural networks maintaining a high performance.
• Abstract（参考訳）: ニューラルネットワークはアーキテクチャを選択し、パラメータをトレーニングすることで訓練される。 アーキテクチャの選択は、しばしば試行錯誤またはニューラルアーキテクチャサーチ(NAS)メソッドによって行われる。 NASはいくつかの自動化を提供するが、しばしばアーキテクチャを最適化し、パラメータをトレーニングする独立したステップに依存している。 アーキテクチャとパラメータを勾配降下と同時に学習することで、プロセスを根本的に変換する新しいニューラルネットワークトレーニングフレームワークを導入する。 ロス関数の適切な設定により、与えられたデータセットに対してスパースでコンパクトなニューラルネットワークを発見することができる。 私たちのアプローチの中心はマルチスケールのエンコーダデコーダで、エンコーダは互いに類似した機能を持つニューラルネットワークのペアを埋め込む(アーキテクチャや重みを考慮しない)。 ニューラルネットワークを与えられたデータセットでトレーニングするために、埋め込み空間に埋め込まれたニューラルネットワークをランダムにサンプリングし、カスタムロス関数を使用して勾配降下を行う。 デコーダは、埋め込みに対応するニューラルネットワークを生成する。 実験により、我々のフレームワークは、高性能を維持しているスパースでコンパクトなニューラルネットワークを発見できることを示した。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Set-based Neural Network Encoding Without Weight Tying [91.37161634310819]
  本稿では,ネットワーク特性予測のためのニューラルネットワーク重み符号化手法を提案する。 我々のアプローチは、混合アーキテクチャのモデル動物園でニューラルネットワークを符号化することができる。 ニューラルネットワークのプロパティ予測には,クロスデータセットとクロスアーキテクチャという,2つの新しいタスクを導入する。
  論文  参考訳（メタデータ） (2023-05-26T04:34:28Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• CondenseNeXt: An Ultra-Efficient Deep Neural Network for Embedded Systems [0.0]
  畳み込みニューラルネットワーク(英: Convolutional Neural Network, CNN)は、画像センサが捉えた視覚画像の分析に広く用いられているディープニューラルネットワーク(DNN)のクラスである。 本稿では,組込みシステム上でのリアルタイム推論のために,既存のCNNアーキテクチャの性能を改善するために,深層畳み込みニューラルネットワークアーキテクチャの新しい変種を提案する。
  論文  参考訳（メタデータ） (2021-12-01T18:20:52Z)
• Max and Coincidence Neurons in Neural Networks [0.07614628596146598]
  ニューラルアーキテクチャサーチを用いて、最大ニューロンと偶然ニューロンのモデルを含むネットワークを最適化する。 我々は、信号処理ResNetを開発するために最適化ネットワークの構造、動作、ニューロンを分析する。 開発されたネットワークは、精度が平均2%向上し、さまざまなデータセットでネットワークサイズが25%向上した。
  論文  参考訳（メタデータ） (2021-10-04T07:13:50Z)
• Efficient Neural Architecture Search with Performance Prediction [0.0]
  ニューラルアーキテクチャ検索を使用して、目前にあるタスクに最適なネットワークアーキテクチャを見つけます。 既存のNASアルゴリズムは、スクラッチから完全にトレーニングすることで、新しいアーキテクチャの適合性を評価する。 サンプルアーキテクチャの評価を高速化するために,エンドツーエンドのオフライン性能予測器を提案する。
  論文  参考訳（メタデータ） (2021-08-04T05:44:16Z)
• Differentiable Neural Architecture Learning for Efficient Neural Network Design [31.23038136038325]
  スケールド・シグモイド関数に基づく新しいemphアーキテクチャのパラメータ化を提案する。 そこで本論文では,候補ニューラルネットワークを評価することなく,ニューラルネットワークを最適化するための汎用的エファイブルニューラルネットワーク学習(DNAL)手法を提案する。
  論文  参考訳（メタデータ） (2021-03-03T02:03:08Z)
• Firefly Neural Architecture Descent: a General Approach for Growing Neural Networks [50.684661759340145]
  firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。 ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。 特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
  論文  参考訳（メタデータ） (2021-02-17T04:47:18Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)
• Inferring Convolutional Neural Networks' accuracies from their architectural characterizations [0.0]
  CNNのアーキテクチャと性能の関係について検討する。 本稿では,2つのコンピュータビジョンに基づく物理問題において,その特性がネットワークの性能を予測できることを示す。 我々は機械学習モデルを用いて、トレーニング前にネットワークが一定のしきい値精度よりも優れた性能を発揮できるかどうかを予測する。
  論文  参考訳（メタデータ） (2020-01-07T16:41:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。