Fugu-MT 論文翻訳(概要): Growing an architecture for a neural network

論文の概要: Growing an architecture for a neural network

arxiv url: http://arxiv.org/abs/2108.02231v1
Date: Wed, 4 Aug 2021 18:17:22 GMT
ステータス: 処理完了
システム内更新日: 2021-08-06 14:32:49.951030
Title: Growing an architecture for a neural network
Title（参考訳）: ニューラルネットワークのアーキテクチャを成長させる
Authors: Sergey Khashin, Ekaterina Shemyakova
Abstract要約: 本稿では,新しいアーキテクチャ検索アルゴリズムを提案する。このアルゴリズムはプルーニング接続とニューロンの追加を交互に行い、層状アーキテクチャのみに制限されない。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We propose a new kind of automatic architecture search algorithm. The algorithm alternates pruning connections and adding neurons, and it is not restricted to layered architectures only. Here architecture is an arbitrary oriented graph with some weights (along with some biases and an activation function), so there may be no layered structure in such a network. The algorithm minimizes the complexity of staying within a given error. We demonstrate our algorithm on the brightness prediction problem of the next point through the previous points on an image. Our second test problem is the approximation of the bivariate function defining the brightness of a black and white image. Our optimized networks significantly outperform the standard solution for neural network architectures in both cases.
Abstract（参考訳）: 本稿では,新しいアーキテクチャ検索アルゴリズムを提案する。このアルゴリズムはプルーニング接続とニューロンの追加を交互に行い、層状アーキテクチャのみに制限されない。ここでのアーキテクチャは、(いくつかのバイアスとアクティベーション関数とともに)重みを持つ任意の向きのグラフなので、そのようなネットワークに階層構造は存在しないかもしれない。このアルゴリズムは、与えられたエラーに留まることの複雑さを最小化する。画像上の前の点から次の点の明るさ予測問題について,本アルゴリズムを実証する。 2つ目のテスト問題は、白黒画像の明るさを定義する二変量関数の近似である。最適化されたネットワークは、どちらの場合もニューラルネットワークアーキテクチャの標準ソリューションよりも大幅に優れています。

関連論文リスト

LinSATNet: The Positive Linear Satisfiability Neural Networks [116.65291739666303]
本稿では,ニューラルネットワークに人気の高い正の線形満足度を導入する方法について検討する。本稿では,古典的なシンクホーンアルゴリズムを拡張し,複数の辺分布の集合を共同で符号化する,最初の微分可能満足層を提案する。
論文参考訳（メタデータ） (2024-07-18T22:05:21Z)
Automatic Gradient Descent: Deep Learning without Hyperparameters [35.350274248478804]
ディープニューラルネットワークのアーキテクチャは、レイヤ数、各レイヤの幅、一般的なネットワークトポロジの観点から明確に定義される。グラデーション・アイデアは、神経アーキテクチャの非勾配構造を考慮するために、ブレグマンの発散を変換することである。
論文参考訳（メタデータ） (2023-04-11T12:45:52Z)
FlowNAS: Neural Architecture Search for Optical Flow Estimation [65.44079917247369]
本研究では,フロー推定タスクにおいて,より優れたエンコーダアーキテクチャを自動で見つけるために,FlowNASというニューラルアーキテクチャ探索手法を提案する。実験の結果、スーパーネットワークから受け継いだ重み付きアーキテクチャは、KITTI上で4.67%のF1-allエラーを達成していることがわかった。
論文参考訳（メタデータ） (2022-07-04T09:05:25Z)
Network Graph Based Neural Architecture Search [57.78724765340237]
我々は、対応するグラフを書き換えてニューラルネットワークを探索し、グラフ特性によるアーキテクチャ性能の予測を行う。グラフ空間全体にわたって機械学習を行わないため、探索プロセスは極めて効率的である。
論文参考訳（メタデータ） (2021-12-15T00:12:03Z)
Neural networks with linear threshold activations: structure and algorithms [1.795561427808824]
クラス内で表現可能な関数を表現するのに、2つの隠れたレイヤが必要であることを示す。また、クラス内の任意の関数を表すのに必要なニューラルネットワークのサイズについて、正確な境界を与える。我々は,線形しきい値ネットワークと呼ばれるニューラルネットワークの新たなクラスを提案する。
論文参考訳（メタデータ） (2021-11-15T22:33:52Z)
Enhanced Gradient for Differentiable Architecture Search [17.431144144044968]
ネットワーク性能の同時改善とネットワークの複雑性低減を目的としたニューラルネットワークアーキテクチャ探索アルゴリズムを提案する。提案するフレームワークは,ブロックレベルの検索とネットワークレベルの検索という2段階のネットワークアーキテクチャを自動構築する。実験の結果,本手法は画像分類において,すべての手作りネットワークよりも優れていた。
論文参考訳（メタデータ） (2021-03-23T13:27:24Z)
Auto-tuning of Deep Neural Networks by Conflicting Layer Removal [0.0]
トレーニングモデルのテスト精度を低下させる層を識別する新しい手法を提案する。矛盾する層は、トレーニングの開始時に早期に検出される。訓練された残存ネットワークのレイヤの約60%が、アーキテクチャから完全に取り除かれることを示しています。
論文参考訳（メタデータ） (2021-03-07T11:51:55Z)
Firefly Neural Architecture Descent: a General Approach for Growing Neural Networks [50.684661759340145]
firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
論文参考訳（メタデータ） (2021-02-17T04:47:18Z)
Disentangling Neural Architectures and Weights: A Case Study in Supervised Classification [8.976788958300766]
本研究は、神経構造とそのエッジウェイトの役割を解消する問題について考察する。十分に訓練されたアーキテクチャでは、重み付けのリンク固有の微調整は不要である。我々は、ハードアーキテクチャ探索問題を実現可能な最適化問題に変換する、新しい計算効率のよい手法を用いる。
論文参考訳（メタデータ） (2020-09-11T11:22:22Z)
NAS-DIP: Learning Deep Image Prior with Neural Architecture Search [65.79109790446257]
近年の研究では、深部畳み込みニューラルネットワークの構造が、以前に構造化された画像として利用できることが示されている。我々は,より強い画像の先行を捉えるニューラルネットワークの探索を提案する。既存のニューラルネットワーク探索アルゴリズムを利用して,改良されたネットワークを探索する。
論文参考訳（メタデータ） (2020-08-26T17:59:36Z)
A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文参考訳（メタデータ） (2020-05-14T09:02:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。