Fugu-MT 論文翻訳(概要): Neural Architecture Search via Bregman Iterations

論文の概要: Neural Architecture Search via Bregman Iterations

arxiv url: http://arxiv.org/abs/2106.02479v1
Date: Fri, 4 Jun 2021 13:37:47 GMT
ステータス: 処理完了
システム内更新日: 2021-06-07 14:47:14.614711
Title: Neural Architecture Search via Bregman Iterations
Title（参考訳）: Bregmanイテレーションによるニューラルアーキテクチャ検索
Authors: Leon Bungert, Tim Roith, Daniel Tenbrinck, Martin Burger
Abstract要約: 本稿では,Bregman反復に基づくニューラルアーキテクチャ探索(NAS)の新たな戦略を提案する。我々の勾配に基づくワンショットアルゴリズムは、徐々に、逆スケール空間の方法で関連するパラメータを追加する。
参考スコア（独自算出の注目度）: 1.7778609937758323
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We propose a novel strategy for Neural Architecture Search (NAS) based on Bregman iterations. Starting from a sparse neural network our gradient-based one-shot algorithm gradually adds relevant parameters in an inverse scale space manner. This allows the network to choose the best architecture in the search space which makes it well-designed for a given task, e.g., by adding neurons or skip connections. We demonstrate that using our approach one can unveil, for instance, residual autoencoders for denoising, deblurring, and classification tasks. Code is available at https://github.com/TimRoith/BregmanLearning.
Abstract（参考訳）: 本稿では,Bregman反復に基づくニューラルアーキテクチャ探索(NAS)の新たな戦略を提案する。スパースニューラルネットワークから始めると、勾配に基づくワンショットアルゴリズムは徐々に関連するパラメータを逆スケール空間で追加する。これにより、ネットワークは、特定のタスク(例えば、ニューロンの追加や接続のスキップなど)のためにうまく設計された、検索空間における最良のアーキテクチャを選択することができる。提案手法を用いることで、例えば、残余の自己エンコーダ(denoising, deblurring, and classification task)を提示できることを実証する。コードはhttps://github.com/TimRoith/BregmanLearningで入手できる。

関連論文リスト

Simultaneous Weight and Architecture Optimization for Neural Networks [6.2241272327831485]
アーキテクチャとパラメータを勾配降下と同時に学習することで、プロセスを変換する新しいニューラルネットワークトレーニングフレームワークを導入する。このアプローチの中心はマルチスケールエンコーダデコーダで、エンコーダは互いに近くにある同様の機能を持つニューラルネットワークのペアを埋め込む。実験により、我々のフレームワークは、高性能を維持しているスパースでコンパクトなニューラルネットワークを発見できることを示した。
論文参考訳（メタデータ） (2024-10-10T19:57:36Z)
Latent Space Representations of Neural Algorithmic Reasoners [15.920449080528536]
アルゴリズムの実行時にGNNによって誘導される潜伏空間の構造を詳細に解析する。 i) 分解能の喪失、(i) 類似した値の識別が困難、(ii) トレーニング中に観察された範囲外の値を扱うことができない、という2つの可能な障害モードを特定します。これらの変更は、最先端のTriplet-GMPNNプロセッサを使用する場合、CLRS-30ベンチマークのアルゴリズムの大部分の改善につながることを示す。
論文参考訳（メタデータ） (2023-07-17T22:09:12Z)
OFA$^2$: A Multi-Objective Perspective for the Once-for-All Neural Architecture Search [79.36688444492405]
once-for-All(OFA)は、異なるリソース制約を持つデバイスのための効率的なアーキテクチャを探索する問題に対処するために設計された、ニューラルネットワーク検索(NAS)フレームワークである。我々は,探索段階を多目的最適化問題として明示的に考えることにより,効率の追求を一歩進めることを目指している。
論文参考訳（メタデータ） (2023-03-23T21:30:29Z)
Pathfinding Neural Cellular Automata [23.831530224401575]
Pathfindingは、ロボットパス計画、トランスポートルーティング、ゲームプレイなど、幅広い複雑なAIタスクの重要なサブコンポーネントである。我々は, Breadth-First Search (BFS) のモデル,すなわち最短経路探索のハンドコードと学習を行う。本稿では、Depth-First Search(DFS)のニューラル実装を提案し、グラフの直径を計算するためのNAAを生成するために、ニューラルネットワークBFSと組み合わせる方法について概説する。我々は,これらの手書きNCAに触発されたアーキテクチャ変更を実験し,グリッド迷路の直径問題を解くためにゼロからネットワークをトレーニングし,高い能力の一般化を示した。
論文参考訳（メタデータ） (2023-01-17T11:45:51Z)
Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文参考訳（メタデータ） (2022-06-15T17:58:34Z)
Neural network relief: a pruning algorithm based on neural activity [47.57448823030151]
重要でない接続を非活性化する簡易な重要スコア計量を提案する。 MNIST上でのLeNetアーキテクチャの性能に匹敵する性能を実現する。このアルゴリズムは、現在のハードウェアとソフトウェアの実装を考えるとき、FLOPを最小化するように設計されていない。
論文参考訳（メタデータ） (2021-09-22T15:33:49Z)
D-DARTS: Distributed Differentiable Architecture Search [75.12821786565318]
微分可能なArchiTecture Search(DARTS)は、最も流行しているニューラルネットワークサーチ(NAS)の1つである。セルレベルで複数のニューラルネットワークをネストすることでこの問題に対処する新しいソリューションD-DARTSを提案する。
論文参考訳（メタデータ） (2021-08-20T09:07:01Z)
A Bregman Learning Framework for Sparse Neural Networks [1.7778609937758323]
Bregmanの反復に基づく学習フレームワークを提案し、スパースニューラルネットワークを訓練する。我々は、運動量を用いた加速版であるLinBregと、AdamアルゴリズムのBregmanized GeneralizationであるAdaBregというベースラインアルゴリズムを導出する。
論文参考訳（メタデータ） (2021-05-10T12:56:01Z)
MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。我々は精度-速度トレードオフの観点から最先端の結果を得る。
論文参考訳（メタデータ） (2020-09-29T11:56:01Z)
Neural Architecture Search as Sparse Supernet [78.09905626281046]
本稿では,単一パスと複数パスの探索から混合パスの自動探索へ,ニューラルネットワーク探索(NAS)の問題を拡大することを目的とする。我々はNAS問題をスパース・スーパーネットとして,空間制約を混合した新しい連続アーキテクチャ表現を用いてモデル化する。スパーススーパーネットは、コンパクトなノードセット上でスパース混合パスを自動的に達成する。
論文参考訳（メタデータ） (2020-07-31T14:51:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。