Fugu-MT 論文翻訳(概要): Dynamic Neural Network Architectural and Topological Adaptation and Related Methods -- A Survey

論文の概要: Dynamic Neural Network Architectural and Topological Adaptation and Related Methods -- A Survey

arxiv url: http://arxiv.org/abs/2108.10066v1
Date: Wed, 28 Jul 2021 16:50:29 GMT
ステータス: 処理完了
システム内更新日: 2021-08-29 16:35:15.124412
Title: Dynamic Neural Network Architectural and Topological Adaptation and Related Methods -- A Survey
Title（参考訳）: 動的ニューラルネットワークのアーキテクチャとトポロジカル適応と関連する手法 -- 調査
Authors: Lorenz Kummer
Abstract要約: ディープニューラルネットワーク(DNN)のトレーニングと推論は、時間と空間の要求を減らすための戦略の開発につながっている。本研究の目的は,DNNのトレーニングや推論時間,空間の複雑さを低減するため,最先端技術(SOTA)の概要と分類を提供することである。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Training and inference in deep neural networks (DNNs) has, due to a steady increase in architectural complexity and data set size, lead to the development of strategies for reducing time and space requirements of DNN training and inference, which is of particular importance in scenarios where training takes place in resource constrained computation environments or inference is part of a time critical application. In this survey, we aim to provide a general overview and categorization of state-of-the-art (SOTA) of techniques to reduced DNN training and inference time and space complexities with a particular focus on architectural adaptions.
Abstract（参考訳）: ディープニューラルネットワーク(DNN)のトレーニングと推論は、アーキテクチャの複雑さとデータセットのサイズが着実に増加するため、DNNトレーニングと推論の時間と空間要件を削減する戦略の開発につながっている。本稿では,dnnのトレーニングと推論時間と空間の複雑さを低減し,特にアーキテクチャ適応に焦点をあてた,最先端技術(sota)の概要と分類を行うことを目的とする。

関連論文リスト

Low-Rank Learning by Design: the Role of Network Architecture and Activation Linearity in Gradient Rank Collapse [14.817633094318253]
ディープニューラルネットワーク(DNN)におけるデータ効果勾配ランクのアーキテクチャ的選択と構造について検討する。我々の理論的分析は、完全連結、再帰、畳み込みニューラルネットワークのトレーニングにこれらの境界を提供する。また、理論的にも経験的にも、アクティベーション関数の線形性、ボトルネック層の導入、畳み込みストライド、シーケンストランケーションといった設計選択がこれらの境界にどのように影響するかを示す。
論文参考訳（メタデータ） (2024-02-09T19:28:02Z)
Self Expanding Convolutional Neural Networks [1.4330085996657045]
本稿では,学習中の畳み込みニューラルネットワーク(CNN)を動的に拡張する新しい手法を提案する。我々は、単一のモデルを動的に拡張する戦略を採用し、様々な複雑さのレベルでチェックポイントの抽出を容易にする。
論文参考訳（メタデータ） (2024-01-11T06:22:40Z)
Neural Network with Local Converging Input (NNLCI) for Supersonic Flow Problems with Unstructured Grids [0.9152133607343995]
非構造データを用いた高忠実度予測のための局所収束入力(NNLCI)を用いたニューラルネットワークを開発した。また, NNLCI法を用いて, バンプを有するチャネル内の超音速流の可視化を行った。
論文参考訳（メタデータ） (2023-10-23T19:03:37Z)
Spectral Neural Networks: Approximation Theory and Optimization Landscape [6.967392207053043]
本稿では,SNN(Spectral Neural Network)トレーニングの重要な理論的側面について述べる。まず、ニューロンの数とニューラルネットワークが学習するスペクトル情報の量とのトレードオフに関する定量的知見を示す。
論文参考訳（メタデータ） (2023-10-01T17:03:47Z)
Deep neural networks architectures from the perspective of manifold learning [0.0]
本稿では,ゲノメトリとトポロジの観点から,ニューラルネットワークアーキテクチャの包括的比較と記述を行う。我々は、ニューラルネットワークの内部表現と、異なる層上のデータ多様体のトポロジーと幾何学の変化のダイナミクスに焦点を当てる。
論文参考訳（メタデータ） (2023-06-06T04:57:39Z)
Neural Architecture Search for Dense Prediction Tasks in Computer Vision [74.9839082859151]
ディープラーニングは、ニューラルネットワークアーキテクチャエンジニアリングに対する需要の高まりにつながっている。ニューラルネットワーク検索(NAS)は、手動ではなく、データ駆動方式でニューラルネットワークアーキテクチャを自動設計することを目的としている。 NASはコンピュータビジョンの幅広い問題に適用されている。
論文参考訳（メタデータ） (2022-02-15T08:06:50Z)
Inter-layer Information Similarity Assessment of Deep Neural Networks Via Topological Similarity and Persistence Analysis of Data Neighbour Dynamics [93.4221402881609]
ディープニューラルネットワーク(DNN)による情報構造の定量的解析により、DNNアーキテクチャの理論的性能に関する新たな知見が明らかにされる。量的情報構造解析のためのLSとIDの戦略に着想を得て, 層間情報類似度評価のための2つの新しい補完手法を提案する。本研究では,画像データを用いた深層畳み込みニューラルネットワークのアーキテクチャ解析を行い,その効果を実証する。
論文参考訳（メタデータ） (2020-12-07T15:34:58Z)
Developing Constrained Neural Units Over Time [81.19349325749037]
本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
論文参考訳（メタデータ） (2020-09-01T09:07:25Z)
Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文参考訳（メタデータ） (2020-07-03T01:37:16Z)
Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-07-02T15:38:44Z)
Local Propagation in Constraint-based Neural Network [77.37829055999238]
ニューラルネットワークアーキテクチャの制約に基づく表現について検討する。本稿では,いわゆるアーキテクチャ制約を満たすのに適した簡単な最適化手法について検討する。
論文参考訳（メタデータ） (2020-02-18T16:47:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。