Fugu-MT 論文翻訳(概要): Embedding Differentiable Sparsity into Deep Neural Network

論文の概要: Embedding Differentiable Sparsity into Deep Neural Network

arxiv url: http://arxiv.org/abs/2006.13716v1
Date: Tue, 23 Jun 2020 01:42:47 GMT
ステータス: 処理完了
システム内更新日: 2022-11-17 22:26:55.183647
Title: Embedding Differentiable Sparsity into Deep Neural Network
Title（参考訳）: ディープニューラルネットワークに微分可能空間を埋め込む
Authors: Yongjin Lee
Abstract要約: 深層ニューラルネットワークの構造に空間空間を埋め込む手法を提案する。ネットワークの構造と重みを同時に学習することができる。
参考スコア（独自算出の注目度）: 2.28438857884398
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we propose embedding sparsity into the structure of deep neural networks, where model parameters can be exactly zero during training with the stochastic gradient descent. Thus, it can learn the sparsified structure and the weights of networks simultaneously. The proposed approach can learn structured as well as unstructured sparsity.
Abstract（参考訳）: 本稿では,モデルパラメータが確率的勾配降下を伴うトレーニング中に正確にゼロとなる深層ニューラルネットワークの構造にスパーシティを組み込むことを提案する。これにより,ネットワークの分散構造と重みを同時に学習することができる。提案手法は構造的だけでなく非構造的スパーシティも学ぶことができる。

関連論文リスト

Reparameterization through Spatial Gradient Scaling [69.27487006953852]
リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
論文参考訳（メタデータ） (2023-03-05T17:57:33Z)
Quiver neural networks [5.076419064097734]
ニューラルネットワーク接続アーキテクチャの解析に対する一様理論的アプローチを開発する。数学におけるquiver表現理論にインスパイアされたこのアプローチは、精巧なデータフローを捉えるためのコンパクトな方法を与える。
論文参考訳（メタデータ） (2022-07-26T09:42:45Z)
Dimensionality Reduction in Deep Learning via Kronecker Multi-layer Architectures [4.836352379142503]
Kronecker積分解の高速行列乗算に基づく新しいディープラーニングアーキテクチャを提案する。このアーキテクチャにより、ニューラルネットワークのトレーニングと実装が可能になり、計算時間とリソースが大幅に削減されることを示す。
論文参考訳（メタデータ） (2022-04-08T19:54:52Z)
Recursive Construction of Stable Assemblies of Recurrent Neural Networks [0.0]
機械学習の高度な応用には、訓練されたネットワークの組み合わせが含まれるだろう。本稿では、非線形リカレントネットワークとニューラルODEの幅広いクラスにおける収縮特性を確立することにより、この方向への一歩を踏み出す。結果は、リカレントネットワークと物理システムと定量化された収縮特性を組み合わせるために使用できる。
論文参考訳（メタデータ） (2021-06-16T16:35:50Z)
Firefly Neural Architecture Descent: a General Approach for Growing Neural Networks [50.684661759340145]
firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
論文参考訳（メタデータ） (2021-02-17T04:47:18Z)
Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文参考訳（メタデータ） (2020-08-19T04:53:31Z)
Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
論文参考訳（メタデータ） (2020-06-22T12:46:44Z)
An Ode to an ODE [78.97367880223254]
我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
論文参考訳（メタデータ） (2020-06-19T22:05:19Z)
Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
論文参考訳（メタデータ） (2020-06-16T18:45:20Z)
Investigating the Compositional Structure Of Deep Neural Networks [1.8899300124593645]
本稿では,一方向線形活性化関数の構成構造に基づく新しい理論的枠組みを提案する。予測ラベルと予測に使用する特定の(線形)変換の両方に関して、入力データのインスタンスを特徴付けることができる。 MNISTデータセットの予備テストでは、ニューラルネットワークの内部表現における類似性に関して、入力インスタンスをグループ化することが可能である。
論文参考訳（メタデータ） (2020-02-17T14:16:17Z)
Differentiable Sparsification for Deep Neural Networks [0.0]
本稿では,ディープニューラルネットワークのための完全微分可能なスペーシフィケーション手法を提案する。提案手法は,ネットワークのスパース化構造と重み付けの両方をエンドツーエンドに学習することができる。私たちの知る限りでは、これが最初の完全に差別化可能なスパーシフィケーション手法である。
論文参考訳（メタデータ） (2019-10-08T03:57:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。