Fugu-MT 論文翻訳(概要): Layer Sparsity in Neural Networks

論文の概要: Layer Sparsity in Neural Networks

arxiv url: http://arxiv.org/abs/2006.15604v1
Date: Sun, 28 Jun 2020 13:41:59 GMT
ステータス: 処理完了
システム内更新日: 2022-11-16 01:58:59.967042
Title: Layer Sparsity in Neural Networks
Title（参考訳）: ニューラルネットワークにおける層間スポーシティ
Authors: Mohamed Hebiri and Johannes Lederer
Abstract要約: ニューラルネットワークの枠組みにおける空間性について論じる。特に、ネットワークの層に関する空間性という新しい概念を定式化します。よりコンパクトで正確なネットワークを生成するために、対応する正規化と再構成方式を導入する。
参考スコア（独自算出の注目度）: 7.436953928903182
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Sparsity has become popular in machine learning, because it can save computational resources, facilitate interpretations, and prevent overfitting. In this paper, we discuss sparsity in the framework of neural networks. In particular, we formulate a new notion of sparsity that concerns the networks' layers and, therefore, aligns particularly well with the current trend toward deep networks. We call this notion layer sparsity. We then introduce corresponding regularization and refitting schemes that can complement standard deep-learning pipelines to generate more compact and accurate networks.
Abstract（参考訳）: sparsityは、計算リソースの節約、解釈の容易化、過剰フィッティングの防止のために、機械学習で人気を博している。本稿では,ニューラルネットワークの枠組みにおけるスパーシティについて述べる。特に,ネットワークの層に関する空間性という新たな概念を定式化し,深層ネットワークに対する現在の傾向とよく一致している。この概念を階層空間と呼ぶ。次に、標準ディープラーニングパイプラインを補完し、よりコンパクトで正確なネットワークを生成するための、対応する正規化と修正スキームを導入する。

関連論文リスト

On Generalization Bounds for Neural Networks with Low Rank Layers [4.2954245208408866]
深いネットワークにおける低ランク層がどのように階数や次元因子の蓄積を防げるかを解析するために、モーラーの鎖則をガウス複雑性に適用する。この結果と,低ランク層を有するディープネットワークがフルランク層を有するディープネットワークよりも優れた一般化を実現できることを示す。
論文参考訳（メタデータ） (2024-11-20T22:20:47Z)
Stitching for Neuroevolution: Recombining Deep Neural Networks without Breaking Them [0.0]
神経進化への伝統的なアプローチは、しばしばゼロから始まる。アーキテクチャと特徴表現が典型的に異なるため、トレーニングされたネットワークの再結合は簡単ではない。我々は、クロスオーバーポイントで新しいレイヤを導入することで、ネットワークをマージするステアリングを採用しています。
論文参考訳（メタデータ） (2024-03-21T08:30:44Z)
Riemannian Residual Neural Networks [58.925132597945634]
残余ニューラルネットワーク(ResNet)の拡張方法を示す。 ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
論文参考訳（メタデータ） (2023-10-16T02:12:32Z)
Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。ニューラルネットの様々な特性をこの新しいカーネルで研究する。
論文参考訳（メタデータ） (2023-01-01T02:11:39Z)
Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。これは機械学習の幅広い領域にまたがる重要な構造条件の例である。しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文参考訳（メタデータ） (2022-06-13T12:03:32Z)
Semi-supervised Network Embedding with Differentiable Deep Quantisation [81.49184987430333]
我々はネットワーク埋め込みのための微分可能な量子化法であるd-SNEQを開発した。 d-SNEQは、学習された量子化符号にリッチな高次情報を与えるためにランク損失を組み込む。トレーニング済みの埋め込みのサイズを大幅に圧縮できるため、ストレージのフットプリントが減少し、検索速度が向上する。
論文参考訳（メタデータ） (2021-08-20T11:53:05Z)
Sparsity in Deep Learning: Pruning and growth for efficient inference and training in neural networks [78.47459801017959]
Sparsityは、モバイル機器に適合する通常のネットワークのメモリフットプリントを減らすことができる。ニューラルネットワークの要素を除去および追加するためのアプローチ、モデルの疎性を達成するための異なるトレーニング戦略、実際に疎性を利用するメカニズムについて説明する。
論文参考訳（メタデータ） (2021-01-31T22:48:50Z)
Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文参考訳（メタデータ） (2020-08-19T04:53:31Z)
Finding trainable sparse networks through Neural Tangent Transfer [16.092248433189816]
深層学習において、特定のタスクでうまく機能する訓練可能なスパースネットワークは通常、ラベル依存プルーニング基準を用いて構築される。本稿では,学習可能なスパースネットワークをラベルフリーで検出する手法であるNeural Tangent Transferを紹介する。
論文参考訳（メタデータ） (2020-06-15T08:58:01Z)
Compact Neural Representation Using Attentive Network Pruning [1.0152838128195465]
本稿では,Bottom-Upフィードフォワードネットワークに付加されたTop-Downアテンション機構について述べる。提案手法は, 新たな階層選択機構をプルーニングの基礎として導入するだけでなく, 実験評価において, 従来のベースライン手法と競合するままである。
論文参考訳（メタデータ） (2020-05-10T03:20:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。