論文の概要: Statistical guarantees for sparse deep learning

• arxiv url: http://arxiv.org/abs/2212.05427v1
• Date: Sun, 11 Dec 2022 06:45:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 15:00:14.571780
• Title: Statistical guarantees for sparse deep learning
• Title（参考訳）: 疎い深層学習の統計的保証
• Authors: Johannes Lederer
• Abstract要約: 本稿では,スパース深層学習の統計的保証を開発する。 アクティブな接続が少ないこと、アクティブなノードが少ないこと、および他の標準ベースのスパシティのタイプなど、さまざまなタイプのスパシティについて検討する。 我々の理論は、複数の出力、正規化、l2-lossなど、以前の理論が無視した重要な側面をカバーしている。
• 参考スコア（独自算出の注目度）: 1.52292571922932
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks are becoming increasingly popular in applications, but our mathematical understanding of their potential and limitations is still limited. In this paper, we further this understanding by developing statistical guarantees for sparse deep learning. In contrast to previous work, we consider different types of sparsity, such as few active connections, few active nodes, and other norm-based types of sparsity. Moreover, our theories cover important aspects that previous theories have neglected, such as multiple outputs, regularization, and l2-loss. The guarantees have a mild dependence on network widths and depths, which means that they support the application of sparse but wide and deep networks from a statistical perspective. Some of the concepts and tools that we use in our derivations are uncommon in deep learning and, hence, might be of additional interest.
• Abstract（参考訳）: ニューラルネットワークはアプリケーションで人気が高まっているが、その可能性と限界に関する数学的理解はまだ限られている。 本稿では,スパース深層学習に対する統計的保証を開発することにより,この理解をさらに深める。 従来の研究とは対照的に、アクティブコネクションの少なさ、アクティブノードの少なさ、その他の標準ベースのスパーシティといった、異なるタイプのスパーシティを考える。 さらに、我々の理論は、複数の出力、正規化、l2-lossなど、以前の理論が無視した重要な側面をカバーしている。 保証はネットワークの幅と深さに軽度に依存しており、統計的な観点からは疎遠だが広大で深いネットワークの応用をサポートすることを意味する。 私たちが導出した概念やツールのいくつかは、ディープラーニングでは珍しく、従って、追加の関心を持つかもしれません。

関連論文リスト

• Infinite Width Limits of Self Supervised Neural Networks [6.178817969919849]
  NTKと自己教師型学習のギャップを埋め、Barlow Twinsの損失下で訓練された2層ニューラルネットワークに焦点を当てる。 ネットワークの幅が無限大に近づくと、バーロウ・ツインズのNTKは確かに一定となる。
  論文  参考訳（メタデータ） (2024-11-17T21:13:57Z)
• Computability of Classification and Deep Learning: From Theoretical Limits to Practical Feasibility through Quantization [53.15874572081944]
  ディープラーニングフレームワークにおける計算可能性について,2つの観点から検討する。 根底にある問題が十分に解決された場合でも、ディープニューラルネットワークを訓練する際のアルゴリズム上の制限を示す。 最後に、分類と深層ネットワークトレーニングの定量化バージョンにおいて、計算可能性の制限は発生せず、一定の程度まで克服可能であることを示す。
  論文  参考訳（メタデータ） (2024-08-12T15:02:26Z)
• On the Diminishing Returns of Width for Continual Learning [2.9301925522760524]
  フィードフォワードネットワーク(FFN)において、幅が直接記憶に関連があることを証明するために連続学習理論を解析する。 具体的には, ネットワーク幅の増大と, ネットワーク幅の増大が収率の低下を実証する。
  論文  参考訳（メタデータ） (2024-03-11T03:19:45Z)
• Network Degeneracy as an Indicator of Training Performance: Comparing Finite and Infinite Width Angle Predictions [3.04585143845864]
  ネットワークの深層化が進むにつれ、ネットワークは縮退しやすくなっている。 完全に接続されたReLUネットワークアーキテクチャのデジェネリシーのレベルを正確に予測できる単純なアルゴリズムを用いる。
  論文  参考訳（メタデータ） (2023-06-02T13:02:52Z)
• Generalized Uncertainty of Deep Neural Networks: Taxonomy and Applications [1.9671123873378717]
  ディープニューラルネットワークの不確実性は、解釈可能性と透明性の感覚において重要であるだけでなく、パフォーマンスをさらに向上するためにも重要であることを示す。 我々は、ディープニューラルネットワークの不確実性の定義を、入力またはインプットラベルペアに関連する任意の数またはベクトルに一般化し、そのような不確かさをディープモデルから「マイニングに関する既存の方法」をカタログ化する。
  論文  参考訳（メタデータ） (2023-02-02T22:02:33Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• A Comprehensive Survey on Community Detection with Deep Learning [93.40332347374712]
  コミュニティは、ネットワーク内の他のコミュニティと異なるメンバーの特徴と接続を明らかにする。 この調査は、最先端の手法の様々なカテゴリをカバーする新しい分類法を考案し、提案する。 ディープニューラルネットワーク(Deep Neural Network)は、畳み込みネットワーク(convolutional network)、グラフアテンションネットワーク( graph attention network)、生成的敵ネットワーク(generative adversarial network)、オートエンコーダ(autoencoder)に分けられる。
  論文  参考訳（メタデータ） (2021-05-26T14:37:07Z)
• DeepReduce: A Sparse-tensor Communication Framework for Distributed Deep Learning [79.89085533866071]
  本稿では,スパーステンソルの圧縮通信のための汎用的フレームワークであるDeepReduceを紹介する。 DeepReduceはテンソルを2つの集合、値とインデックスに分解し、これらの集合の独立圧縮と結合圧縮を可能にする。 大規模実モデルを用いた実験により,DeepReduceはデータ転送を少なくし,既存の手法よりも計算オーバーヘッドを小さくすることを示した。
  論文  参考訳（メタデータ） (2021-02-05T11:31:24Z)
• Sparsity in Deep Learning: Pruning and growth for efficient inference and training in neural networks [78.47459801017959]
  Sparsityは、モバイル機器に適合する通常のネットワークのメモリフットプリントを減らすことができる。 ニューラルネットワークの要素を除去および追加するためのアプローチ、モデルの疎性を達成するための異なるトレーニング戦略、実際に疎性を利用するメカニズムについて説明する。
  論文  参考訳（メタデータ） (2021-01-31T22:48:50Z)
• A Chain Graph Interpretation of Real-World Neural Networks [58.78692706974121]
  本稿では,NNを連鎖グラフ(CG)、フィードフォワードを近似推論手法として識別する別の解釈を提案する。 CG解釈は、確率的グラフィカルモデルのリッチな理論的枠組みの中で、各NNコンポーネントの性質を規定する。 我々は,CG解釈が様々なNN技術に対する新しい理論的支援と洞察を提供することを示す具体例を実例で示す。
  論文  参考訳（メタデータ） (2020-06-30T14:46:08Z)
• Layer Sparsity in Neural Networks [7.436953928903182]
  ニューラルネットワークの枠組みにおける空間性について論じる。 特に、ネットワークの層に関する空間性という新しい概念を定式化します。 よりコンパクトで正確なネットワークを生成するために、対応する正規化と再構成方式を導入する。
  論文  参考訳（メタデータ） (2020-06-28T13:41:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。