論文の概要: The Effect of Data Dimensionality on Neural Network Prunability
- arxiv url: http://arxiv.org/abs/2212.00291v1
- Date: Thu, 1 Dec 2022 05:33:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-02 16:49:40.172381
- Title: The Effect of Data Dimensionality on Neural Network Prunability
- Title（参考訳）: ニューラルネットワークの動作性に及ぼすデータ次元の影響
- Authors: Zachary Ankner, Alex Renda, Gintare Karolina Dziugaite, Jonathan
Frankle, Tian Jin
- Abstract要約: ニューラルネットワークのプルーナビリティに寄与する可能性のある入力データの特性について検討する。
画像、テキスト、音声などの高次元の入力データに対して、多様体仮説はこれらの高次元の入力が、かなり低い次元の多様体の上または近くにあることを示唆している。
- 参考スコア（独自算出の注目度）: 28.845848452511955
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Practitioners prune neural networks for efficiency gains and generalization
improvements, but few scrutinize the factors determining the prunability of a
neural network the maximum fraction of weights that pruning can remove without
compromising the model's test accuracy. In this work, we study the properties
of input data that may contribute to the prunability of a neural network. For
high dimensional input data such as images, text, and audio, the manifold
hypothesis suggests that these high dimensional inputs approximately lie on or
near a significantly lower dimensional manifold. Prior work demonstrates that
the underlying low dimensional structure of the input data may affect the
sample efficiency of learning. In this paper, we investigate whether the low
dimensional structure of the input data affects the prunability of a neural
network.
- Abstract（参考訳）: 効率向上と一般化のためにニューラルネットワークをプルーニングするが、モデルのテスト精度を損なうことなく、プルーニングが除去できる最大重みの比率をニューラルネットワークのプルーナビリティを決定する要因を精査する人は少ない。
本研究では,ニューラルネットワークのプルーナビリティに寄与する可能性のある入力データの特性について検討する。
画像、テキスト、音声といった高次元の入力データに対して、多様体仮説は、これらの高次元の入力が概ね低次元の多様体上またはその近くに存在することを示唆する。
先行研究は、入力データの下位の低次元構造が学習のサンプル効率に影響を及ぼすことを示した。
本稿では,入力データの低次元構造がニューラルネットワークのプルーナビリティに与える影響について検討する。
関連論文リスト
- Residual Random Neural Networks [0.0]
ランダムな重みを持つ単層フィードフォワードニューラルネットワークは、ニューラルネットワークの文献の中で繰り返されるモチーフである。
隠れたニューロンの数がデータサンプルの次元と等しくない場合でも,優れた分類結果が得られることを示す。
論文 参考訳（メタデータ） (2024-10-25T22:00:11Z) - Verified Neural Compressed Sensing [58.98637799432153]
精度の高い計算タスクのために、初めて(私たちの知識を最大限に活用するために)証明可能なニューラルネットワークを開発します。
極小問題次元(最大50)では、線形および双項線形測定からスパースベクトルを確実に回復するニューラルネットワークを訓練できることを示す。
ネットワークの複雑さは問題の難易度に適応できることを示し、従来の圧縮センシング手法が証明不可能な問題を解く。
論文 参考訳（メタデータ） (2024-05-07T12:20:12Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - A Theoretical Analysis on Feature Learning in Neural Networks: Emergence
from Inputs and Advantage over Fixed Features [18.321479102352875]
ニューラルネットワークの重要な特徴は、予測に有効な特徴を持つ入力データの表現を学ぶ能力である。
実践的なデータによって動機づけられた学習問題を考察し、そこでは、ラベルが一連のクラス関連パターンによって決定され、それらから入力が生成される。
勾配降下によって訓練されたニューラルネットワークがこれらの問題に成功できることを実証する。
論文 参考訳（メタデータ） (2022-06-03T17:49:38Z) - Robust Deep Neural Network Estimation for Multi-dimensional Functional
Data [0.22843885788439797]
多次元関数データから位置関数のロバストな推定法を提案する。
提案した推定器は、ReLUアクティベーション機能を持つディープニューラルネットワークに基づいている。
また,アルツハイマー病患者の2Dおよび3D画像の解析にも応用した。
論文 参考訳（メタデータ） (2022-05-19T14:53:33Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Dive into Layers: Neural Network Capacity Bounding using Algebraic
Geometry [55.57953219617467]
ニューラルネットワークの学習性はそのサイズと直接関連していることを示す。
入力データとニューラルネットワークのトポロジ的幾何学的複雑さを測定するためにベッチ数を用いる。
実世界のデータセットMNISTで実験を行い、分析結果と結論を検証した。
論文 参考訳（メタデータ） (2021-09-03T11:45:51Z) - And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。
そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。
MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
論文 参考訳（メタデータ） (2021-02-15T08:19:05Z) - Towards Robust Neural Networks via Close-loop Control [12.71446168207573]
深層ニューラルネットワークは、ブラックボックスの性質のため、様々な摂動に弱い。
近年の研究では、入力データが知覚不可能な量で摂動しても、ディープニューラルネットワークがデータを誤分類できることが示されている。
論文 参考訳（メタデータ） (2021-02-03T03:50:35Z) - Information contraction in noisy binary neural networks and its
implications [11.742803725197506]
我々は、各ニューロンが不正な出力を発生させる確率がゼロでない、ノイズの多いバイナリニューラルネットワークを考察する。
私たちの重要な発見は、ノイズの多いニューラルネットワークで必要なニューロンの数が少ないことです。
本稿では,情報理論のレンズを通して,ノイズの多い情報処理システムに対する新たな理解を提供する。
論文 参考訳（メタデータ） (2021-01-28T00:01:45Z) - Beyond Dropout: Feature Map Distortion to Regularize Deep Neural
Networks [107.77595511218429]
本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。
上記の問題に対処するための特徴歪み法(Disout)を提案する。
より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
論文 参考訳（メタデータ） (2020-02-23T13:59:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。