論文の概要: The Effect of Data Dimensionality on Neural Network Prunability
- arxiv url: http://arxiv.org/abs/2212.00291v1
- Date: Thu, 1 Dec 2022 05:33:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-02 16:49:40.172381
- Title: The Effect of Data Dimensionality on Neural Network Prunability
- Title(参考訳): ニューラルネットワークの動作性に及ぼすデータ次元の影響
- Authors: Zachary Ankner, Alex Renda, Gintare Karolina Dziugaite, Jonathan
Frankle, Tian Jin
- Abstract要約: ニューラルネットワークのプルーナビリティに寄与する可能性のある入力データの特性について検討する。
画像、テキスト、音声などの高次元の入力データに対して、多様体仮説はこれらの高次元の入力が、かなり低い次元の多様体の上または近くにあることを示唆している。
- 参考スコア(独自算出の注目度): 28.845848452511955
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Practitioners prune neural networks for efficiency gains and generalization
improvements, but few scrutinize the factors determining the prunability of a
neural network the maximum fraction of weights that pruning can remove without
compromising the model's test accuracy. In this work, we study the properties
of input data that may contribute to the prunability of a neural network. For
high dimensional input data such as images, text, and audio, the manifold
hypothesis suggests that these high dimensional inputs approximately lie on or
near a significantly lower dimensional manifold. Prior work demonstrates that
the underlying low dimensional structure of the input data may affect the
sample efficiency of learning. In this paper, we investigate whether the low
dimensional structure of the input data affects the prunability of a neural
network.
- Abstract(参考訳): 効率向上と一般化のためにニューラルネットワークをプルーニングするが、モデルのテスト精度を損なうことなく、プルーニングが除去できる最大重みの比率をニューラルネットワークのプルーナビリティを決定する要因を精査する人は少ない。
本研究では,ニューラルネットワークのプルーナビリティに寄与する可能性のある入力データの特性について検討する。
画像、テキスト、音声といった高次元の入力データに対して、多様体仮説は、これらの高次元の入力が概ね低次元の多様体上またはその近くに存在することを示唆する。
先行研究は、入力データの下位の低次元構造が学習のサンプル効率に影響を及ぼすことを示した。
本稿では,入力データの低次元構造がニューラルネットワークのプルーナビリティに与える影響について検討する。
関連論文リスト
- Deep Neural Networks Tend To Extrapolate Predictably [56.04573160453392]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳(メタデータ) (2023-10-02T03:25:32Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳(メタデータ) (2023-07-20T13:34:11Z) - A Theoretical Analysis on Feature Learning in Neural Networks: Emergence
from Inputs and Advantage over Fixed Features [18.321479102352875]
ニューラルネットワークの重要な特徴は、予測に有効な特徴を持つ入力データの表現を学ぶ能力である。
実践的なデータによって動機づけられた学習問題を考察し、そこでは、ラベルが一連のクラス関連パターンによって決定され、それらから入力が生成される。
勾配降下によって訓練されたニューラルネットワークがこれらの問題に成功できることを実証する。
論文 参考訳(メタデータ) (2022-06-03T17:49:38Z) - Robust Deep Neural Network Estimation for Multi-dimensional Functional
Data [0.22843885788439797]
多次元関数データから位置関数のロバストな推定法を提案する。
提案した推定器は、ReLUアクティベーション機能を持つディープニューラルネットワークに基づいている。
また,アルツハイマー病患者の2Dおよび3D画像の解析にも応用した。
論文 参考訳(メタデータ) (2022-05-19T14:53:33Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Dive into Layers: Neural Network Capacity Bounding using Algebraic
Geometry [55.57953219617467]
ニューラルネットワークの学習性はそのサイズと直接関連していることを示す。
入力データとニューラルネットワークのトポロジ的幾何学的複雑さを測定するためにベッチ数を用いる。
実世界のデータセットMNISTで実験を行い、分析結果と結論を検証した。
論文 参考訳(メタデータ) (2021-09-03T11:45:51Z) - And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。
そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。
MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
論文 参考訳(メタデータ) (2021-02-15T08:19:05Z) - Towards Robust Neural Networks via Close-loop Control [12.71446168207573]
深層ニューラルネットワークは、ブラックボックスの性質のため、様々な摂動に弱い。
近年の研究では、入力データが知覚不可能な量で摂動しても、ディープニューラルネットワークがデータを誤分類できることが示されている。
論文 参考訳(メタデータ) (2021-02-03T03:50:35Z) - Information contraction in noisy binary neural networks and its
implications [11.742803725197506]
我々は、各ニューロンが不正な出力を発生させる確率がゼロでない、ノイズの多いバイナリニューラルネットワークを考察する。
私たちの重要な発見は、ノイズの多いニューラルネットワークで必要なニューロンの数が少ないことです。
本稿では,情報理論のレンズを通して,ノイズの多い情報処理システムに対する新たな理解を提供する。
論文 参考訳(メタデータ) (2021-01-28T00:01:45Z) - On Tractable Representations of Binary Neural Networks [23.50970665150779]
我々は、二項ニューラルネットワークの決定関数を、順序付き二項決定図(OBDD)や意味決定図(SDD)などの抽出可能な表現にコンパイルすることを検討する。
実験では,SDDとしてニューラルネットワークのコンパクトな表現を得ることが可能であることを示す。
論文 参考訳(メタデータ) (2020-04-05T03:21:26Z) - Beyond Dropout: Feature Map Distortion to Regularize Deep Neural
Networks [107.77595511218429]
本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。
上記の問題に対処するための特徴歪み法(Disout)を提案する。
より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
論文 参考訳(メタデータ) (2020-02-23T13:59:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。