論文の概要: Assessing Simplification Levels in Neural Networks: The Impact of Hyperparameter Configurations on Complexity and Sensitivity
- arxiv url: http://arxiv.org/abs/2409.16086v1
- Date: Tue, 24 Sep 2024 13:39:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-26 05:46:35.929510
- Title: Assessing Simplification Levels in Neural Networks: The Impact of Hyperparameter Configurations on Complexity and Sensitivity
- Title(参考訳): ニューラルネットワークにおける単純化レベルの評価:超パラメータ構成が複雑度と感度に及ぼす影響
- Authors: Huixin Guan,
- Abstract要約: MNISTデータセットを使用して実施された実験は、ハイパーパラメータ、複雑性、感度の関係に関する洞察を提供することを目的としており、ニューラルネットワークにおけるこれらの概念のより深い理論的理解に寄与している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents an experimental study focused on understanding the simplification properties of neural networks under different hyperparameter configurations, specifically investigating the effects on Lempel Ziv complexity and sensitivity. By adjusting key hyperparameters such as activation functions, hidden layers, and learning rate, this study evaluates how these parameters impact the complexity of network outputs and their robustness to input perturbations. The experiments conducted using the MNIST dataset aim to provide insights into the relationships between hyperparameters, complexity, and sensitivity, contributing to a deeper theoretical understanding of these concepts in neural networks.
- Abstract(参考訳): 本稿では,異なるハイパーパラメータ構成下でのニューラルネットワークの単純化特性の解明に焦点をあて,特にLempel Zivの複雑性と感度への影響について検討する。
アクティベーション関数や隠れ層,学習率などの重要なハイパーパラメータを調整することで,これらのパラメータがネットワーク出力の複雑さや入力摂動に対する頑健性にどのように影響するかを評価する。
MNISTデータセットを使用して実施された実験は、ハイパーパラメータ、複雑性、感度の関係に関する洞察を提供することを目的としており、ニューラルネットワークにおけるこれらの概念のより深い理論的理解に寄与している。
関連論文リスト
- The Empirical Impact of Neural Parameter Symmetries, or Lack Thereof [50.49582712378289]
本稿では,パラメータ空間対称性を低減した新しいニューラルネットワークアーキテクチャを導入することにより,ニューラルパラメータ対称性の影響について検討する。
重み空間をアライメントすることなく、ネットワーク間の線形モード接続を観測し、ネットワークがより高速で効果的なベイズニューラルネットワークトレーニングを可能にすることを発見した。
論文 参考訳(メタデータ) (2024-05-30T16:32:31Z) - A Spiking Binary Neuron -- Detector of Causal Links [0.0]
因果関係認識は、学習行動、行動計画、外界ダイナミクスの推論を目的としたニューラルネットワークの基本的な操作である。
本研究は、単純なスパイク二元性ニューロンを用いた因果関係認識を実現するための新しいアプローチを提案する。
論文 参考訳(メタデータ) (2023-09-15T15:34:17Z) - Exploring the Complexity of Deep Neural Networks through Functional Equivalence [1.3597551064547502]
本稿では,ニューラルネットワークの複雑性を低減できることを示す,ディープニューラルネットワークの被覆数に縛られた新しい手法を提案する。
ネットワーク幅の増大により有効パラメータ空間の容量が減少するので、パラメータ化ネットワーク上でのトレーニングが容易になる傾向があるため、関数同値の利点が最適化されることを実証する。
論文 参考訳(メタデータ) (2023-05-19T04:01:27Z) - Beyond Multilayer Perceptrons: Investigating Complex Topologies in
Neural Networks [0.12289361708127873]
ニューラルネットワーク(ANN)の近似能力に及ぼすネットワークトポロジの影響について検討する。
本稿では,Barab'asi-Albert,ErdHos-R'enyi,Watts-Strogatz,Multilayer perceptrons(MLPs)など,様々なトポロジに基づく複雑なANNの構築手法を提案する。
構築されたネットワークは、多様体学習ジェネレータから生成された合成データセット、タスクの難易度とノイズのレベル、およびUCIの実際のデータセットに基づいて評価される。
論文 参考訳(メタデータ) (2023-03-31T09:48:16Z) - Impact of spiking neurons leakages and network recurrences on
event-based spatio-temporal pattern recognition [0.0]
ニューロモルフィックハードウェアとイベントベースのセンサーを組み合わせたスパイクニューラルネットワークは、エッジにおける低レイテンシと低パワー推論への関心が高まっている。
スパイキングニューロンにおけるシナプスおよび膜漏れの影響について検討する。
論文 参考訳(メタデータ) (2022-11-14T21:34:02Z) - Deepening Neural Networks Implicitly and Locally via Recurrent Attention
Strategy [6.39424542887036]
リカレントアテンション戦略は、局所パラメータ共有により、軽量アテンションモジュールによるニューラルネットワークの深さを暗黙的に増加させる。
広く使用されている3つのベンチマークデータセットの実験は、RASがパラメータサイズと計算をわずかに増やすことで、ニューラルネットワークのパフォーマンスを向上させることを実証している。
論文 参考訳(メタデータ) (2022-10-27T13:09:02Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Towards Understanding Theoretical Advantages of Complex-Reaction
Networks [77.34726150561087]
パラメータ数を用いて,関数のクラスを複素反応ネットワークで近似できることを示す。
経験的リスク最小化については,複素反応ネットワークの臨界点集合が実数値ネットワークの固有部分集合であることを示す。
論文 参考訳(メタデータ) (2021-08-15T10:13:49Z) - Formalizing Generalization and Robustness of Neural Networks to Weight
Perturbations [58.731070632586594]
非負のモノトーンアクティベーション機能を備えたフィードフォワードニューラルネットワークの重量変動に対する最初の形式解析を提供します。
また,重みの摂動に対して一般化し頑健なニューラルネットワークを訓練するための新しい理論駆動損失関数を設計した。
論文 参考訳(メタデータ) (2021-03-03T06:17:03Z) - Towards Interaction Detection Using Topological Analysis on Neural
Networks [55.74562391439507]
ニューラルネットワークでは、あらゆる相互作用する特徴は共通の隠蔽ユニットとの強い重み付けの接続に従う必要がある。
本稿では, 永続的ホモロジーの理論に基づいて, 相互作用強度を定量化するための新しい尺度を提案する。
PID(Persistence Interaction Detection)アルゴリズムを開発した。
論文 参考訳(メタデータ) (2020-10-25T02:15:24Z) - Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。
本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
論文 参考訳(メタデータ) (2020-01-14T22:26:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。