論文の概要: Robustness in sparse artificial neural networks trained with adaptive topology
- arxiv url: http://arxiv.org/abs/2602.21961v1
- Date: Wed, 25 Feb 2026 14:44:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-26 18:19:16.869319
- Title: Robustness in sparse artificial neural networks trained with adaptive topology
- Title（参考訳）: 適応トポロジを訓練したスパース人工ニューラルネットワークのロバスト性
- Authors: Bendegúz Sulyok, Gergely Palla, Filippo Radicchi, Santo Fortunato,
- Abstract要約: 我々は,MNIST や Fashion MNIST などの画像分類タスクに適用した,疎度 99% のスパース層と高密度層からなる単純で効果的なアーキテクチャに焦点をあてる。
各エポック間のスパース層のトポロジーを更新することにより,重量が著しく減少しているにもかかわらず,競争精度が向上する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We investigate the robustness of sparse artificial neural networks trained with adaptive topology. We focus on a simple yet effective architecture consisting of three sparse layers with 99% sparsity followed by a dense layer, applied to image classification tasks such as MNIST and Fashion MNIST. By updating the topology of the sparse layers between each epoch, we achieve competitive accuracy despite the significantly reduced number of weights. Our primary contribution is a detailed analysis of the robustness of these networks, exploring their performance under various perturbations including random link removal, adversarial attack, and link weight shuffling. Through extensive experiments, we demonstrate that adaptive topology not only enhances efficiency but also maintains robustness. This work highlights the potential of adaptive sparse networks as a promising direction for developing efficient and reliable deep learning models.
- Abstract（参考訳）: 適応トポロジで訓練したスパース人工ニューラルネットワークのロバスト性について検討する。
我々は,MNIST や Fashion MNIST などの画像分類タスクに適用した,疎度 99% のスパース層と高密度層からなる単純で効果的なアーキテクチャに焦点をあてる。
各エポック間のスパース層のトポロジーを更新することにより,重量が著しく減少しているにもかかわらず,競争精度が向上する。
我々の主な貢献は、これらのネットワークの頑健さを詳細に分析し、ランダムリンク除去、敵攻撃、リンクウェイトシャッフルなど、様々な摂動の下でそれらの性能を探索することである。
広範な実験を通して、適応トポロジーは効率を向上するだけでなく、堅牢性も維持することを示した。
この研究は、効率的で信頼性の高いディープラーニングモデルを開発するための有望な方向として、適応スパースネットワークの可能性を強調している。
関連論文リスト
- Cannistraci-Hebb Training on Ultra-Sparse Spiking Neural Networks [10.30800655748035]
スパイキングニューラルネットワーク(SNN)は本質的に時間的アクティベーション間隔を持つ。
既存の手法では、大きな性能損失を伴わずに超スパースネットワーク構造を達成できない。
本稿では,SNN のための新規かつ一般化可能な動的スパーストレーニングフレームワークである Cannistraci-Hebb Spiking Neural Network (CH-SNN) を提案する。
論文 参考訳（メタデータ） (2025-11-05T07:59:19Z) - Network Sparsity Unlocks the Scaling Potential of Deep Reinforcement Learning [57.3885832382455]
静的ネットワークの疎結合を単独で導入することで,最先端アーキテクチャの高密度化を超えて,さらなるスケーリング可能性を実現することができることを示す。
解析の結果,高密度DRLネットワークをネーティブにスケールアップするのとは対照的に,疎ネットワークは高いパラメータ効率とネットワーク表現性を両立させることがわかった。
論文 参考訳（メタデータ） (2025-06-20T17:54:24Z) - Auto-Compressing Networks [51.221103189527014]
本稿では,各層からの長いフィードフォワード接続が従来の短残コネクションに取って代わるアーキテクチャ変種であるAuto-compression Networks (ACNs)を紹介する。
本稿では,ACNが残差ネットワークと比較して高雑音を示すこと,低データ設定における優れた性能を示すこと,破滅的忘れを軽減できることを述べる。
これらの知見は、効率的な神経アーキテクチャを開発するための実践的なアプローチとしてACNを確立している。
論文 参考訳（メタデータ） (2025-06-11T13:26:09Z) - Adaptive Pruning with Module Robustness Sensitivity: Balancing Compression and Robustness [7.742297876120561]
本稿では, 対向摂動に対する層次感度を定量化する新しい計量法であるModule Robustness Sensitivity (MRS)を紹介する。
本稿では,任意の対向学習法に適合する適応型プルーニングアルゴリズムであるModule Robust Pruning and Fine-Tuning (MRPF)を提案する。
論文 参考訳（メタデータ） (2024-10-19T18:35:52Z) - Provable Guarantees for Nonlinear Feature Learning in Three-Layer Neural Networks [44.31729147722701]
3層ニューラルネットワークは,2層ネットワークよりも特徴学習能力が豊富であることを示す。
この研究は、特徴学習体制における2層ネットワーク上の3層ニューラルネットワークの証明可能なメリットを理解するための前進である。
論文 参考訳（メタデータ） (2023-05-11T17:19:30Z) - Understanding Adversarial Robustness from Feature Maps of Convolutional
Layers [23.42376264664302]
ニューラルネットワークの摂動能力は、主にモデル容量と摂動能力の2つの要因に依存している。
畳み込み層の特徴マップからネットワークの摂動防止能力について検討する。
自然な精度と敵の堅牢性の両面での非自明な改善は、様々な攻撃・防御機構の下で達成できる。
論文 参考訳（メタデータ） (2022-02-25T00:14:59Z) - Localized Persistent Homologies for more Effective Deep Learning [60.78456721890412]
ネットワークトレーニング中の位置を考慮に入れた新しいフィルタ機能を利用する手法を提案する。
この方法で訓練されたネットワークが抽出した曲線構造のトポロジを回復するのに役立つ道路の2次元画像と神経過程の3次元画像スタックを実験的に実証した。
論文 参考訳（メタデータ） (2021-10-12T19:28:39Z) - Neural Architecture Dilation for Adversarial Robustness [56.18555072877193]
畳み込みニューラルネットワークの欠点は、敵の攻撃に弱いことである。
本稿では, 良好な精度を有する背骨CNNの対角的堅牢性を向上させることを目的とする。
最小限の計算オーバーヘッドの下では、拡張アーキテクチャはバックボーンCNNの標準的な性能と親和性が期待できる。
論文 参考訳（メタデータ） (2021-08-16T03:58:00Z) - Improving Neural Network Robustness through Neighborhood Preserving
Layers [0.751016548830037]
このような層を組み込むことができ、効率的にトレーニングできる新しいニューラルネットワークアーキテクチャを実証する。
我々は、設計したネットワークアーキテクチャが、最先端の勾配に基づく攻撃に対してより堅牢であることを実証的に示す。
論文 参考訳（メタデータ） (2021-01-28T01:26:35Z) - HALO: Learning to Prune Neural Networks with Shrinkage [5.283963846188862]
ディープニューラルネットワークは、構造化されていないデータから豊富な特徴セットを抽出することにより、さまざまなタスクで最先端のパフォーマンスを実現する。
提案手法は,(1)ネットワークプルーニング,(2)スパシティ誘導ペナルティによるトレーニング,(3)ネットワークの重みと連動してバイナリマスクをトレーニングすることである。
トレーニング可能なパラメータを用いて、与えられたネットワークの重みを適応的に分散化することを学ぶ階層適応ラッソ(Hierarchical Adaptive Lasso)という新しいペナルティを提案する。
論文 参考訳（メタデータ） (2020-08-24T04:08:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。