論文の概要: Understanding Generalization, Robustness, and Interpretability in Low-Capacity Neural Networks
- arxiv url: http://arxiv.org/abs/2507.16278v1
- Date: Tue, 22 Jul 2025 06:43:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-23 21:34:13.995753
- Title: Understanding Generalization, Robustness, and Interpretability in Low-Capacity Neural Networks
- Title（参考訳）: 低容量ニューラルネットワークにおける一般化・ロバスト性・解釈可能性の理解
- Authors: Yash Kumar,
- Abstract要約: 低容量ネットワークにおけるキャパシティ、スパシティ、ロバスト性を調査するためのフレームワークを導入する。
トレーニングされたネットワークは、極大プルーニング(最大95%の間隔)に対して堅牢であることを示す。
この研究は、単純なニューラルネットワークを管理するトレードオフの明確で実証的なデモンストレーションを提供する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Although modern deep learning often relies on massive over-parameterized models, the fundamental interplay between capacity, sparsity, and robustness in low-capacity networks remains a vital area of study. We introduce a controlled framework to investigate these properties by creating a suite of binary classification tasks from the MNIST dataset with increasing visual difficulty (e.g., 0 and 1 vs. 4 and 9). Our experiments reveal three core findings. First, the minimum model capacity required for successful generalization scales directly with task complexity. Second, these trained networks are robust to extreme magnitude pruning (up to 95% sparsity), revealing the existence of sparse, high-performing subnetworks. Third, we show that over-parameterization provides a significant advantage in robustness against input corruption. Interpretability analysis via saliency maps further confirms that these identified sparse subnetworks preserve the core reasoning process of the original dense models. This work provides a clear, empirical demonstration of the foundational trade-offs governing simple neural networks.
- Abstract（参考訳）: 現代のディープラーニングは、しばしば大規模な過パラメータ化モデルに依存しているが、低容量ネットワークにおけるキャパシティ、スパーシリティ、ロバストネスの基本的な相互作用は、依然として重要な研究領域である。
視覚的困難度(例えば、0と1対4と9)を増すMNISTデータセットからバイナリ分類タスクのスイートを作成することにより、これらの特性を調べるための制御フレームワークを導入する。
私たちの実験では3つの中核的な発見が判明した。
第一に、一般化を成功させるために必要な最小モデル容量は、タスクの複雑さと直接的にスケールする。
第二に、これらの訓練されたネットワークは、極端に大きめのプルーニング(95%の間隔)に頑丈であり、スパースで高性能なサブネットワークの存在を明らかにしている。
第三に、過パラメータ化は入力の破損に対する堅牢性に大きな利点をもたらすことを示す。
サリエンシマップによる解釈可能性解析は、これらの特定されたスパースサブネットが元の密度モデルの中核的推論過程を保存することをさらに確認する。
この研究は、単純なニューラルネットワークを管理する基本的なトレードオフの明確で実証的なデモンストレーションを提供する。
関連論文リスト
- Feature Averaging: An Implicit Bias of Gradient Descent Leading to Non-Robustness in Neural Networks [13.983863226803336]
勾配降下によって訓練されたニューラルネットワークは、分類に平均的な特徴に依存する傾向があることを示す。
勾配降下は、各隠れニューロンの重みがクラスター中心の平均を表す特徴平均化に偏りがあることを証明した。
我々は,2層ReLUネットワークが個々の特徴を分類する訓練を行う際に,最適なロバスト性を実現することを証明した。
論文 参考訳（メタデータ） (2024-10-14T09:28:32Z) - Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。
具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。
そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
論文 参考訳（メタデータ） (2024-08-08T17:20:08Z) - Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。
具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
論文 参考訳（メタデータ） (2023-12-03T13:50:24Z) - Provable Guarantees for Nonlinear Feature Learning in Three-Layer Neural Networks [44.31729147722701]
3層ニューラルネットワークは,2層ネットワークよりも特徴学習能力が豊富であることを示す。
この研究は、特徴学習体制における2層ネットワーク上の3層ニューラルネットワークの証明可能なメリットを理解するための前進である。
論文 参考訳（メタデータ） (2023-05-11T17:19:30Z) - Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural
Networks [89.28881869440433]
本稿では,グラフニューラルネットワーク(GNN)における結合エッジモデルスパース学習の理論的特徴について述べる。
解析学的には、重要なノードをサンプリングし、最小のマグニチュードでプルーニングニューロンをサンプリングすることで、サンプルの複雑さを減らし、テスト精度を損なうことなく収束を改善することができる。
論文 参考訳（メタデータ） (2023-02-06T16:54:20Z) - Overcoming Simplicity Bias in Deep Networks using a Feature Sieve [5.33024001730262]
本稿では,深層ネットワークにおける単純さバイアスに対処するための直接的,介入的手法を提案する。
ネットワークの下位層で容易に計算可能なスプリアス機能を自動的に識別し,抑制することを目的としている。
実世界のデバイアスのベンチマークでは,かなりの増加が報告されている。
論文 参考訳（メタデータ） (2023-01-30T21:11:13Z) - Neural networks trained with SGD learn distributions of increasing
complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。
その後、トレーニング中にのみ高次の統計を利用する。
本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文 参考訳（メタデータ） (2022-11-21T15:27:22Z) - Functional Network: A Novel Framework for Interpretability of Deep
Neural Networks [2.641939670320645]
本稿では,深層ニューラルネットワーク,すなわち関数型ネットワークの解釈可能性に関する新しい枠組みを提案する。
本実験では, バッチ正規化とドロップアウトという正則化手法のメカニズムを明らかにした。
論文 参考訳（メタデータ） (2022-05-24T01:17:36Z) - Understanding Adversarial Robustness from Feature Maps of Convolutional
Layers [23.42376264664302]
ニューラルネットワークの摂動能力は、主にモデル容量と摂動能力の2つの要因に依存している。
畳み込み層の特徴マップからネットワークの摂動防止能力について検討する。
自然な精度と敵の堅牢性の両面での非自明な改善は、様々な攻撃・防御機構の下で達成できる。
論文 参考訳（メタデータ） (2022-02-25T00:14:59Z) - Analytic Insights into Structure and Rank of Neural Network Hessian Maps [32.90143789616052]
ニューラルネットワークのヘシアンは、損失の2階微分を通じてパラメータ相互作用をキャプチャする。
我々は、ヘッセン写像の範囲を分析する理論的ツールを開発し、その階数不足の正確な理解を提供する。
これにより、ディープ線形ネットワークのヘッセン階数に対する正確な公式と厳密な上界が得られる。
論文 参考訳（メタデータ） (2021-06-30T17:29:58Z) - Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。
我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
論文 参考訳（メタデータ） (2021-02-23T20:59:30Z) - The Self-Simplifying Machine: Exploiting the Structure of Piecewise
Linear Neural Networks to Create Interpretable Models [0.0]
本稿では,分類タスクに対するPiecewise Linear Neural Networksの単純化と解釈性向上のための新しい手法を提案する。
我々の手法には、トレーニングを伴わずに、訓練された深層ネットワークを使用して、良好なパフォーマンスと単一隠れ層ネットワークを生成する方法が含まれる。
これらの手法を用いて,モデル性能の予備的研究およびウェルズ・ファーゴのホームレンディングデータセットのケーススタディを行う。
論文 参考訳（メタデータ） (2020-12-02T16:02:14Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。