論文の概要: Systematic Characterization of Minimal Deep Learning Architectures: A Unified Analysis of Convergence, Pruning, and Quantization

• arxiv url: http://arxiv.org/abs/2601.17987v1
• Date: Sun, 25 Jan 2026 20:31:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-27 15:23:08.571559
• Title: Systematic Characterization of Minimal Deep Learning Architectures: A Unified Analysis of Convergence, Pruning, and Quantization
• Title（参考訳）: 最小深層学習アーキテクチャの体系的評価:収束, プルーニング, 量子化の統一解析
• Authors: Ziwei Zheng, Huizhi Liang, Vaclav Snasel, Vito Latora, Panos Pardalos, Giuseppe Nicosia, Varun Ojha,
• Abstract要約: ディープラーニングネットワークは分類が優れているが、タスクを確実に解決する最小限のアーキテクチャを特定することは依然として難しい。 本稿では,コンバージェンス,プルーニング,量子化の関係を探索し,解析するための計算手法を提案する。 私たちの最初の結果は、アーキテクチャの多様性にもかかわらず、パフォーマンスはほとんど不変であり、学習力学は、不安定、学習、過剰適合の3つの条件を一貫して示していることを示している。
• 参考スコア（独自算出の注目度）: 6.49583548940407
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning networks excel at classification, yet identifying minimal architectures that reliably solve a task remains challenging. We present a computational methodology for systematically exploring and analyzing the relationships among convergence, pruning, and quantization. The workflow first performs a structured design sweep across a large set of architectures, then evaluates convergence behavior, pruning sensitivity, and quantization robustness on representative models. Focusing on well-known image classification of increasing complexity, and across Deep Neural Networks, Convolutional Neural Networks, and Vision Transformers, our initial results show that, despite architectural diversity, performance is largely invariant and learning dynamics consistently exhibit three regimes: unstable, learning, and overfitting. We further characterize the minimal learnable parameters required for stable learning, uncover distinct convergence and pruning phases, and quantify the effect of reduced numeric precision on trainable parameters. Aligning with intuition, the results confirm that deeper architectures are more resilient to pruning than shallower ones, with parameter redundancy as high as 60%, and quantization impacts models with fewer learnable parameters more severely and has a larger effect on harder image datasets. These findings provide actionable guidance for selecting compact, stable models under pruning and low-precision constraints in image classification.
• Abstract（参考訳）: ディープラーニングネットワークは分類が優れているが、タスクを確実に解決する最小限のアーキテクチャを特定することは依然として難しい。 本稿では,コンバージェンス,プルーニング,量子化の関係を体系的に探索し,解析するための計算手法を提案する。 ワークフローはまず、大規模なアーキテクチャの集合を網羅した構造化設計を行い、次に収束挙動、プルーニング感度、および代表モデルの量子化ロバスト性を評価する。 複雑性の増大や、Deep Neural Networks、Convolutional Neural Networks、Vision Transformersなど、よく知られたイメージ分類に注目して、最初の結果は、アーキテクチャの多様性にもかかわらず、パフォーマンスはほとんど不変であり、学習のダイナミクスは、不安定、学習、過剰適合の3つのシステマを一貫して表していることを示している。 さらに、安定学習に必要な最小限の学習可能なパラメータを特徴付けるとともに、学習可能なパラメータに対する数値精度の低減の効果を定量化する。 直感と相まって、より深いアーキテクチャは、より浅いものよりもプルーニングに対して弾力性があり、パラメータの冗長性が60%まで高く、量子化は学習可能なパラメータがより少ないモデルに深刻な影響を与え、より難しい画像データセットにより大きな影響を及ぼすことを確認した。 これらの結果は、画像分類におけるプルーニングおよび低精度制約の下で、コンパクトで安定したモデルを選択するための実用的なガイダンスを提供する。

関連論文リスト

• Implicit Neural Representation-Based Continuous Single Image Super Resolution: An Empirical Study [50.15623093332659]
  入射神経表現(INR)は任意のスケール画像超解像(ASSR)の標準的アプローチとなっている 既存の手法を多様な設定で比較し、複数の画像品質指標に対して集計結果を示す。 トレーニング中, エッジ, テクスチャ, 細部を保存しながら, 強度変化をペナライズする新たな損失関数について検討した。
  論文  参考訳（メタデータ） (2026-01-25T07:09:20Z)
• Generalized Factor Neural Network Model for High-dimensional Regression [50.554377879576066]
  複素・非線形・雑音に隠れた潜在低次元構造を持つ高次元データセットをモデル化する課題に取り組む。 我々のアプローチは、非パラメトリック回帰、因子モデル、高次元回帰のためのニューラルネットワークの概念のシームレスな統合を可能にする。
  論文  参考訳（メタデータ） (2025-02-16T23:13:55Z)
• LayerMix: Enhanced Data Augmentation through Fractal Integration for Robust Deep Learning [1.786053901581251]
  ディープラーニングモデルは、アウト・オブ・ディストリビューション(OOD)のサンプルに直面すると、一貫したパフォーマンスを維持するのに苦労することが多い。 モデルロバスト性を体系的に強化する革新的なデータ拡張アプローチであるLayerMixを紹介する。 本手法は,ニューラルネットワークの一般化能力を大幅に向上させる意味論的一貫した合成サンプルを生成する。
  論文  参考訳（メタデータ） (2025-01-08T22:22:44Z)
• ConsistentFeature: A Plug-and-Play Component for Neural Network Regularization [0.32885740436059047]
  過パラメータ化されたニューラルネットワークモデルは、トレーニングとテストセットの間に大きなパフォーマンスの相違をもたらすことが多い。 モデルは異なるデータセットで異なる表現を学習する。 適応的手法であるConsistentFeatureを提案し、同じトレーニングセットのランダムなサブセット間で特徴差を制約することでモデルを正規化する。
  論文  参考訳（メタデータ） (2024-12-02T13:21:31Z)
• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Neural Networks with Quantization Constraints [111.42313650830248]
  量子化学習における制約付き学習手法を提案する。 結果の問題は強い双対であり、勾配推定は不要であることを示す。 提案手法は画像分類タスクにおける競合性能を示す。
  論文  参考訳（メタデータ） (2022-10-27T17:12:48Z)
• A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
  自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。 我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
  論文  参考訳（メタデータ） (2022-10-27T13:24:08Z)
• "Understanding Robustness Lottery": A Geometric Visual Comparative Analysis of Neural Network Pruning Approaches [29.048660060344574]
  この研究は、異なるプルーニング手法がネットワークの内部的特徴表現とそれに伴うモデルパフォーマンスへの影響をどのように変化させるかを明らかにすることを目的としている。 モデル性能と特徴表現に対するプルーニングの影響を比較・強調するために,特徴表現の視覚幾何学的解析を導入する。 提案ツールは,プルーニング手法の詳細な比較環境と,一般的なデータ破損に対するモデル応答の包括的理解を提供する。
  論文  参考訳（メタデータ） (2022-06-16T04:44:13Z)
• ScatSimCLR: self-supervised contrastive learning with pretext task regularization for small-scale datasets [5.2424255020469595]
  データの複数ビュー間の対照的な損失に基づく小規模データセットに対する自己教師型学習の課題について考察する。 同じ分類精度を維持しつつ,システム全体のパラメータ数やビュー数を大幅に削減できると主張している。
  論文  参考訳（メタデータ） (2021-08-31T15:58:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。