Fugu-MT 論文翻訳(概要): Optimally Deep Networks -- Adapting Model Depth to Datasets for Superior Efficiency

論文の概要: Optimally Deep Networks -- Adapting Model Depth to Datasets for Superior Efficiency

arxiv url: http://arxiv.org/abs/2510.10764v1
Date: Sun, 12 Oct 2025 19:05:04 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-14 18:06:30.097508
Title: Optimally Deep Networks -- Adapting Model Depth to Datasets for Superior Efficiency
Title（参考訳）: 最適深層ネットワーク - モデル深度をデータセットに適応して高効率化
Authors: Shaharyar Ahmed Khan Tareen, Filza Khan Tareen,
Abstract要約: モデル深度とタスクの複雑さのバランスを提供するOptimally Deep Networks (ODNs)を導入する。 ODNは与えられたデータセットに対して最適な深さしか使用せず、冗長なレイヤを削除する。その結果、MNIST と SVHN の ResNet-18 と ResNet-34 の最適深さは 98.64 % と 96.44 % のメモリフットプリントを実現し、それぞれ 99.31 % と 96.08 % の競合精度を維持した。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep neural networks (DNNs) have provided brilliant performance across various tasks. However, this success often comes at the cost of unnecessarily large model sizes, high computational demands, and substantial memory footprints. Typically, powerful architectures are trained at full depths but not all datasets or tasks require such high model capacity. Training very deep architectures on relatively low-complexity datasets frequently leads to wasted computation, unnecessary energy consumption, and excessive memory usage, which in turn makes deployment of models on resource-constrained devices impractical. To address this problem, we introduce Optimally Deep Networks (ODNs), which provide a balance between model depth and task complexity. Specifically, we propose a NAS like training strategy called progressive depth expansion, which begins by training deep networks at shallower depths and incrementally increases their depth as the earlier blocks converge, continuing this process until the target accuracy is reached. ODNs use only the optimal depth for the given datasets, removing redundant layers. This cuts down future training and inference costs, lowers the memory footprint, enhances computational efficiency, and facilitates deployment on edge devices. Empirical results show that the optimal depths of ResNet-18 and ResNet-34 for MNIST and SVHN, achieve up to 98.64 % and 96.44 % reduction in memory footprint, while maintaining a competitive accuracy of 99.31 % and 96.08 %, respectively.
Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、さまざまなタスクにわたって素晴らしいパフォーマンスを提供している。しかし、この成功はしばしば、必要以上に大きなモデルサイズ、高い計算要求、かなりのメモリフットプリントのコストがかかる。通常、強力なアーキテクチャは完全な深度でトレーニングされるが、すべてのデータセットやタスクがそのような高いモデルキャパシティを必要とするわけではない。比較的低複雑さのデータセットで非常に深いアーキテクチャをトレーニングすることは、しばしば無駄な計算、不要なエネルギー消費、過剰なメモリ使用量につながる。この問題に対処するために、モデル深度とタスクの複雑さのバランスを提供するOptimally Deep Networks (ODNs)を導入する。具体的には、より浅い深度で深度ネットワークを訓練し、初期ブロックが収束するにつれてその深度を漸進的に増加させ、目標精度に到達するまでこの過程を継続するプログレッシブディープ拡張と呼ばれるNASのようなトレーニング戦略を提案する。 ODNは与えられたデータセットに対して最適な深さしか使用せず、冗長なレイヤを削除する。これにより、将来のトレーニングと推論コストが削減され、メモリフットプリントが削減され、計算効率が向上し、エッジデバイスへのデプロイが容易になる。実験の結果、MNIST と SVHN の ResNet-18 と ResNet-34 の最適深さは 98.64 % と 96.44 % のメモリフットプリントを実現し、それぞれ 99.31 % と 96.08 % の競合精度を維持した。

関連論文リスト

Efficient Traffic Classification using HW-NAS: Advanced Analysis and Optimization for Cybersecurity on Resource-Constrained Devices [1.3124513975412255]
本稿ではハードウェア認識型ニューラルアーキテクチャサーチ(HW-NAS)により最適化されたハードウェア効率の高いディープニューラルネットワーク(DNN)を提案する。リソース制約のあるIoT(Internet of Things)とエッジデバイス上でのセッションレベルの暗号化トラフィックの分類をサポートする。最適化されたモデルは96.59%の精度で88.26Kのパラメータ、10.08MのFLOP、最大テンソルサイズは20.12Kである。
論文参考訳（メタデータ） (2025-06-12T21:37:45Z)
Prior-Fitted Networks Scale to Larger Datasets When Treated as Weak Learners [82.72552644267724]
BoostPFNは、大規模なデータセットでトレーニングサンプルと同じサイズで、標準的なPFNよりもパフォーマンスがよい。高い性能はPFNのトレーニング前サイズの最大50倍まで維持される。
論文参考訳（メタデータ） (2025-03-03T07:31:40Z)
A Generalization of Continuous Relaxation in Structured Pruning [0.3277163122167434]
トレンドは、パラメータが増加するより深い、より大きなニューラルネットワークが、より小さなニューラルネットワークよりも高い精度を達成することを示している。ネットワーク拡張, プルーニング, サブネットワーク崩壊, 削除のためのアルゴリズムを用いて, 構造化プルーニングを一般化する。結果のCNNは計算コストのかかるスパース行列演算を使わずにGPUハードウェア上で効率的に実行される。
論文参考訳（メタデータ） (2023-08-28T14:19:13Z)
Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文参考訳（メタデータ） (2023-03-16T21:06:13Z)
Exploiting Sparsity in Pruned Neural Networks to Optimize Large Model Training [1.5301777464637454]
並列深層学習のための2つの一般的なアルゴリズムにおいて,スパースワークを利用してメモリ利用と通信を最適化する手法を提案する。我々は、並列ディープラーニングのための高度にスケーラブルなフレームワークであるAxoNNにアプローチを統合し、通信時間とメモリ使用量の削減を実証する。
論文参考訳（メタデータ） (2023-02-10T04:22:25Z)
Go Wide, Then Narrow: Efficient Training of Deep Thin Networks [62.26044348366186]
本稿では,深層ネットワークを理論的保証で訓練する効率的な手法を提案する。我々の方法でのトレーニングにより、ResNet50はResNet101を上回り、BERT BaseはBERT Largeに匹敵する。
論文参考訳（メタデータ） (2020-07-01T23:34:35Z)
Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文参考訳（メタデータ） (2020-02-10T16:20:02Z)
Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。