論文の概要: Self-Abstraction Learning for Effective and Stable Training of Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2604.24313v1
• Date: Mon, 27 Apr 2026 11:04:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:07.914119
• Title: Self-Abstraction Learning for Effective and Stable Training of Deep Neural Networks
• Title（参考訳）: ニューラルネットワークの効果的で安定した学習のための自己抽象化学習
• Authors: Wonyong Cho, Taemin Kim, Jungmin Kim, Jeong-Rae Kim, Sung Hoon Jung,
• Abstract要約: 様々な分野にわたってディープラーニングを適用するためには、大規模ディープニューラルネットワークを効果的かつ安定的にトレーニングすることが不可欠である。 これらの制限を克服するために、階層的なフレームワークである自己抽象化学習(SAL)を導入します。 SALでは、ネットワークは構造的な複雑さによって配置され、最も単純な最上層ネットワークはまず訓練され、その隠蔽層と出力層は、下記のより複雑なネットワークのガイダンスとして機能する。
• 参考スコア（独自算出の注目度）: 1.787702109751332
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training large-scale deep neural networks effectively and stably is essential for applying deep learning across various fields. However, conventional methods, which rely on training a single large network, often encounter challenges such as gradient vanishing, overfitting and unstable learning. To overcome these limitations, we introduce Self-Abstraction Learning (SAL), a hierarchical framework. In SAL, networks are arranged by structural complexity, where the simplest topmost network is trained first and its hidden and output layers serve as guidance for the successively more complex networks below. This top-down sequential guidance effectively mitigates optimization issues, enabling stable training of deep architectures. Various experiments across MLP, CNN, and RNN architectures demonstrate that SAL consistently outperforms conventional methods, ensuring robust generalization even in data-scarce and complex network regimes.
• Abstract（参考訳）: 様々な分野にわたってディープラーニングを適用するためには、大規模ディープニューラルネットワークを効果的かつ安定的にトレーニングすることが不可欠である。 しかし、1つの大きなネットワークのトレーニングに依存する従来の手法は、勾配の消失、過度な適合、不安定な学習といった問題に遭遇することが多い。 これらの制限を克服するために、階層的なフレームワークである自己抽象化学習(SAL)を導入します。 SALでは、ネットワークは構造的な複雑さによって配置され、最も単純な最上層ネットワークはまず訓練され、その隠蔽層と出力層は、下記のより複雑なネットワークのガイダンスとして機能する。 このトップダウンシーケンシャルガイダンスは、最適化問題を効果的に軽減し、ディープアーキテクチャの安定したトレーニングを可能にします。 MLP、CNN、RNNアーキテクチャの様々な実験により、SALは従来の手法より一貫して優れており、データスカースや複雑なネットワークシステムにおいても堅牢な一般化が保証されている。

関連論文リスト

• Information-Theoretic Greedy Layer-wise Training for Traffic Sign Recognition [0.5024983453990065]
  レイヤワイズトレーニングは、クロスエントロピー損失とバックプロパゲーションの必要性を排除する。 既存の階層的なトレーニングアプローチの多くは、比較的小さなデータセットでのみ評価されている。 本稿では,最近開発された決定論的情報ボトルネック(DIB)と行列に基づくR'enyiの$alpha$-orderエントロピー関数に基づく,階層的学習手法を提案する。
  論文  参考訳（メタデータ） (2025-10-31T17:24:58Z)
• Network Sparsity Unlocks the Scaling Potential of Deep Reinforcement Learning [57.3885832382455]
  静的ネットワークの疎結合を単独で導入することで,最先端アーキテクチャの高密度化を超えて,さらなるスケーリング可能性を実現することができることを示す。 解析の結果,高密度DRLネットワークをネーティブにスケールアップするのとは対照的に,疎ネットワークは高いパラメータ効率とネットワーク表現性を両立させることがわかった。
  論文  参考訳（メタデータ） (2025-06-20T17:54:24Z)
• Residual Kolmogorov-Arnold Network for Enhanced Deep Learning [0.9399249626168465]
  深層畳み込みニューラルネットワーク(Deep Convolutional Neural Network, CNN)は、ネットワーク深度内に数百のレイヤがあるため、最適化が困難で、トレーニングにコストがかかる。 我々はResidual Kolmogorov-Arnold Network (RKAN)と呼ばれる"plug-in"モジュールを導入する。 RKANは、異なるビジョンタスクにおけるベースラインモデルよりも一貫した改善を提供する。
  論文  参考訳（メタデータ） (2024-10-07T21:12:32Z)
• Provable Guarantees for Nonlinear Feature Learning in Three-Layer Neural Networks [44.31729147722701]
  3層ニューラルネットワークは,2層ネットワークよりも特徴学習能力が豊富であることを示す。 この研究は、特徴学習体制における2層ネットワーク上の3層ニューラルネットワークの証明可能なメリットを理解するための前進である。
  論文  参考訳（メタデータ） (2023-05-11T17:19:30Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• SIRe-Networks: Skip Connections over Interlaced Multi-Task Learning and Residual Connections for Structure Preserving Object Classification [28.02302915971059]
  本稿では、オブジェクト分類タスクにおける消失勾配を低減するために、SIReを定義したインターレース型マルチタスク学習戦略を提案する。 提案手法は、自動エンコーダを介して入力画像構造を保存することにより、畳み込みニューラルネットワーク(CNN)を直接改善する。 提案手法を検証するため、SIRe戦略を介して単純なCNNと有名なネットワークの様々な実装を拡張し、CIFAR100データセットで広範囲にテストする。
  論文  参考訳（メタデータ） (2021-10-06T13:54:49Z)
• Learning Structures for Deep Neural Networks [99.8331363309895]
  我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。 スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。 公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-27T12:27:24Z)
• Improving the Accuracy of Early Exits in Multi-Exit Architectures via Curriculum Learning [88.17413955380262]
  マルチエクイットアーキテクチャにより、ディープニューラルネットワークは、正確なコストで厳密な期限に従うために、実行を早期に終了することができる。 カリキュラム学習を活用したマルチエクジットカリキュラム学習という新しい手法を紹介します。 本手法は, 標準訓練手法と比較して, 早期終了の精度を一貫して向上させる。
  論文  参考訳（メタデータ） (2021-04-21T11:12:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。