論文の概要: AdaResNet: Enhancing Residual Networks with Dynamic Weight Adjustment for Improved Feature Integration

• arxiv url: http://arxiv.org/abs/2408.09958v1
• Date: Mon, 19 Aug 2024 12:58:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-20 16:13:49.791573
• Title: AdaResNet: Enhancing Residual Networks with Dynamic Weight Adjustment for Improved Feature Integration
• Title（参考訳）: AdaResNet: 動的重み調整によるResidual Networksの強化と機能統合の改善
• Authors: Hong Su,
• Abstract要約: ResNet(Residual Network)は、スキップ接続を介してネットワークを直通するグラデーションを可能にする。 AdaResNet(Auto-Adapting Residual Network)は、トレーニングデータに基づいてipdとtfdの比率を調整する。 AdaResNetは従来のResNetと比較して50%以上の精度向上を実現している。
• 参考スコア（独自算出の注目度）: 0.3807314298073301
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In very deep neural networks, gradients can become extremely small during backpropagation, making it challenging to train the early layers. ResNet (Residual Network) addresses this issue by enabling gradients to flow directly through the network via skip connections, facilitating the training of much deeper networks. However, in these skip connections, the input ipd is directly added to the transformed data tfd, treating ipd and tfd equally, without adapting to different scenarios. In this paper, we propose AdaResNet (Auto-Adapting Residual Network), which automatically adjusts the ratio between ipd and tfd based on the training data. We introduce a variable, weight}_{tfd}^{ipd, to represent this ratio. This variable is dynamically adjusted during backpropagation, allowing it to adapt to the training data rather than remaining fixed. Experimental results demonstrate that AdaResNet achieves a maximum accuracy improvement of over 50\% compared to traditional ResNet.
• Abstract（参考訳）: 非常に深いニューラルネットワークでは、バックプロパゲーション中に勾配が非常に小さくなり、初期のレイヤのトレーニングが困難になる。 ResNet(Residual Network)は、接続をスキップすることでネットワークに直接勾配を流すことによってこの問題に対処し、より深いネットワークのトレーニングを容易にする。 しかし、これらのスキップ接続では、入力ipdは変換されたデータ tfd に直接付加され、異なるシナリオに適応することなく、ipd と tfd を等しく扱う。 本稿では、トレーニングデータに基づいてipdとtfdの比率を自動的に調整するAdaResNet(Auto-Adapting Residual Network)を提案する。 この比を表すために、変数, weight}_{tfd}^{ipdを導入する。 この変数はバックプロパゲーション中に動的に調整され、固定されたままではなくトレーニングデータに適応する。 AdaResNetは従来のResNetに比べて最大精度が50%以上向上していることを示す実験結果が得られた。

関連論文リスト

• Improving the Trainability of Deep Neural Networks through Layerwise Batch-Entropy Regularization [1.3999481573773072]
  ニューラルネットワークの各層を通しての情報の流れを定量化するバッチエントロピーを導入,評価する。 損失関数にバッチエントロピー正規化項を追加するだけで、500層からなる「バニラ」完全連結ネットワークと畳み込みニューラルネットワークをトレーニングできることが示される。
  論文  参考訳（メタデータ） (2022-08-01T20:31:58Z)
• Deep Learning without Shortcuts: Shaping the Kernel with Tailored Rectifiers [83.74380713308605]
  我々は、ReLUの変種であるLeaky ReLUsと完全に互換性のある新しいタイプの変換を開発する。 実験では,ResNetsと競合する深層バニラネットワークによる検証精度を考慮し,計算コストを考慮しない手法を提案する。
  論文  参考訳（メタデータ） (2022-03-15T17:49:08Z)
• Layer-Parallel Training of Residual Networks with Auxiliary-Variable Networks [28.775355111614484]
  補助変数法は近年、多くの関心を集めているが、通信オーバーヘッドとデータ拡張の欠如に悩まされている。 本稿では,複数のコンピュータデバイスにまたがる現実的なResNetを学習するための新しい共同学習フレームワークを提案する。 CIFAR-10, CIFAR-100, ImageNetデータセットにまたがるResNetsおよびWideResNetsにおける手法の有効性を示す。
  論文  参考訳（メタデータ） (2021-12-10T08:45:35Z)
• DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers [105.74546828182834]
  本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。 我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
  論文  参考訳（メタデータ） (2021-09-21T09:57:21Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)
• Side-Tuning: A Baseline for Network Adaptation via Additive Side Networks [95.51368472949308]
  適応は、トレーニングデータが少ない場合や、ネットワークのプリエンプションをエンコードしたい場合などに有効である。 本稿では,サイドチューニングという簡単な方法を提案する。
  論文  参考訳（メタデータ） (2019-12-31T18:52:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。