論文の概要: Revisiting Residual Connections: Orthogonal Updates for Stable and Efficient Deep Networks

• arxiv url: http://arxiv.org/abs/2505.11881v1
• Date: Sat, 17 May 2025 07:16:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.913228
• Title: Revisiting Residual Connections: Orthogonal Updates for Stable and Efficient Deep Networks
• Title（参考訳）: Revisiting Residual Connections: 安定かつ効率的なディープネットワークのための直交更新
• Authors: Giyeong Oh, Woohyun Cho, Siyeol Kim, Suhwan Choi, Younjae Yu,
• Abstract要約: 残余接続は、深いニューラルネットワークにとって重要なものであり、消滅する勾配を緩和することでより深い深さを可能にする。 通常の残余更新では、モジュールの出力が入力ストリームに直接追加される。 これは、既存のストリーム方向を主に強化または修正する更新につながる可能性があるため、モジュールの能力が全く新しい機能を学ぶのに過小評価される可能性がある。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Residual connections are pivotal for deep neural networks, enabling greater depth by mitigating vanishing gradients. However, in standard residual updates, the module's output is directly added to the input stream. This can lead to updates that predominantly reinforce or modulate the existing stream direction, potentially underutilizing the module's capacity for learning entirely novel features. In this work, we introduce Orthogonal Residual Update: we decompose the module's output relative to the input stream and add only the component orthogonal to this stream. This design aims to guide modules to contribute primarily new representational directions, fostering richer feature learning while promoting more efficient training. We demonstrate that our orthogonal update strategy improves generalization accuracy and training stability across diverse architectures (ResNetV2, Vision Transformers) and datasets (CIFARs, TinyImageNet, ImageNet-1k), achieving, for instance, a +4.3\%p top-1 accuracy gain for ViT-B on ImageNet-1k.
• Abstract（参考訳）: 残余接続は、深いニューラルネットワークにとって重要なものであり、消滅する勾配を緩和することでより深い深さを可能にする。 しかし、通常の残余更新では、モジュールの出力が入力ストリームに直接追加される。 これにより、既存のストリーム方向の強化や修正が主に行われ、完全に新しい機能を学ぶためのモジュールの能力が不足する可能性がある。 入力ストリームに対してモジュールの出力を分解し、このストリームに直交するコンポーネントのみを追加する。 この設計は、モジュールが主に新しい表現方向への貢献をガイドし、より効率的なトレーニングを促進しながら、よりリッチな特徴学習を促進することを目的としている。 我々の直交更新戦略は、多種多様なアーキテクチャ(ResNetV2, Vision Transformers)とデータセット(CIFAR, TinyImageNet, ImageNet-1k)間の一般化精度とトレーニング安定性を改善し、例えば、ImageNet-1k上でのViT-Bの4.3\%pトップ-1精度向上を実現している。

関連論文リスト

• TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
  本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。 時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。 並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
  論文  参考訳（メタデータ） (2024-04-15T06:01:48Z)
• Minusformer: Improving Time Series Forecasting by Progressively Learning Residuals [14.741951369068877]
  ユビキタス時系列(TS)予測モデルでは,過度なオーバーフィッティングが生じる傾向にある。 本稿では,深層的なブースティング・アンサンブル学習手法である二重ストリーム・サブトラクション機構を提案する。 提案手法は既存の最先端手法よりも優れており,各データセットの平均性能は11.9%向上した。
  論文  参考訳（メタデータ） (2024-02-04T03:54:31Z)
• Neural Attentive Circuits [93.95502541529115]
  我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
  論文  参考訳（メタデータ） (2022-10-14T18:00:07Z)
• Activating More Pixels in Image Super-Resolution Transformer [53.87533738125943]
  トランスフォーマーベースの手法は、画像超解像のような低レベルの視覚タスクにおいて顕著な性能を示している。 本稿では,新たなHAT(Hybrid Attention Transformer)を提案する。 提案手法は1dB以上で最先端の手法を著しく上回っている。
  論文  参考訳（メタデータ） (2022-05-09T17:36:58Z)
• SideRT: A Real-time Pure Transformer Architecture for Single Image Depth Estimation [11.513054537848227]
  そこで我々は,SideRTと呼ばれる純粋なトランスフォーマーアーキテクチャを提案する。 これは、トランスフォーマーベースのネットワークが、単一画像深度推定フィールドにおいて、リアルタイムに最先端の性能が得られることを示す最初の研究である。
  論文  参考訳（メタデータ） (2022-04-29T05:46:20Z)
• Logsig-RNN: a novel network for robust and efficient skeleton-based action recognition [3.775860173040509]
  我々は、ログネイティブ層とリカレント型ニューラルネットワーク(RNN)を組み合わせた新しいモジュール、Logsig-RNNを提案する。 特に,簡単な経路変換層とLogsig-RNNを組み合わせることで,Chalearn2013ジェスチャデータの最先端精度を実現する。
  論文  参考訳（メタデータ） (2021-10-25T14:47:15Z)
• Batch Normalization with Enhanced Linear Transformation [73.9885755599221]
  線形変換モジュールを適切に拡張することで、バッチ正規化(BN)の能力を効果的に改善できる 私たちのメソッドはBNETと呼ばれ、ほとんどのディープラーニングライブラリで2～3行のコードで実装できます。 我々は、BNETがネットワークトレーニングの収束を加速し、より大きな重み付けで重要なニューロンを割り当てることで空間情報を強化することを検証する。
  論文  参考訳（メタデータ） (2020-11-28T15:42:36Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)
• Modularizing Deep Learning via Pairwise Learning With Kernels [12.051746916737343]
  特徴空間における積み重ね線形モデルとして、有限幅で完全に訓練可能なディープ・コンピューティング・ニューラルネットの代替的視点を示す。 次に,モジュール間のバックプロパゲーションを必要としない分類のための,証明可能な最適モジュール学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-05-12T04:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。