論文の概要: GradAttn: Replacing Fixed Residual Connections with Task-Modulated Attention Pathways

• arxiv url: http://arxiv.org/abs/2603.26756v1
• Date: Mon, 23 Mar 2026 14:45:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-31 23:18:44.577358
• Title: GradAttn: Replacing Fixed Residual Connections with Task-Modulated Attention Pathways
• Title（参考訳）: GradAttn: タスク変調アテンションパスによる固定残差接続のリプレース
• Authors: Soudeep Ghoshal, Himanshu Buckchash,
• Abstract要約: GradAttnは、固定残差接続を注意制御の勾配流に置き換えるCNN変換フレームワークである。 表現分析では,8つの多様なデータセットにまたがる3つのGradAttn変種を評価した。 結果は、GradAttnが8つのデータセットのうち5つでResNet-18を上回っていることを示している。
• 参考スコア（独自算出の注目度）: 2.105564340986074
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep ConvNets suffer from gradient signal degradation as network depth increases, limiting effective feature learning in complex architectures. ResNet addressed this through residual connections, but these fixed short-circuits cannot adapt to varying input complexity or selectively emphasize task relevant features across network hierarchies. This study introduces GradAttn, a hybrid CNN-transformer framework that replaces fixed residual connections with attention-controlled gradient flow. By extracting multi-scale CNN features at different depths and regulating them through self-attention, GradAttn dynamically weights shallow texture features and deep semantic representations. For representational analysis, we evaluated three GradAttn variants across eight diverse datasets, from natural images, medical imaging, to fashion recognition. Results demonstrate that GradAttn outperforms ResNet-18 on five of eight datasets, achieving up to +11.07% accuracy improvement on FashionMNIST while maintaining comparable network size. Gradient flow analysis reveals that controlled instabilities, introduced by attention, often coincide with improved generalization, challenging the assumption that perfect stability is optimal. Furthermore, positional encoding effectiveness proves dataset dependent, with CNN hierarchies frequently encoding sufficient spatial structure. These findings allow attention mechanisms as enablers of learnable gradient control, offering a new paradigm for adaptive representation learning in deep neural architectures.
• Abstract（参考訳）: Deep ConvNetは、ネットワークの深さが増加するにつれて勾配信号の劣化に悩まされ、複雑なアーキテクチャにおける効果的な特徴学習が制限される。 ResNetは残差接続を通じてこの問題に対処するが、これらの固定された短絡回路は入力の複雑さの変化に適応できず、ネットワーク階層全体にわたってタスクに関連する機能を選択的に強調することができない。 本研究では、固定残差接続を注意制御勾配流に置き換えるハイブリッドCNN変換器フレームワークGradAttnを紹介する。 GradAttnは、異なる深さでマルチスケールのCNN機能を抽出し、自己注意を通して制御することで、浅いテクスチャと深いセマンティック表現を動的に重み付けする。 表現分析では,自然画像から医用画像,ファッション認識に至るまで,8種類のデータセットにまたがる3つのGradAttn変異を評価した。 結果は、GradAttnが8つのデータセットのうち5つでResNet-18より優れており、FashionMNISTで最大+11.07%の精度向上を実現し、同等のネットワークサイズを維持していることを示している。 グラディエントフロー解析により、注意によって導入された制御された不安定性は、しばしば一般化の改善と一致し、完全な安定性が最適であるという仮定に挑戦する。 さらに、位置符号化の有効性はデータセット依存を証明し、CNN階層は十分な空間構造を頻繁に符号化する。 これらの発見により、学習可能な勾配制御の実現手段としての注意機構が実現され、ディープラーニングアーキテクチャにおける適応的表現学習のための新しいパラダイムが提供される。

関連論文リスト

• Auto-Compressing Networks [51.221103189527014]
  本稿では,各層からの長いフィードフォワード接続が従来の短残コネクションに取って代わるアーキテクチャ変種であるAuto-compression Networks (ACNs)を紹介する。 本稿では,ACNが残差ネットワークと比較して高雑音を示すこと,低データ設定における優れた性能を示すこと,破滅的忘れを軽減できることを述べる。 これらの知見は、効率的な神経アーキテクチャを開発するための実践的なアプローチとしてACNを確立している。
  論文  参考訳（メタデータ） (2025-06-11T13:26:09Z)
• Adaptive Growth: Real-time CNN Layer Expansion [0.0]
  本研究では,データ入力に基づいて,畳み込みニューラルネットワーク(CNN)の畳み込み層を動的に進化させるアルゴリズムを提案する。 厳密なアーキテクチャの代わりに、我々のアプローチはカーネルを畳み込み層に反復的に導入し、様々なデータに対してリアルタイムに応答する。 興味深いことに、我々の教師なしの手法は、さまざまなデータセットにまたがって教師なしの手法を上回った。
  論文  参考訳（メタデータ） (2023-09-06T14:43:58Z)
• A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
  自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。 我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
  論文  参考訳（メタデータ） (2022-10-27T13:24:08Z)
• SIRe-Networks: Skip Connections over Interlaced Multi-Task Learning and Residual Connections for Structure Preserving Object Classification [28.02302915971059]
  本稿では、オブジェクト分類タスクにおける消失勾配を低減するために、SIReを定義したインターレース型マルチタスク学習戦略を提案する。 提案手法は、自動エンコーダを介して入力画像構造を保存することにより、畳み込みニューラルネットワーク(CNN)を直接改善する。 提案手法を検証するため、SIRe戦略を介して単純なCNNと有名なネットワークの様々な実装を拡張し、CIFAR100データセットで広範囲にテストする。
  論文  参考訳（メタデータ） (2021-10-06T13:54:49Z)
• Learning Deep Interleaved Networks with Asymmetric Co-Attention for Image Restoration [65.11022516031463]
  本稿では,高品質(本社)画像再構成のために,異なる状態の情報をどのように組み合わせるべきかを学習するディープインターリーブドネットワーク(DIN)を提案する。 本稿では,各インターリーブノードにアタッチメントされた非対称なコアテンション(AsyCA)を提案し,その特性依存性をモデル化する。 提案したDINはエンドツーエンドで訓練でき、様々な画像復元タスクに適用できる。
  論文  参考訳（メタデータ） (2020-10-29T15:32:00Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。