論文の概要: On Measuring Localization of Shortcuts in Deep Networks

• arxiv url: http://arxiv.org/abs/2510.26560v1
• Date: Thu, 30 Oct 2025 14:51:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-31 16:05:09.865127
• Title: On Measuring Localization of Shortcuts in Deep Networks
• Title（参考訳）: 深部ネットワークにおけるショートカットの局所化測定について
• Authors: Nikita Tsoy, Nikola Konstantinov,
• Abstract要約: ショートカットはトレーニング中にうまく機能するが、一般化に失敗する刺激的なルールであり、ディープネットワークの信頼性に対する大きな課題である。 我々は,VGG,ResNet,DeiT,ConvNeXtアーキテクチャにまたがるCIFAR-10,Waterbirds,CelebAデータセットのショートカットについて検討した。 ショートカット学習は特定のレイヤにローカライズされず、ネットワーク全体に分散していることがわかった。
• 参考スコア（独自算出の注目度）: 10.928881579403907
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Shortcuts, spurious rules that perform well during training but fail to generalize, present a major challenge to the reliability of deep networks (Geirhos et al., 2020). However, the impact of shortcuts on feature representations remains understudied, obstructing the design of principled shortcut-mitigation methods. To overcome this limitation, we investigate the layer-wise localization of shortcuts in deep models. Our novel experiment design quantifies the layer-wise contribution to accuracy degradation caused by a shortcut-inducing skew by counterfactual training on clean and skewed datasets. We employ our design to study shortcuts on CIFAR-10, Waterbirds, and CelebA datasets across VGG, ResNet, DeiT, and ConvNeXt architectures. We find that shortcut learning is not localized in specific layers but distributed throughout the network. Different network parts play different roles in this process: shallow layers predominantly encode spurious features, while deeper layers predominantly forget core features that are predictive on clean data. We also analyze the differences in localization and describe its principal axes of variation. Finally, our analysis of layer-wise shortcut-mitigation strategies suggests the hardness of designing general methods, supporting dataset- and architecture-specific approaches instead.
• Abstract（参考訳）: ショートカットはトレーニング中にうまく機能するが、一般化に失敗する刺激的なルールであり、ディープネットワークの信頼性に大きな課題をもたらす(Geirhos et al , 2020)。 しかし, 特徴表現に対するショートカットの影響は未検討であり, 原理的ショートカット緩和法の設計を阻害している。 この制限を克服するため、深層モデルにおけるショートカットの階層的局所化について検討する。 新規な実験設計では, ショートカット誘導スキューによる精度劣化に対する階層的寄与を, クリーンでスキューなデータセットに対する反実的トレーニングによって定量化する。 我々は、VGG、ResNet、DeiT、ConvNeXtアーキテクチャにまたがるCIFAR-10、Waterbirds、CelebAデータセットのショートカットを研究するために、我々の設計を採用する。 ショートカット学習は特定のレイヤにローカライズされず、ネットワーク全体に分散していることがわかった。 浅い層はスパイラルな機能を主にエンコードし、深い層はクリーンなデータで予測されるコア機能を主に忘れている。 また、局所化の違いを分析し、その主軸の変動について述べる。 最後に,階層的なショートカット緩和戦略の分析から,汎用手法の設計の難しさが示唆され,代わりにデータセットやアーキテクチャ固有のアプローチがサポートされた。

関連論文リスト

• Network Sparsity Unlocks the Scaling Potential of Deep Reinforcement Learning [57.3885832382455]
  静的ネットワークの疎結合を単独で導入することで,最先端アーキテクチャの高密度化を超えて,さらなるスケーリング可能性を実現することができることを示す。 解析の結果,高密度DRLネットワークをネーティブにスケールアップするのとは対照的に,疎ネットワークは高いパラメータ効率とネットワーク表現性を両立させることがわかった。
  論文  参考訳（メタデータ） (2025-06-20T17:54:24Z)
• Auto-Compressing Networks [51.221103189527014]
  本稿では,各層からの長いフィードフォワード接続が従来の短残コネクションに取って代わるアーキテクチャ変種であるAuto-compression Networks (ACNs)を紹介する。 本稿では,ACNが残差ネットワークと比較して高雑音を示すこと,低データ設定における優れた性能を示すこと,破滅的忘れを軽減できることを述べる。 これらの知見は、効率的な神経アーキテクチャを開発するための実践的なアプローチとしてACNを確立している。
  論文  参考訳（メタデータ） (2025-06-11T13:26:09Z)
• Component-based Sketching for Deep ReLU Nets [55.404661149594375]
  各種タスクのためのディープネットコンポーネントに基づくスケッチ手法を開発した。 我々はディープネットトレーニングを線形経験的リスク最小化問題に変換する。 提案したコンポーネントベーススケッチは飽和関数の近似においてほぼ最適であることを示す。
  論文  参考訳（メタデータ） (2024-09-21T15:30:43Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• SAR Despeckling Using Overcomplete Convolutional Networks [53.99620005035804]
  スペックルはSAR画像を劣化させるため、リモートセンシングにおいて重要な問題である。 近年の研究では、畳み込みニューラルネットワーク(CNN)が古典的解法よりも優れていることが示されている。 本研究は、受容場を制限することで低レベルの特徴を学習することに集中するために、過剰なCNNアーキテクチャを用いる。 本稿では,合成および実SAR画像の非特定化手法と比較して,提案手法により非特定化性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-05-31T15:55:37Z)
• SIRe-Networks: Skip Connections over Interlaced Multi-Task Learning and Residual Connections for Structure Preserving Object Classification [28.02302915971059]
  本稿では、オブジェクト分類タスクにおける消失勾配を低減するために、SIReを定義したインターレース型マルチタスク学習戦略を提案する。 提案手法は、自動エンコーダを介して入力画像構造を保存することにより、畳み込みニューラルネットワーク(CNN)を直接改善する。 提案手法を検証するため、SIRe戦略を介して単純なCNNと有名なネットワークの様々な実装を拡張し、CIFAR100データセットで広範囲にテストする。
  論文  参考訳（メタデータ） (2021-10-06T13:54:49Z)
• PDFNet: Pointwise Dense Flow Network for Urban-Scene Segmentation [0.0]
  我々はポイントワイド高密度フローネットワーク(PDFNet)という新しい軽量アーキテクチャを提案する。 PDFNetでは、ネットワークのすべての部分へのスムーズな勾配流を可能にするために、密集、残留、複数ショートカット接続を使用します。 提案手法は,小規模なクラスや少数のデータレギュレーションにおいて,ベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2021-09-21T10:39:46Z)
• Impact of Aliasing on Generalization in Deep Convolutional Networks [29.41652467340308]
  深層畳み込みネットワークの一般化におけるエイリアスの影響について検討する。 キー位置で非トレーニング可能な低域通過フィルタを挿入することでエイリアスを緩和する方法を示す。
  論文  参考訳（メタデータ） (2021-08-07T17:12:03Z)
• A Too-Good-to-be-True Prior to Reduce Shortcut Reliance [0.19573380763700707]
  ディープ畳み込みニューラルネットワーク(DCNN)は、しばしば分布外(o.o.d.)への一般化に失敗する。 サンプル この欠点の原因の1つは、現代建築が「ショートカット」に頼る傾向があることである。 この誘導バイアスは、低容量ネットワークからの予測を用いて高容量ネットワークのトレーニングを通知する2段階のアプローチで実装する。
  論文  参考訳（メタデータ） (2021-02-12T09:17:24Z)
• Why Layer-Wise Learning is Hard to Scale-up and a Possible Solution via Accelerated Downsampling [19.025707054206457]
  レイヤワイズ学習は、様々なデータセットのイメージ分類において最先端のパフォーマンスを達成することができる。 レイヤーワイズ学習のこれまでの研究は、単純な階層構造を持つネットワークに限られていた。 本稿では,浅層層における特徴空間の分離性が比較的低いため,階層学習のスケールアップを阻害する根本的な理由を明らかにする。
  論文  参考訳（メタデータ） (2020-10-15T21:51:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。