論文の概要: Interpreting the Residual Stream of ResNet18

• arxiv url: http://arxiv.org/abs/2407.05340v1
• Date: Sun, 7 Jul 2024 12:13:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 20:07:19.762677
• Title: Interpreting the Residual Stream of ResNet18
• Title（参考訳）: ResNet18の残留ストリームの解釈
• Authors: André Longon,
• Abstract要約: 本稿では、InceptionV1に欠けているアーキテクチャメカニズムである残留ストリームに特に焦点をあてて、ResNet18を調査する。 残差ストリームチャネルの多くは、入力の小型特徴とブロックの大規模特徴とを混合して、スケール不変表現を計算している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A mechanistic understanding of the computations learned by deep neural networks (DNNs) is far from complete. In the domain of visual object recognition, prior research has illuminated inner workings of InceptionV1, but DNNs with different architectures have remained largely unexplored. This work investigates ResNet18 with a particular focus on its residual stream, an architectural mechanism which InceptionV1 lacks. We observe that for a given block, channel features of the stream are updated along a spectrum: either the input feature skips to the output, the block feature overwrites the output, or the output is some mixture between the input and block features. Furthermore, we show that many residual stream channels compute scale invariant representations through a mixture of the input's smaller-scale feature with the block's larger-scale feature. This not only mounts evidence for the universality of scale equivariance, but also presents how the residual stream further implements scale invariance. Collectively, our results begin an interpretation of the residual stream in visual object recognition, finding it to be a flexible feature manager and a medium to build scale invariant representations.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)によって学習された計算の機械的理解は、完全には程遠い。 視覚的物体認識の分野では、先行研究はInceptionV1の内部構造を照らしているが、異なるアーキテクチャを持つDNNはほとんど探索されていない。 本稿では、InceptionV1に欠けているアーキテクチャメカニズムである残留ストリームに特に焦点をあてて、ResNet18を調査する。 入力特徴が出力にスキップするか、ブロック特徴が出力を上書きするか、あるいは出力が入力特徴とブロック特徴の混在である。 さらに,入力の小型特徴とブロックの大規模特徴とを混合することにより,多数の残差ストリームチャネルがスケール不変表現を計算していることを示す。 これはスケール同値の普遍性を示す証拠をマウントするだけでなく、残留ストリームがスケール不変性をさらに実装することを示す。 本稿では,視覚オブジェクト認識における残差ストリームの解釈から,フレキシブルな特徴マネージャと大規模不変表現を構築する媒体であることが確認された。

関連論文リスト

• Accurate and lightweight dehazing via multi-receptive-field non-local network and novel contrastive regularization [9.90146712189936]
  本稿では,マルチ受信フィールド非局所ネットワーク(MRFNLN)を提案する。 マルチストリーム機能アテンションブロック(MSFAB)とクロス非ローカルブロック(CNLB)として設計されている。 これは、150万のパラメータ未満の最近の最先端の脱ハージング手法よりも優れています。
  論文  参考訳（メタデータ） (2023-09-28T14:59:16Z)
• Effective and Interpretable Information Aggregation with Capacity Networks [3.4012007729454807]
  キャパシティネットワークは、意味論的意味のある空間に集約できる複数の解釈可能な中間結果を生成する。 この単純な帰納バイアスを実装することで、異なるエンコーダ・デコーダアーキテクチャの改善がもたらされることを示す。
  論文  参考訳（メタデータ） (2022-07-25T09:45:16Z)
• Towards Efficient Scene Understanding via Squeeze Reasoning [71.1139549949694]
  我々はSqueeze Reasoningと呼ばれる新しいフレームワークを提案する。 空間地図上の情報を伝播するのではなく、まず入力特徴をチャネルワイドなグローバルベクトルに絞ることを学ぶ。 提案手法はエンドツーエンドのトレーニングブロックとしてモジュール化可能であり,既存のネットワークに簡単に接続可能であることを示す。
  論文  参考訳（メタデータ） (2020-11-06T12:17:01Z)
• Feature Flow: In-network Feature Flow Estimation for Video Object Detection [56.80974623192569]
  光の流れはコンピュータビジョンのタスクで広く使われ、ピクセルレベルのモーション情報を提供する。 一般的なアプローチは、ニューラルネットワークへの前向き光学フローと、タスクデータセット上のこのネットワークの微調整である。 ビデオオブジェクト検出のための textbfIn-network textbfFeature textbfFlow 推定モジュールを用いた新しいネットワーク (IFF-Net) を提案する。
  論文  参考訳（メタデータ） (2020-09-21T07:55:50Z)
• Volumetric Transformer Networks [88.85542905676712]
  学習可能なモジュールである容積変換器ネットワーク(VTN)を導入する。 VTNは、中間CNNの空間的およびチャネル的特徴を再設定するために、チャネル回りの歪み場を予測する。 実験の結果,VTNは特徴量の表現力を一貫して向上し,細粒度画像認識とインスタンスレベルの画像検索におけるネットワークの精度が向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-18T14:00:12Z)
• Multi-scale Interactive Network for Salient Object Detection [91.43066633305662]
  本稿では,隣接レベルからの機能を統合するためのアグリゲート・インタラクション・モジュールを提案する。 より効率的なマルチスケール機能を得るために、各デコーダユニットに自己相互作用モジュールを埋め込む。 5つのベンチマークデータセットによる実験結果から,提案手法は後処理を一切行わず,23の最先端手法に対して良好に動作することが示された。
  論文  参考訳（メタデータ） (2020-07-17T15:41:37Z)
• Adaptive feature recombination and recalibration for semantic segmentation with Fully Convolutional Networks [57.64866581615309]
  完全畳み込みネットワークを用いたセマンティックセグメンテーションに適応した特徴の組換えと空間適応型再分類ブロックを提案する。 その結果、再結合と再校正は競争ベースラインの結果を改善し、3つの異なる問題にまたがって一般化することを示した。
  論文  参考訳（メタデータ） (2020-06-19T15:45:03Z)
• ResNeSt: Split-Attention Networks [86.25490825631763]
  このアーキテクチャは、異なるネットワークブランチにチャンネルワイズを応用し、機能間相互作用のキャプチャと多様な表現の学習の成功を活用する。 我々のモデルはResNeStと呼ばれ、画像分類の精度と遅延トレードオフにおいてEfficientNetより優れています。
  論文  参考訳（メタデータ） (2020-04-19T20:40:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。