論文の概要: Naturally Computed Scale Invariance in the Residual Stream of ResNet18

• arxiv url: http://arxiv.org/abs/2504.16290v2
• Date: Tue, 29 Apr 2025 18:34:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:52.945617
• Title: Naturally Computed Scale Invariance in the Residual Stream of ResNet18
• Title（参考訳）: ResNet18の残留流における自然計算スケールの不変性
• Authors: André Longon,
• Abstract要約: この研究はResNet18を、InceptionV1に欠けているアーキテクチャコンポーネントである残留ストリームに特に焦点をあてて調査している。 中間ブロックにおける多くの畳み込みチャネルはスケール不変性を示し、スケール同変表現の要素次残差和によって計算される。 その後のアブレーション実験を通じて、これらの神経特性とスケールロスト物体認識の挙動を因果的に関連付けようと試みる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An important capacity in visual object recognition is invariance to image-altering variables which leave the identity of objects unchanged, such as lighting, rotation, and scale. How do neural networks achieve this? Prior mechanistic interpretability research has illuminated some invariance-building circuitry in InceptionV1, but the results are limited and networks with different architectures have remained largely unexplored. This work investigates ResNet18 with a particular focus on its residual stream, an architectural component which InceptionV1 lacks. We observe that many convolutional channels in intermediate blocks exhibit scale invariant properties, computed by the element-wise residual summation of scale equivariant representations: the block input's smaller-scale copy with the block pre-sum output's larger-scale copy. Through subsequent ablation experiments, we attempt to causally link these neural properties with scale-robust object recognition behavior. Our tentative findings suggest how the residual stream computes scale invariance and its possible role in behavior. Code is available at: https://github.com/cest-andre/residual-stream-interp
• Abstract（参考訳）: 視覚的物体認識における重要な能力は、照明、回転、スケールなどの物体の同一性を変えない画像変化変数への不変性である。 ニューラルネットワークはどのようにこれを達成しますか? 従来の機械的解釈可能性の研究は、InceptionV1における不変回路のいくつかを照らしているが、結果は限定的であり、異なるアーキテクチャを持つネットワークはほとんど探索されていない。 この研究はResNet18を、InceptionV1に欠けているアーキテクチャコンポーネントである残留ストリームに特に焦点をあてて調査している。 中間ブロックにおける多くの畳み込みチャネルはスケール不変性を示し、ブロック入力の小型コピーとブロックプリサム出力の大規模コピーとの、スケール同変表現の要素的残差和によって計算される。 その後のアブレーション実験を通じて、これらの神経特性とスケールロスト物体認識の挙動を因果的に関連付けようと試みる。 予備的な知見は, 残留流がスケール不変度を計算し, その挙動に果たす役割を示唆している。 https://github.com/cest-andre/residual-stream-interp

関連論文リスト

• WiNet: Wavelet-based Incremental Learning for Efficient Medical Image Registration [68.25711405944239]
  深部画像登録は異常な精度と高速な推測を示した。 近年の進歩は、粗大から粗大の方法で密度変形場を推定するために、複数のカスケードまたはピラミッドアーキテクチャを採用している。 本稿では,様々なスケールにわたる変位/速度場に対して,スケールワイブレット係数を漸進的に推定するモデル駆動WiNetを提案する。
  論文  参考訳（メタデータ） (2024-07-18T11:51:01Z)
• Interpreting the Residual Stream of ResNet18 [0.0]
  本稿では、InceptionV1に欠けているアーキテクチャメカニズムである残留ストリームに特に焦点をあてて、ResNet18を調査する。 残差ストリームチャネルの多くは、入力の小型特徴とブロックの大規模特徴とを混合して、スケール不変表現を計算している。
  論文  参考訳（メタデータ） (2024-07-07T12:13:03Z)
• Truly Scale-Equivariant Deep Nets with Fourier Layers [14.072558848402362]
  コンピュータビジョンでは、モデルが画像の解像度の変化に適応し、画像分割などのタスクを効果的に実行できなければならない。 最近の研究は、ウェイトシェアリングとカーネルのリサイズを通じて、スケール平等な畳み込みニューラルネットワークの開発を進展させた。 本稿では,Fourier層に基づく新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-11-06T07:32:27Z)
• Riesz networks: scale invariant neural networks in a single forward pass [0.7673339435080445]
  本稿では,新しいスケール不変ニューラルネットワークであるRiesz Networkを紹介する。 適用例として,コンクリートのトモグラフィー画像におけるひび割れの検出とセグメンテーションについて考察する。 次に, 広範囲のひび割れ幅を特徴とする, シミュレーション画像と実断層画像のセグメンテーション性能を検証する。
  論文  参考訳（メタデータ） (2023-05-08T12:39:49Z)
• Finding Differences Between Transformers and ConvNets Using Counterfactual Simulation Testing [82.67716657524251]
  本稿では,ニューラルネットワークの自然的変動に対するロバスト性を研究するための反現実的枠組みを提案する。 我々の手法は、最近リリースされた最先端の畳み込みニューラルネットワークとビジョントランスフォーマーの頑健さを公平に比較することができる。
  論文  参考訳（メタデータ） (2022-11-29T18:59:23Z)
• Rethinking Spatial Invariance of Convolutional Networks for Object Counting [119.83017534355842]
  局所連結ガウス核を用いて元の畳み込みフィルタを置き換え、密度写像の空間位置を推定する。 従来の研究から着想を得て,大規模なガウス畳み込みの近似を好意的に実装するために,翻訳不変性を伴う低ランク近似を提案する。 提案手法は,他の最先端手法を著しく上回り,物体の空間的位置の有望な学習を実現する。
  論文  参考訳（メタデータ） (2022-06-10T17:51:25Z)
• Object-aware Monocular Depth Prediction with Instance Convolutions [72.98771405534937]
  本稿では,特徴集合を避けるために明示的に調整された新しい畳み込み演算子を提案する。 提案手法は,部分ごとの深度をスーパーピクセルで推定する。 NYUv2とiBimsデータセットに対する我々の評価は、インスタンスの畳み込みの優位性を明確に示している。
  論文  参考訳（メタデータ） (2021-12-02T18:59:48Z)
• Quantised Transforming Auto-Encoders: Achieving Equivariance to Arbitrary Transformations in Deep Networks [23.673155102696338]
  畳み込みニューラルネットワーク(CNN)は画像翻訳と等価である。 埋め込みは任意の等式関係を同時に従うオートエンコーダアーキテクチャを提案する。 いくつかのデータセット上で入力画像の変換版の再レンダリングに成功した結果を示す。
  論文  参考訳（メタデータ） (2021-11-25T02:26:38Z)
• What Does CNN Shift Invariance Look Like? A Visualization Study [87.79405274610681]
  畳み込みニューラルネットワーク(CNN)による特徴抽出は、機械学習タスクの画像を表現する一般的な方法である。 我々は,一般的な市販CNNモデルから抽出した特徴量の変動を計測し,可視化することに注力する。 人気ネットワークから抽出された特徴はグローバルに不変ではなく,この分散の中にバイアスやアーティファクトが存在すると結論付けている。
  論文  参考訳（メタデータ） (2020-11-09T01:16:30Z)
• Multi-scale Interactive Network for Salient Object Detection [91.43066633305662]
  本稿では,隣接レベルからの機能を統合するためのアグリゲート・インタラクション・モジュールを提案する。 より効率的なマルチスケール機能を得るために、各デコーダユニットに自己相互作用モジュールを埋め込む。 5つのベンチマークデータセットによる実験結果から,提案手法は後処理を一切行わず,23の最先端手法に対して良好に動作することが示された。
  論文  参考訳（メタデータ） (2020-07-17T15:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。