Fugu-MT 論文翻訳(概要): Spooky Action at a Distance: Normalization Layers Enable Side-Channel Spatial Communication

論文の概要: Spooky Action at a Distance: Normalization Layers Enable Side-Channel Spatial Communication

arxiv url: http://arxiv.org/abs/2507.04709v1
Date: Mon, 07 Jul 2025 07:00:02 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-08 15:46:35.305561
Title: Spooky Action at a Distance: Normalization Layers Enable Side-Channel Spatial Communication
Title（参考訳）: 距離におけるスポッキーアクション:横チャネル空間通信を可能にする正規化層
Authors: Samuel Pfrommer, George Ma, Yixiao Huang, Somayeh Sojoudi,
Abstract要約: 畳み込み型アーキテクチャを用いておもちゃの局所化タスクについて検討し、正規化層が反復的なメッセージパッシング処理を可能にすることを示す。この結果から,拡散に基づく軌道生成などの応用において,正規化層は注意を要することが示唆された。
参考スコア（独自算出の注目度）: 8.89574200308963
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This work shows that normalization layers can facilitate a surprising degree of communication across the spatial dimensions of an input tensor. We study a toy localization task with a convolutional architecture and show that normalization layers enable an iterative message passing procedure, allowing information aggregation from well outside the local receptive field. Our results suggest that normalization layers should be employed with caution in applications such as diffusion-based trajectory generation, where maintaining a spatially limited receptive field is crucial.
Abstract（参考訳）: この研究は、正規化層が入力テンソルの空間次元にわたって驚くほどのコミュニケーションを促進することを示している。我々は,畳み込み型アーキテクチャを用いておもちゃの局所化タスクを研究し,正規化層が反復的メッセージパッシング処理を可能にし,局所受容場外からの情報収集を可能にすることを示す。この結果から,空間的に制限された受容場を維持する上では,拡散に基づく軌道生成などの応用において,正規化層は注意を要することが示唆された。

関連論文リスト

Residual Connections and Normalization Can Provably Prevent Oversmoothing in GNNs [30.003409099607204]
残差接続と正規化層を有する(線形化)グラフニューラルネットワーク(GNN)の形式的かつ正確な特徴付けを提供する。正規化層の中心となるステップは、メッセージパッシングにおけるグラフ信号を変化させ、関連する情報を抽出しにくくすることを示す。本稿では,グラフNormv2と呼ばれる新しい正規化レイヤを導入し,その中心となるステップを学習することで,元のグラフ信号を望ましくない方法で歪ませないようにする。
論文参考訳（メタデータ） (2024-06-05T06:53:16Z)
Spatial Structure Constraints for Weakly Supervised Semantic Segmentation [100.0316479167605]
クラスアクティベーションマップ(CAM)は、オブジェクトの最も識別性の高い部分のみを見つけることができる。注意伸縮の余剰なオブジェクトの過剰な活性化を軽減するために,弱い教師付きセマンティックセマンティックセグメンテーションのための空間構造制約(SSC)を提案する。提案手法は,PASCAL VOC 2012とCOCOデータセットでそれぞれ72.7%,47.0%mIoUを達成した。
論文参考訳（メタデータ） (2024-01-20T05:25:25Z)
Weakly Supervised Object Localization via Transformer with Implicit Spatial Calibration [20.322494442959762]
Wakly Supervised Object Localization (WSOL) は、実際のアプリケーションでアノテーションのコストが低いため、多くの注目を集めている。パッチトークンとそれらの空間関係のセマンティックな類似性を統合拡散モデルに組み込んだ,正確なWSOLのためのシンプルで効果的な空間モジュール(SCM)を提案する。 SCMはTransformerの外部モジュールとして設計されており、推論中に除去して計算コストを削減することができる。
論文参考訳（メタデータ） (2022-07-21T12:37:15Z)
Spatial Entropy Regularization for Vision Transformers [71.44392961125807]
視覚変換器(VT)は、訓練が監督されたときに自然に出現しない意味的セグメンテーション構造を含むことができる。本稿では,情報エントロピーの空間的定式化に基づくVT正規化手法を提案する。提案手法は,異なるトレーニングシナリオ,データセット,下流タスク,VTアーキテクチャに対して有効であることを示す。
論文参考訳（メタデータ） (2022-06-09T17:34:39Z)
Rethinking Skip Connection with Layer Normalization in Transformers and ResNets [49.87919454950763]
スキップ接続は、ディープニューラルネットワークの性能を改善するために広く使われているテクニックである。本研究では,スキップ接続の有効性におけるスケール要因について検討する。
論文参考訳（メタデータ） (2021-05-15T11:44:49Z)
Sign-Agnostic CONet: Learning Implicit Surface Reconstructions by Sign-Agnostic Optimization of Convolutional Occupancy Networks [39.65056638604885]
畳み込み型ネットワークの符号非依存最適化により暗黙的表面再構成を学習する。この目標をシンプルで効果的な設計で効果的に達成できることを示す。
論文参考訳（メタデータ） (2021-05-08T03:35:32Z)
Unsupervised Metric Relocalization Using Transform Consistency Loss [66.19479868638925]
メートル法再ローカライズを行うためのトレーニングネットワークは、従来、正確な画像対応が必要である。地図内のクエリ画像のローカライズは、登録に使用される参照画像に関係なく、同じ絶対的なポーズを与えるべきである。提案手法は, 限られた地下構造情報が得られる場合に, 他の教師あり手法よりも優れていることを示す。
論文参考訳（メタデータ） (2020-11-01T19:24:27Z)
Invariant Integration in Deep Convolutional Feature Space [77.99182201815763]
より深いニューラルネットワークアーキテクチャに事前知識を原則的に組み込む方法を示す。本稿では,Rotated-MNISTデータセットの最先端性能について報告する。
論文参考訳（メタデータ） (2020-04-20T09:45:43Z)
Spatially Attentive Output Layer for Image Classification [19.61612493183965]
画像分類のためのほとんどの畳み込みニューラルネットワーク(CNN)は、グローバル平均プーリング(GAP)と、出力ロジットのための完全連結(FC)層を使用する。本稿では,既存の畳み込み特徴マップ上に新しい空間出力層を提案し,位置固有出力情報を明示的に活用する。
論文参考訳（メタデータ） (2020-04-16T10:11:38Z)
Attentive Normalization for Conditional Image Generation [126.08247355367043]
我々は、従来のインスタンス正規化の拡張である注意的正規化(AN)により、長距離依存を特徴づける。自己注意型GANと比較して、注意的正規化はすべての位置の相関を測る必要がない。クラス条件の画像生成とセマンティックインパインティングの実験により,提案モジュールの有効性が検証された。
論文参考訳（メタデータ） (2020-04-08T06:12:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。