論文の概要: Robustness to Transformations Across Categories: Is Robustness To
Transformations Driven by Invariant Neural Representations?
- arxiv url: http://arxiv.org/abs/2007.00112v3
- Date: Sat, 10 Jun 2023 00:02:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-14 03:37:01.624546
- Title: Robustness to Transformations Across Categories: Is Robustness To
Transformations Driven by Invariant Neural Representations?
- Title（参考訳）: カテゴリ間の変換へのロバストネス:不変神経表現による変換へのロバストネス?
- Authors: Hojin Jang, Syed Suleman Abbas Zaidi, Xavier Boix, Neeraj Prasad,
Sharon Gilad-Gutnick, Shlomit Ben-Ami, Pawan Sinha
- Abstract要約: ディープ畳み込みニューラルネットワーク(DCNN)は、変換中のオブジェクトを認識するという、印象的な堅牢性を示している。
そのような堅牢性を説明する仮説は、DCNNが画像が変換されたときに変化しない不変な神経表現を発達させるというものである。
本稿では, 変形に対する堅牢性を高めることを利用して, 不変なニューラル表現が出現する条件について検討する。
- 参考スコア（独自算出の注目度）: 1.7251667223970861
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep Convolutional Neural Networks (DCNNs) have demonstrated impressive
robustness to recognize objects under transformations (eg. blur or noise) when
these transformations are included in the training set. A hypothesis to explain
such robustness is that DCNNs develop invariant neural representations that
remain unaltered when the image is transformed. However, to what extent this
hypothesis holds true is an outstanding question, as robustness to
transformations could be achieved with properties different from invariance,
eg. parts of the network could be specialized to recognize either transformed
or non-transformed images. This paper investigates the conditions under which
invariant neural representations emerge by leveraging that they facilitate
robustness to transformations beyond the training distribution. Concretely, we
analyze a training paradigm in which only some object categories are seen
transformed during training and evaluate whether the DCNN is robust to
transformations across categories not seen transformed. Our results with
state-of-the-art DCNNs indicate that invariant neural representations do not
always drive robustness to transformations, as networks show robustness for
categories seen transformed during training even in the absence of invariant
neural representations. Invariance only emerges as the number of transformed
categories in the training set is increased. This phenomenon is much more
prominent with local transformations such as blurring and high-pass filtering
than geometric transformations such as rotation and thinning, which entail
changes in the spatial arrangement of the object. Our results contribute to a
better understanding of invariant neural representations in deep learning and
the conditions under which it spontaneously emerges.
- Abstract（参考訳）: 深層畳み込みニューラルネットワーク(DCNN)は、これらの変換がトレーニングセットに含まれる場合、変換中のオブジェクト(例えば、ぼやけやノイズ)を認識するための印象的な堅牢性を示している。
このようなロバスト性を説明する仮説は、dcnnが画像が変換された後も不変な神経表現を発達させることである。
しかし、この仮説がどの程度真であるかは、例えば不変性とは異なる性質で変換に対する堅牢性が達成できるため、決定的な疑問である。
ネットワークの一部は、変換された画像または非変換された画像を認識するために特化することができる。
本稿では, 学習分布を超えた変換に対するロバスト性を促進することによって, 不変な神経表現が出現する条件について検討する。
具体的には、トレーニング中にいくつかのオブジェクトカテゴリのみが変換されるトレーニングパラダイムを分析し、dcnnが変換されないカテゴリ全体の変換にロバストであるかどうかを評価する。
その結果,不変なニューラルネットワーク表現がない場合でも,ネットワークはトレーニング中に変換されるカテゴリのロバスト性を示すため,不変なニューラルネットワーク表現が変換に対するロバスト性を常に駆動するとは限らない。
不変性は、トレーニングセット内の変換されたカテゴリの数が増えるときにのみ現れる。
この現象は、物体の空間配置の変化を伴う回転や薄化のような幾何学的変換よりも、ぼやけやハイパスフィルタリングのような局所的変換で顕著である。
その結果,深層学習における不変神経表現の理解が深層学習と自然発生状態の理解を深めることができた。
関連論文リスト
- Invariant Shape Representation Learning For Image Classification [41.610264291150706]
本稿では,不変形状表現学習(ISRL)を初めて開発した新しいフレームワークを提案する。
我々のモデルISRLは、変形可能な変換によってパラメータ化される潜在形状空間における不変特徴を共同でキャプチャするように設計されている。
異なる環境にターゲット変数に関して不変な機能を埋め込むことで、我々のモデルは一貫してより正確な予測を提供する。
論文 参考訳（メタデータ） (2024-11-19T03:39:43Z) - Unsupervised Learning of Invariance Transformations [105.54048699217668]
近似グラフ自己同型を見つけるためのアルゴリズムフレームワークを開発する。
重み付きグラフにおける近似自己同型を見つけるために、このフレームワークをどのように利用できるかについて議論する。
論文 参考訳（メタデータ） (2023-07-24T17:03:28Z) - B-cos Alignment for Inherently Interpretable CNNs and Vision
Transformers [97.75725574963197]
本稿では,深層ニューラルネットワーク(DNN)の学習における重み付けの促進による解釈可能性の向上に向けた新たな方向性を提案する。
このような変換の列は、完全なモデル計算を忠実に要約する単一の線形変換を誘導することを示す。
得られた説明は視覚的品質が高く,定量的解釈可能性指標下では良好に機能することを示す。
論文 参考訳（メタデータ） (2023-06-19T12:54:28Z) - Domain Generalization In Robust Invariant Representation [10.132611239890345]
本稿では,分布外データに基づく不変表現の一般化について検討する。
不変モデルは分布シフトに頑健な非構造潜在表現を学習することを示す。
論文 参考訳（メタデータ） (2023-04-07T00:58:30Z) - Self-Supervised Learning for Group Equivariant Neural Networks [75.62232699377877]
群同変ニューラルネットワーク(英: Group equivariant Neural Network)は、入力の変換で通勤する構造に制限されたモデルである。
自己教師型タスクには、同変プリテキストラベルと異変コントラスト損失という2つの概念を提案する。
標準画像認識ベンチマークの実験では、同変ニューラルネットワークが提案された自己教師型タスクを利用することを示した。
論文 参考訳（メタデータ） (2023-03-08T08:11:26Z) - Revisiting Transformation Invariant Geometric Deep Learning: Are Initial
Representations All You Need? [80.86819657126041]
変換不変および距離保存初期表現は変換不変性を達成するのに十分であることを示す。
具体的には、多次元スケーリングを変更することで、変換不変かつ距離保存された初期点表現を実現する。
我々は、TinvNNが変換不変性を厳密に保証し、既存のニューラルネットワークと組み合わせられるほど汎用的で柔軟なことを証明した。
論文 参考訳（メタデータ） (2021-12-23T03:52:33Z) - Deformation Robust Roto-Scale-Translation Equivariant CNNs [10.44236628142169]
グループ同変畳み込みニューラルネットワーク(G-CNN)は,固有対称性を持つ一般化性能を著しく向上させる。
G-CNNの一般的な理論と実践的実装は、回転またはスケーリング変換の下での平面画像に対して研究されている。
論文 参考訳（メタデータ） (2021-11-22T03:58:24Z) - Topographic VAEs learn Equivariant Capsules [84.33745072274942]
本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。
このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。
我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
論文 参考訳（メタデータ） (2021-09-03T09:25:57Z) - Augmenting Implicit Neural Shape Representations with Explicit
Deformation Fields [95.39603371087921]
入射神経表現は、ニューラルネットワークのゼロレベルセットとして形状収集を学ぶための最近のアプローチである。
我々は,暗黙的ニューラル表現に対する変形認識正規化を提唱し,遅延コードの変化として可塑性変形を生成することを目的とした。
論文 参考訳（メタデータ） (2021-08-19T22:07:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。