論文の概要: Emergence of Shape Bias in Convolutional Neural Networks through Activation Sparsity

• arxiv url: http://arxiv.org/abs/2310.18894v1
• Date: Sun, 29 Oct 2023 04:07:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 15:39:03.159211
• Title: Emergence of Shape Bias in Convolutional Neural Networks through Activation Sparsity
• Title（参考訳）: 活性化空間による畳み込みニューラルネットワークにおける形状バイアスの発生
• Authors: Tianqin Li, Ziqi Wen, Yangfan Li, Tai Sing Lee
• Abstract要約: 現在の物体認識のためのディープラーニングモデルはテクスチャに大きく偏っている。 対照的に、人間の視覚系は形状や構造に偏っていることが知られている。 脳内のユビキタスな原理であるスパースコーディングは、それ自体がネットワークに形状バイアスをもたらす可能性があることを示す。
• 参考スコア（独自算出の注目度）: 8.54598311798543
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current deep-learning models for object recognition are known to be heavily biased toward texture. In contrast, human visual systems are known to be biased toward shape and structure. What could be the design principles in human visual systems that led to this difference? How could we introduce more shape bias into the deep learning models? In this paper, we report that sparse coding, a ubiquitous principle in the brain, can in itself introduce shape bias into the network. We found that enforcing the sparse coding constraint using a non-differential Top-K operation can lead to the emergence of structural encoding in neurons in convolutional neural networks, resulting in a smooth decomposition of objects into parts and subparts and endowing the networks with shape bias. We demonstrated this emergence of shape bias and its functional benefits for different network structures with various datasets. For object recognition convolutional neural networks, the shape bias leads to greater robustness against style and pattern change distraction. For the image synthesis generative adversary networks, the emerged shape bias leads to more coherent and decomposable structures in the synthesized images. Ablation studies suggest that sparse codes tend to encode structures, whereas the more distributed codes tend to favor texture. Our code is host at the github repository: \url{https://github.com/Crazy-Jack/nips2023_shape_vs_texture}
• Abstract（参考訳）: 現在の物体認識のためのディープラーニングモデルは、テクスチャに大きく偏っていることが知られている。 対照的に、人間の視覚システムは形や構造に偏っていることが知られている。 この違いを導いた人間の視覚システムの設計原則は何でしょうか? ディープラーニングモデルにもっと形状バイアスを導入するにはどうすればよいのか? 本稿では,脳内のユビキタスな原理であるスパース符号化が,ネットワークに形状バイアスをもたらす可能性があることを報告する。 非微分top-k演算を用いてスパース符号化制約を強制すると、畳み込みニューラルネットワークにおけるニューロンの構造的エンコーディングが出現し、結果としてオブジェクトを部分と部分にスムーズに分解し、形状バイアスでネットワークを内挿することを発見した。 我々は、形状バイアスの出現とその様々なデータセットを持つ異なるネットワーク構造に対する機能的利点を実証した。 物体認識畳み込みニューラルネットワークでは、形状バイアスがスタイルに対する堅牢性を高め、パターン変化の妨げとなる。 画像合成生成逆ネットワークでは、出現した形状バイアスは、合成画像においてよりコヒーレントで分解可能な構造をもたらす。 アブレーション研究は、スパースコードは構造をエンコードする傾向にあり、より分散されたコードはテクスチャを好む傾向にあることを示唆している。 我々のコードはgithubリポジトリにホストされている。 \url{https://github.com/Crazy-Jack/nips2023_shape_vs_texture}

関連論文リスト

• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Connecting metrics for shape-texture knowledge in computer vision [1.7785095623975342]
  深層ニューラルネットワークは、人間が画像の分類ミスを起こさないような、画像の多くの変化の影響を受けやすいままである。 この異なる振る舞いの一部は、視覚タスクで人間とディープニューラルネットワークが使用する機能の種類によって説明できるかもしれない。
  論文  参考訳（メタデータ） (2023-01-25T14:37:42Z)
• Scalar Invariant Networks with Zero Bias [3.428731916567677]
  ゼロバイアスニューラルネットワークは、実用的な画像分類タスクにおいて、バイアス付きネットワークと同等に動作可能であることを示す。 ゼロバイアスニューラルネットワークがゼロ画像の予測に有効であることを示す。 ゼロバイアスニューラルネットワークの堅牢性と公正性は、信頼できる倫理的AIへの有望な道のりを示すかもしれない。
  論文  参考訳（メタデータ） (2022-11-15T20:26:07Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Predictive coding feedback results in perceived illusory contours in a recurrent neural network [0.0]
  脳にインスパイアされたリカレントダイナミクスを備えたディープフィードフォワード畳み込みネットワークを備える。 照明輪郭の知覚にはフィードバック接続が関与する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-02-03T09:07:09Z)
• Shape or Texture: Understanding Discriminative Features in CNNs [28.513300496205044]
  最近の研究では、CNNが実際にテクスチャバイアスを持っていることが示されている」。 ネットワークは,最初の数回の訓練で,全体の形状情報の大部分を学習することを示す。 また、形状の符号化は、局所化された画素ごとのセマンティック情報の符号化を意味するものではないことを示す。
  論文  参考訳（メタデータ） (2021-01-27T18:54:00Z)
• Informative Dropout for Robust Representation Learning: A Shape-bias Perspective [84.30946377024297]
  Informative Dropout (InfoDrop) と呼ばれる軽量モデル非依存の手法を提案し, 解釈性の向上とテクスチャバイアスの低減を図る。 具体的には、画像中の局所的な自己情報に基づいて形状からテクスチャを識別し、Dropoutのようなアルゴリズムを用いて局所的なテクスチャからのモデル出力をデコレーションする。
  論文  参考訳（メタデータ） (2020-08-10T16:52:24Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。