論文の概要: Symmetry Perception by Deep Networks: Inadequacy of Feed-Forward
Architectures and Improvements with Recurrent Connections
- arxiv url: http://arxiv.org/abs/2112.04162v1
- Date: Wed, 8 Dec 2021 08:21:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-09 23:03:32.064541
- Title: Symmetry Perception by Deep Networks: Inadequacy of Feed-Forward
Architectures and Improvements with Recurrent Connections
- Title(参考訳): ディープネットワークによる対称性の知覚:フィードフォワードアーキテクチャの不備と再帰接続による改善
- Authors: Shobhita Sundaram, Darius Sinha, Matthew Groth, Tomotake Sasaki,
Xavier Boix
- Abstract要約: 本研究では, 実例から対称性知覚を学習するタスクにおいて, ディープニューラルネットワーク(DNN)アーキテクチャを評価する。
再帰的アーキテクチャは,非局所的空間依存を局所的な操作列に分解することで,対称性を知覚できることがわかった。
- 参考スコア(独自算出の注目度): 3.6923632650826477
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Symmetry is omnipresent in nature and perceived by the visual system of many
species, as it facilitates detecting ecologically important classes of objects
in our environment. Symmetry perception requires abstraction of non-local
spatial dependencies between image regions, and its underlying neural
mechanisms remain elusive. In this paper, we evaluate Deep Neural Network (DNN)
architectures on the task of learning symmetry perception from examples. We
demonstrate that feed-forward DNNs that excel at modelling human performance on
object recognition tasks, are unable to acquire a general notion of symmetry.
This is the case even when the DNNs are architected to capture non-local
spatial dependencies, such as through `dilated' convolutions and the recently
introduced `transformers' design. By contrast, we find that recurrent
architectures are capable of learning to perceive symmetry by decomposing the
non-local spatial dependencies into a sequence of local operations, that are
reusable for novel images. These results suggest that recurrent connections
likely play an important role in symmetry perception in artificial systems, and
possibly, biological ones too.
- Abstract(参考訳): シンメトリーは自然界において一様であり、多くの種の視覚システムによって認識される。
対称性の知覚は、画像領域間の非局所的な空間依存性の抽象化を必要とし、その基盤となる神経機構は解明され続けている。
本稿では,実例から対称性知覚を学習するタスクにおいて,Deep Neural Network(DNN)アーキテクチャを評価する。
対象認識タスクにおける人間のパフォーマンスのモデル化に優れるフィードフォワードDNNは、対称性の一般的な概念を得ることができないことを示す。
これは、DNNが‘dilated’畳み込みや最近導入された‘transformer’設計など、非ローカルな空間依存をキャプチャするように設計されている場合でも、そうである。
対照的に、リカレントアーキテクチャは、非局所的な空間依存を新しい画像に再利用可能な局所的な操作列に分解することで、対称性を知覚することができる。
これらの結果から, 繰り返し接続は, 生体系の対称性知覚において重要な役割を担っている可能性が示唆された。
関連論文リスト
- Probing neural representations of scene perception in a hippocampally
dependent task using artificial neural networks [1.0312968200748116]
バックプロパゲーションによって訓練されたディープ人工ニューラルネットワーク(DNN)は、哺乳類の視覚システムの効果的なモデルを提供する。
本稿では,海馬依存型課題に触発されたシーン認識ベンチマークについて述べる。
側頭葉構造と海馬の接続性に着想を得たネットワークアーキテクチャを用いて,三重項損失を用いて訓練したDNNが,この課題を学習できることを実証した。
論文 参考訳(メタデータ) (2023-03-11T10:26:25Z) - Neural networks learn to magnify areas near decision boundaries [32.84188052937496]
本研究では,非拘束型ニューラルネットワーク特徴写像による幾何形状の学習方法について検討する。
まず、無限の幅でランダムパラメータを持つニューラルネットワークが入力空間上で高度に対称なメトリクスを誘導することを示す。
分類タスクを実行するために訓練されたネットワークは、決定境界に沿った地域を拡大するために学習する。
論文 参考訳(メタデータ) (2023-01-26T19:43:16Z) - SNeS: Learning Probably Symmetric Neural Surfaces from Incomplete Data [77.53134858717728]
我々はニューラルレイディアンスフィールド(NeRF)のようなニューラルリコンストラクションとレンダリングの最近の進歩の強みの上に構築する。
我々は3次元形状と材料特性にソフト対称性の制約を適用し,光,アルベド色,反射率に分解された外観を有する。
保存されていない領域を高い忠実度で再構成し、高品質な新しいビュー画像を作成することができることを示す。
論文 参考訳(メタデータ) (2022-06-13T17:37:50Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳(メタデータ) (2022-05-11T17:43:54Z) - Quasi-orthogonality and intrinsic dimensions as measures of learning and
generalisation [55.80128181112308]
ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。
本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
論文 参考訳(メタデータ) (2022-03-30T21:47:32Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Scene Synthesis via Uncertainty-Driven Attribute Synchronization [52.31834816911887]
本稿では,3次元シーンの多様な特徴パターンを捉えるニューラルシーン合成手法を提案する。
提案手法は,ニューラルネットワークと従来のシーン合成手法の双方の長所を結合する。
論文 参考訳(メタデータ) (2021-08-30T19:45:07Z) - Encoding Involutory Invariance in Neural Networks [1.6371837018687636]
ある状況では、ニューラルネットワーク(NN)は、基礎となる物理対称性に従うデータに基づいて訓練される。
本研究では、関数がパリティまでのインボリュート線型/ファイン変換に対して不変な特別な対称性について検討する。
数値実験により,提案モデルが与えられた対称性を尊重しながらベースラインネットワークより優れていたことが示唆された。
また,本手法を水平/垂直反射対称性を持つデータセットに対する畳み込みNN分類タスクに適用する手法も提案されている。
論文 参考訳(メタデータ) (2021-06-07T16:07:15Z) - Joint Learning of Neural Transfer and Architecture Adaptation for Image
Recognition [77.95361323613147]
現在の最先端の視覚認識システムは、大規模データセット上でニューラルネットワークを事前トレーニングし、より小さなデータセットでネットワーク重みを微調整することに依存している。
本稿では,各ドメインタスクに適応したネットワークアーキテクチャの動的適応と,効率と効率の両面で重みの微調整の利点を実証する。
本手法は,ソースドメインタスクでスーパーネットトレーニングを自己教師付き学習に置き換え,下流タスクで線形評価を行うことにより,教師なしパラダイムに容易に一般化することができる。
論文 参考訳(メタデータ) (2021-03-31T08:15:17Z) - Complexity for deep neural networks and other characteristics of deep
feature representations [0.0]
ニューラルネットワークの計算の非線形性を定量化する複雑性の概念を定義する。
トレーニング対象ネットワークとトレーニング対象ネットワークの動的特性の両面から,これらのオブザーバブルについて検討する。
論文 参考訳(メタデータ) (2020-06-08T17:59:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。