論文の概要: Hierarchically Compositional Tasks and Deep Convolutional Networks
- arxiv url: http://arxiv.org/abs/2006.13915v3
- Date: Thu, 25 Mar 2021 04:03:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-17 09:58:25.105331
- Title: Hierarchically Compositional Tasks and Deep Convolutional Networks
- Title（参考訳）: 階層的構成課題と深層畳み込みネットワーク
- Authors: Arturo Deza, Qianli Liao, Andrzej Banburski, Tomaso Poggio
- Abstract要約: 画像の局所的な構成を「決定論的スクランブル」によって破壊する視覚的課題の集合を考える。
オブジェクト認識では、予想通り、スクランブルは浅層または深層に完全に接続されたネットワークの性能に影響を与えない。
テクスチャー知覚とグローバルカラー推定は、これらのタスクに対応する基礎となる関数が階層的に局所的でないことを示す決定論的スクランブルにはるかに敏感である。
- 参考スコア（独自算出の注目度）: 9.790524827475206
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The main success stories of deep learning, starting with ImageNet, depend on
deep convolutional networks, which on certain tasks perform significantly
better than traditional shallow classifiers, such as support vector machines,
and also better than deep fully connected networks; but what is so special
about deep convolutional networks? Recent results in approximation theory
proved an exponential advantage of deep convolutional networks with or without
shared weights in approximating functions with hierarchical locality in their
compositional structure. More recently, the hierarchical structure was proved
to be hard to learn from data, suggesting that it is a powerful prior embedded
in the architecture of the network. These mathematical results, however, do not
say which real-life tasks correspond to input-output functions with
hierarchical locality. To evaluate this, we consider a set of visual tasks
where we disrupt the local organization of images via "deterministic
scrambling" to later perform a visual task on these images structurally-altered
in the same way for training and testing. For object recognition we find, as
expected, that scrambling does not affect the performance of shallow or deep
fully connected networks contrary to the out-performance of convolutional
networks. Not all tasks involving images are however affected. Texture
perception and global color estimation are much less sensitive to deterministic
scrambling showing that the underlying functions corresponding to these tasks
are not hierarchically local; and also counter-intuitively showing that these
tasks are better approximated by networks that are not deep (texture) nor
convolutional (color). Altogether, these results shed light into the importance
of matching a network architecture with its embedded prior of the task to be
learned.
- Abstract（参考訳）: ImageNetから始まるディープラーニングの主な成功例は、ディープ畳み込みネットワークに依存している。これは特定のタスクにおいて、サポートベクタマシンのような従来の浅層分類器よりも大幅にパフォーマンスが良く、また、ディープ完全連結ネットワークよりも優れている。
近似理論の最近の結果は、その構成構造に階層的局所性を持つ近似関数における共有重み付きあるいは非共有重み付き深層畳み込みネットワークの指数関数的優位性を証明した。
より最近では、階層構造はデータから学ぶのが難しいことが証明され、ネットワークのアーキテクチャに埋め込まれた強力な事前処理であることが示唆された。
しかし、これらの数学的結果は、現実のタスクが階層的な局所性を持つ入出力関数に対応するかは述べていない。
これを評価するために,画像の局所的な整理を"決定論的スクランブル"によって中断し,後に構造的に変化した画像に対して,トレーニングやテストと同じように視覚的なタスクを実行する一連のビジュアルタスクを考察する。
オブジェクト認識では、予想通り、畳み込みは畳み込みネットワークのアウトパフォーマンスとは対照的に、浅いあるいは深い完全連結ネットワークの性能に影響を与えない。
ただし、画像に関わるすべてのタスクが影響を受けるわけではない。
テクスチャ知覚とグローバルカラー推定は、これらのタスクに対応する基礎関数が階層的に局所的でないことを示す決定論的スクランブルと、深度(テクスチャ)や畳み込み(カラー)のないネットワークによってこれらのタスクがよりよく近似されていることを示す。
これらの結果は、学習すべきタスクに先立って、ネットワークアーキテクチャと組み込みアーキテクチャとのマッチングの重要性に光を当てた。
関連論文リスト
- Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。
ネットワークが強力なデータ依存機能を取得することを示す。
驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文 参考訳（メタデータ） (2024-06-24T14:50:05Z) - Task structure and nonlinearity jointly determine learned
representational geometry [0.0]
本稿では,Tanhネットワークが対象出力の構造を反映した表現を学習する傾向を示し,ReLUネットワークは生入力の構造についてより多くの情報を保持することを示した。
我々の研究結果は、入力出力幾何学、非線形性、ニューラルネットワークにおける学習表現との相互作用に光を当てた。
論文 参考訳（メタデータ） (2024-01-24T16:14:38Z) - Rotation Equivariant Proximal Operator for Deep Unfolding Methods in Image Restoration [62.41329042683779]
本稿では, 回転対称性を組み込んだ高精度な回転同変近位ネットワークを提案する。
本研究は, 回転対称性の先行を深く展開する枠組みに効果的に組み込む, 高精度な回転同変近位ネットワークを提案する。
論文 参考訳（メタデータ） (2023-12-25T11:53:06Z) - Network Degeneracy as an Indicator of Training Performance: Comparing
Finite and Infinite Width Angle Predictions [3.04585143845864]
ネットワークの深層化が進むにつれ、ネットワークは縮退しやすくなっている。
完全に接続されたReLUネットワークアーキテクチャのデジェネリシーのレベルを正確に予測できる単純なアルゴリズムを用いる。
論文 参考訳（メタデータ） (2023-06-02T13:02:52Z) - Provable Guarantees for Nonlinear Feature Learning in Three-Layer Neural
Networks [49.808194368781095]
3層ニューラルネットワークは,2層ネットワークよりも特徴学習能力が豊富であることを示す。
この研究は、特徴学習体制における2層ネットワーク上の3層ニューラルネットワークの証明可能なメリットを理解するための前進である。
論文 参考訳（メタデータ） (2023-05-11T17:19:30Z) - Designing Deep Networks for Scene Recognition [3.493180651702109]
ネットワーク設計において広く受け入れられている原則を実証するために、広範な実験を行い、データを変更すると劇的な性能差が生じる可能性があることを実証する。
本稿では,データ指向ネットワーク設計という新しいネットワーク設計手法を提案する。
本稿では,半分未満の計算資源を用いてシーン認識性能を向上させるディープ・ナロー・ネットワークとDilated Poolingモジュールを提案する。
論文 参考訳（メタデータ） (2023-03-13T18:28:06Z) - SAR Despeckling Using Overcomplete Convolutional Networks [53.99620005035804]
スペックルはSAR画像を劣化させるため、リモートセンシングにおいて重要な問題である。
近年の研究では、畳み込みニューラルネットワーク(CNN)が古典的解法よりも優れていることが示されている。
本研究は、受容場を制限することで低レベルの特徴を学習することに集中するために、過剰なCNNアーキテクチャを用いる。
本稿では,合成および実SAR画像の非特定化手法と比較して,提案手法により非特定化性能が向上することを示す。
論文 参考訳（メタデータ） (2022-05-31T15:55:37Z) - Joint Learning of Neural Transfer and Architecture Adaptation for Image
Recognition [77.95361323613147]
現在の最先端の視覚認識システムは、大規模データセット上でニューラルネットワークを事前トレーニングし、より小さなデータセットでネットワーク重みを微調整することに依存している。
本稿では,各ドメインタスクに適応したネットワークアーキテクチャの動的適応と,効率と効率の両面で重みの微調整の利点を実証する。
本手法は,ソースドメインタスクでスーパーネットトレーニングを自己教師付き学習に置き換え,下流タスクで線形評価を行うことにより,教師なしパラダイムに容易に一般化することができる。
論文 参考訳（メタデータ） (2021-03-31T08:15:17Z) - Contextual Interference Reduction by Selective Fine-Tuning of Neural
Networks [1.0152838128195465]
本研究では,不整合前景対象オブジェクト表現の干渉におけるコンテキストの役割について検討する。
私たちはボトムアップとトップダウンの処理パラダイムの恩恵を受けるフレームワークに取り組んでいます。
論文 参考訳（メタデータ） (2020-11-21T20:11:12Z) - Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。
結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
論文 参考訳（メタデータ） (2020-06-22T12:46:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。