論文の概要: Why Convolutional Networks Learn Oriented Bandpass Filters: Theory and Empirical Support

• arxiv url: http://arxiv.org/abs/2011.14665v1
• Date: Mon, 30 Nov 2020 10:10:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-07 03:55:45.396894
• Title: Why Convolutional Networks Learn Oriented Bandpass Filters: Theory and Empirical Support
• Title（参考訳）: 畳み込みネットワークが帯域通過フィルタを学習する理由:理論と実証的支援
• Authors: Isma Hadji and Richard P. Wildes
• Abstract要約: 畳み込みネットワークは、すべての畳み込み層において、指向する帯域通過フィルタを学習することを示す。 我々は、畳み込みネットワークがこれら全ての畳み込み層でそのようなフィルタを学ぶという仮説を実証的に支持する。
• 参考スコア（独自算出の注目度）: 16.942548626426184
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It has been repeatedly observed that convolutional architectures when applied to image understanding tasks learn oriented bandpass filters. A standard explanation of this result is that these filters reflect the structure of the images that they have been exposed to during training: Natural images typically are locally composed of oriented contours at various scales and oriented bandpass filters are matched to such structure. We offer an alternative explanation based not on the structure of images, but rather on the structure of convolutional architectures. In particular, complex exponentials are the eigenfunctions of convolution. These eigenfunctions are defined globally; however, convolutional architectures operate locally. To enforce locality, one can apply a windowing function to the eigenfunctions, which leads to oriented bandpass filters as the natural operators to be learned with convolutional architectures. From a representational point of view, these filters allow for a local systematic way to characterize and operate on an image or other signal. We offer empirical support for the hypothesis that convolutional networks learn such filters at all of their convolutional layers. While previous research has shown evidence of filters having oriented bandpass characteristics at early layers, ours appears to be the first study to document the predominance of such filter characteristics at all layers. Previous studies have missed this observation because they have concentrated on the cumulative compositional effects of filtering across layers, while we examine the filter characteristics that are present at each layer.
• Abstract（参考訳）: 画像理解タスクに適用された畳み込みアーキテクチャは、指向する帯域通過フィルタを学習する。 この結果の標準的な説明として、これらのフィルタは訓練中に露呈した画像の構造を反映している: 自然画像は通常、様々なスケールの配向輪郭で局所的に構成され、配向バンドパスフィルタはそのような構造にマッチする。 我々は、画像の構造ではなく、畳み込みアーキテクチャの構造に基づく別の説明を提供する。 特に複素指数関数は畳み込みの固有函数である。 これらの固有関数はグローバルに定義されるが、畳み込み構造は局所的に作用する。 局所性を強制するために、固有関数にウィンドウ関数を適用することができ、畳み込みアーキテクチャで学ぶ自然作用素として向き付けられた帯域通過フィルタが導かれる。 表現の観点からは、これらのフィルタは局所的な体系的な方法で画像や他の信号の特徴付けや操作を可能にする。 我々は,畳み込みネットワークが畳み込み層すべてでそのようなフィルタを学習するという仮説を実証的に支持する。 前回の研究では、初期層における指向性帯域通過特性を有するフィルタの証拠が示されているが、これらのフィルタ特性のすべての層における優位性を示す最初の研究である。 従来の研究では, 各層に存在するフィルタ特性について検討する一方で, 層間フィルタリングの累積構成効果に重点を置いているため, この観察を欠いている。

関連論文リスト

• How transformers learn structured data: insights from hierarchical filtering [2.7784685368355744]
  本稿では,木上の配列の生成モデルに対する階層的フィルタリング手法を提案する。 我々は,バニラエンコーダのみのトランスフォーマーアーキテクチャが最適なBelief伝搬アルゴリズムを実装できることを示す。 フィルタの度合いの異なるモデルのアテンションマップに注目することで,トランスフォーマー層がどのように成功するかを分析する。
  論文  参考訳（メタデータ） (2024-08-27T15:23:09Z)
• Mechanism of feature learning in convolutional neural networks [14.612673151889615]
  我々は、畳み込みニューラルネットワークが画像データからどのように学習するかのメカニズムを特定する。 我々は,フィルタの共分散とパッチベースAGOPの相関関係の同定を含む,アンザッツの実証的証拠を提示する。 次に、パッチベースのAGOPを用いて、畳み込みカーネルマシンの深い特徴学習を可能にすることにより、結果の汎用性を実証する。
  論文  参考訳（メタデータ） (2023-09-01T16:30:02Z)
• Tangent Bundle Convolutional Learning: from Manifolds to Cellular Sheaves and Back [84.61160272624262]
  この畳み込み操作に基づいて,タンジェントバンドルフィルタとタンジェントバンドルニューラルネットワーク(TNN)を定義する。 タンジェントバンドルフィルタは、スカラー多様体フィルタ、グラフフィルタ、標準畳み込みフィルタを連続的に一般化するスペクトル表現を許容する。 提案したアーキテクチャが様々な学習課題に与える影響を数値的に評価する。
  論文  参考訳（メタデータ） (2023-03-20T17:57:15Z)
• Graph Filters for Signal Processing and Machine Learning on Graphs [83.29608206147515]
  グラフフィルタの包括的概要として、異なるフィルタリングカテゴリ、各タイプの設計戦略、異なるタイプのグラフフィルタ間のトレードオフなどを挙げる。 グラフフィルタをフィルタバンクやグラフニューラルネットワークに拡張して表現力を高める方法について論じる。 本稿の目的は、初心者と経験者の両方に統一的なフレームワークを提供することと、共通の理解を提供することです。
  論文  参考訳（メタデータ） (2022-11-16T11:56:45Z)
• On the Shift Invariance of Max Pooling Feature Maps in Convolutional Neural Networks [0.0]
  ガボル型フィルタによるサブサンプル畳み込みはエイリアスしがちであり、小さな入力シフトに敏感である。 安定性を実現する上で,フィルタの周波数と向きが果たす重要な役割を強調した。 二重ツリー複合ウェーブレットパケット変換に基づく決定論的特徴抽出器を設計し,本理論を実験的に検証する。
  論文  参考訳（メタデータ） (2022-09-19T08:15:30Z)
• Simplicial Convolutional Filters [29.792143749770442]
  本研究では,抽象位相空間を単純化した信号処理のための線形フィルタについて検討した。 我々は,下層および上部ホッジ・ラプラシアンの行列として定義される単純な畳み込みフィルタを開発する。 これらのフィルタは、計算量が少ない分散方式で実装することができる。
  論文  参考訳（メタデータ） (2022-01-27T18:26:27Z)
• Augmenting Convolutional networks with attention-based aggregation [55.97184767391253]
  我々は,非局所的推論を実現するために,注目に基づくグローバルマップを用いた畳み込みネットワークの強化方法を示す。 この学習集約層を2つのパラメータ(幅と深さ)でパラメータ化した単純パッチベースの畳み込みネットワークで接続する。 これは、特にメモリ消費の点で、精度と複雑さの間の驚くほど競争力のあるトレードオフをもたらす。
  論文  参考訳（メタデータ） (2021-12-27T14:05:41Z)
• Message Passing in Graph Convolution Networks via Adaptive Filter Banks [81.12823274576274]
  我々は BankGCN と呼ばれる新しいグラフ畳み込み演算子を提案する。 グラフ上のマルチチャネル信号をサブスペースに分解し、各サブスペース内の特定の情報を適応フィルタで処理する。 ベンチマークグラフデータセットの集合におけるグラフ分類における優れたパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-06-18T04:23:34Z)
• Stability to Deformations of Manifold Filters and Manifold Neural Networks [89.53585099149973]
  本論文は、多様体(M)畳み込みフィルタとニューラルネットワーク(NN)を定義し、研究する。 この論文の主な技術的貢献は、多様体の滑らかな変形に対する多様体フィルタとMNNの安定性を分析することである。
  論文  参考訳（メタデータ） (2021-06-07T15:41:03Z)
• Unsharp Mask Guided Filtering [53.14430987860308]
  本論文の目的は,フィルタ中の構造伝達の重要性を強調した画像フィルタリングである。 アンシャープマスキングにインスパイアされたガイドフィルタの新しい簡易な定式化を提案する。 我々の定式化は低域フィルタに先立ってフィルタを楽しみ、単一の係数を推定することで明示的な構造伝達を可能にする。
  論文  参考訳（メタデータ） (2021-06-02T19:15:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。