論文の概要: How Much Position Information Do Convolutional Neural Networks Encode?

• arxiv url: http://arxiv.org/abs/2001.08248v1
• Date: Wed, 22 Jan 2020 19:44:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-07 18:02:59.093037
• Title: How Much Position Information Do Convolutional Neural Networks Encode?
• Title（参考訳）: 畳み込みニューラルネットワークはどの程度の位置情報をエンコードするのか?
• Authors: Md Amirul Islam, Sen Jia, Neil D. B. Bruce
• Abstract要約: 完全に接続されたネットワークとは対照的に、畳み込みニューラルネットワーク(CNN)は、局所フィルタに関連する重みを有限の空間範囲で学習することで効率を向上する。 本稿では,この仮説を用いて,ニューラルネットワークで符号化された絶対位置情報の驚くほどの度合いを明らかにする。
• 参考スコア（独自算出の注目度）: 27.604154992915863
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In contrast to fully connected networks, Convolutional Neural Networks (CNNs) achieve efficiency by learning weights associated with local filters with a finite spatial extent. An implication of this is that a filter may know what it is looking at, but not where it is positioned in the image. Information concerning absolute position is inherently useful, and it is reasonable to assume that deep CNNs may implicitly learn to encode this information if there is a means to do so. In this paper, we test this hypothesis revealing the surprising degree of absolute position information that is encoded in commonly used neural networks. A comprehensive set of experiments show the validity of this hypothesis and shed light on how and where this information is represented while offering clues to where positional information is derived from in deep CNNs.
• Abstract（参考訳）: 完全接続されたネットワークとは対照的に、畳み込みニューラルネットワーク(cnns)は、有限の空間範囲の局所フィルタに関連する重みを学習することで効率を上げる。 この意味するところは、フィルタが見ているものを知っているかもしれないが、イメージのどこにあるかは分かっていないということだ。 絶対位置に関する情報は本質的に有用であり、もしそれを行う手段があるなら、深層CNNが暗黙的にこの情報を符号化することを学べると仮定することは妥当である。 本稿では,この仮説を用いて,ニューラルネットワークで符号化された絶対位置情報の驚くほどの度合いを明らかにする。 包括的実験により、この仮説の有効性が示され、深層cnnにおける位置情報の導出の手がかりを提供しながら、この情報がどのように表現され、どこで表現されるかが明らかにされた。

関連論文リスト

• What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
  カーネルシステムにおける無限大の深層CNNについて検討する。 我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。 我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
  論文  参考訳（メタデータ） (2022-08-01T17:19:32Z)
• CondenseNeXt: An Ultra-Efficient Deep Neural Network for Embedded Systems [0.0]
  畳み込みニューラルネットワーク(英: Convolutional Neural Network, CNN)は、画像センサが捉えた視覚画像の分析に広く用いられているディープニューラルネットワーク(DNN)のクラスである。 本稿では,組込みシステム上でのリアルタイム推論のために,既存のCNNアーキテクチャの性能を改善するために,深層畳み込みニューラルネットワークアーキテクチャの新しい変種を提案する。
  論文  参考訳（メタデータ） (2021-12-01T18:20:52Z)
• Global Pooling, More than Meets the Eye: Position Information is Encoded Channel-Wise in CNNs [32.81128493853064]
  位置情報はチャネル次元の順序に基づいて符号化されるが、意味情報はそうではない。 2つのアプリケーションに適用することで,これらの発見の現実的な影響を示す。
  論文  参考訳（メタデータ） (2021-08-17T21:27:30Z)
• Reasoning-Modulated Representations [85.08205744191078]
  タスクが純粋に不透明でないような共通的な環境について研究する。 我々のアプローチは、新しいデータ効率表現学習の道を開く。
  論文  参考訳（メタデータ） (2021-07-19T13:57:13Z)
• Learning Structures for Deep Neural Networks [99.8331363309895]
  我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。 スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。 公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-27T12:27:24Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• The Connection Between Approximation, Depth Separation and Learnability in Neural Networks [70.55686685872008]
  学習可能性と近似能力の関係について検討する。 対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
  論文  参考訳（メタデータ） (2021-01-31T11:32:30Z)
• Position, Padding and Predictions: A Deeper Look at Position Information in CNNs [30.583407443282365]
  一般に使われているCNNでは、絶対位置情報の驚くほどの情報が符号化されていることを示す。 ゼロパディングはCNNに内部表現の位置情報を符号化させるが、パディングの欠如は位置符号化を妨げていることを示す。 これにより、CNNにおける位置情報の役割に関するより深い疑問がもたらされる。
  論文  参考訳（メタデータ） (2021-01-28T23:40:32Z)
• Shape or Texture: Understanding Discriminative Features in CNNs [28.513300496205044]
  最近の研究では、CNNが実際にテクスチャバイアスを持っていることが示されている」。 ネットワークは,最初の数回の訓練で,全体の形状情報の大部分を学習することを示す。 また、形状の符号化は、局所化された画素ごとのセマンティック情報の符号化を意味するものではないことを示す。
  論文  参考訳（メタデータ） (2021-01-27T18:54:00Z)
• Ventral-Dorsal Neural Networks: Object Detection via Selective Attention [51.79577908317031]
  我々はVDNet(Ventral-Dorsal Networks)と呼ばれる新しいフレームワークを提案する。 人間の視覚システムの構造にインスパイアされた我々は「Ventral Network」と「Dorsal Network」の統合を提案する。 実験の結果,提案手法は最先端の物体検出手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-05-15T23:57:36Z)
• An Information-theoretic Visual Analysis Framework for Convolutional Neural Networks [11.15523311079383]
  CNNモデルから抽出可能なデータを整理するデータモデルを提案する。 次に、異なる状況下でエントロピーを計算する2つの方法を提案する。 我々は,モデル内の情報変化量をインタラクティブに探索する視覚解析システムCNNSlicerを開発した。
  論文  参考訳（メタデータ） (2020-05-02T21:36:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。