論文の概要: Convolutional Neural Networks Are Not Invariant to Translation, but They Can Learn to Be

• arxiv url: http://arxiv.org/abs/2110.05861v1
• Date: Tue, 12 Oct 2021 09:51:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-13 22:19:39.516194
• Title: Convolutional Neural Networks Are Not Invariant to Translation, but They Can Learn to Be
• Title（参考訳）: 畳み込みニューラルネットワークは翻訳に不変ではないが、学習できる
• Authors: Valerio Biscione, Jeffrey S. Bowers
• Abstract要約: 新しい物体を見るとき、人間はすぐに異なる網膜の場所をまたいで認識することができる。 畳み込みニューラルネットワーク(CNN)は、アーキテクチャ的に翻訳に不変であると一般的に信じられている。 適切な潜伏特性を持つ環境下でネットワークを事前学習することで,ネットワークが深い知覚規則を学習できることを示す。
• 参考スコア（独自算出の注目度）: 0.76146285961466
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: When seeing a new object, humans can immediately recognize it across different retinal locations: the internal object representation is invariant to translation. It is commonly believed that Convolutional Neural Networks (CNNs) are architecturally invariant to translation thanks to the convolution and/or pooling operations they are endowed with. In fact, several studies have found that these networks systematically fail to recognise new objects on untrained locations. In this work, we test a wide variety of CNNs architectures showing how, apart from DenseNet-121, none of the models tested was architecturally invariant to translation. Nevertheless, all of them could learn to be invariant to translation. We show how this can be achieved by pretraining on ImageNet, and it is sometimes possible with much simpler data sets when all the items are fully translated across the input canvas. At the same time, this invariance can be disrupted by further training due to catastrophic forgetting/interference. These experiments show how pretraining a network on an environment with the right `latent' characteristics (a more naturalistic environment) can result in the network learning deep perceptual rules which would dramatically improve subsequent generalization.
• Abstract（参考訳）: 新しい物体を見るとき、人間はそれを異なる網膜の位置ですぐに認識することができる: 内部オブジェクトの表現は翻訳に不変である。 畳み込みニューラルネットワーク(CNN)は、それらが持つ畳み込みやプール操作のおかげで、アーキテクチャ上、翻訳に不変であると一般的に信じられている。 実際、いくつかの研究では、これらのネットワークが訓練されていない場所で新しい物体を認識できないことが分かっている。 本研究では,多種多様な cnns アーキテクチャをテストし,drknet-121 を除けば,どのモデルもアーキテクチャ的に変換に不変であることを示す。 しかし、それらすべてが翻訳に不変であることを学ぶことができた。 imagenetで事前トレーニングすることで、これを実現する方法を示し、入力キャンバスをまたいですべてのアイテムが完全に変換された場合に、ずっと単純なデータセットでも可能とします。 同時に、この不変性は壊滅的な忘れ/干渉によるさらなる訓練によって破壊することができる。 これらの実験は、適切な「ラテント」特性(より自然主義的な環境)を持つ環境におけるネットワークの事前学習が、その後の一般化を劇的に改善する深い知覚規則を学習する結果をもたらすことを示す。

関連論文リスト

• Metric as Transform: Exploring beyond Affine Transform for Interpretable Neural Network [2.7195102129095003]
  ユークリッド距離の局所的影響に比べ,大域的影響の少ない点積ニューロンが発見されている。 我々は,解釈可能なローカル辞書に基づくニューラルネットワークを開発し,それを用いて敵の例を理解し,否定する。
  論文  参考訳（メタデータ） (2024-10-21T16:22:19Z)
• Latent Space Translation via Semantic Alignment [29.2401314068038]
  我々は、異なるニューラルモジュールから学んだ表現が、異なる事前学習されたネットワーク間でどのように変換されるかを示す。 提案手法は, 与えられた2つの潜在空間間の変換を直接推定することにより, 付加的な訓練を伴わずに, エンコーダとデコーダを効果的に縫合できる。 特に、ゼロショットテクストテキストエンコーダやビジョンデコーダ、あるいはリバーサがいかに可能かを示し、このマルチモーダル環境で驚くほど優れた分類性能が得られることを示す。
  論文  参考訳（メタデータ） (2023-11-01T17:12:00Z)
• Unveiling Invariances via Neural Network Pruning [44.47186380630998]
  不変性は、データの基本となるセマンティクスを変更しない変換を記述する。 現代のネットワークは、よく知られた不変性を扱うために手作りされている。 本研究では,データ依存の不変性を抽出する新しいネットワークアーキテクチャの学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-15T05:38:33Z)
• Finding Differences Between Transformers and ConvNets Using Counterfactual Simulation Testing [82.67716657524251]
  本稿では,ニューラルネットワークの自然的変動に対するロバスト性を研究するための反現実的枠組みを提案する。 我々の手法は、最近リリースされた最先端の畳み込みニューラルネットワークとビジョントランスフォーマーの頑健さを公平に比較することができる。
  論文  参考訳（メタデータ） (2022-11-29T18:59:23Z)
• Fair Interpretable Learning via Correction Vectors [68.29997072804537]
  我々は「補正ベクトル」の学習を中心とした公正表現学習のための新しい枠組みを提案する。 修正は単純に元の特徴にまとめられるので、各特徴に対して明確なペナルティやボーナスとして分析することができる。 このような方法で制約された公平な表現学習問題が性能に影響を与えないことを実験的に示す。
  論文  参考訳（メタデータ） (2022-01-17T10:59:33Z)
• Revisiting Transformation Invariant Geometric Deep Learning: Are Initial Representations All You Need? [80.86819657126041]
  変換不変および距離保存初期表現は変換不変性を達成するのに十分であることを示す。 具体的には、多次元スケーリングを変更することで、変換不変かつ距離保存された初期点表現を実現する。 我々は、TinvNNが変換不変性を厳密に保証し、既存のニューラルネットワークと組み合わせられるほど汎用的で柔軟なことを証明した。
  論文  参考訳（メタデータ） (2021-12-23T03:52:33Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• What Does CNN Shift Invariance Look Like? A Visualization Study [87.79405274610681]
  畳み込みニューラルネットワーク(CNN)による特徴抽出は、機械学習タスクの画像を表現する一般的な方法である。 我々は,一般的な市販CNNモデルから抽出した特徴量の変動を計測し,可視化することに注力する。 人気ネットワークから抽出された特徴はグローバルに不変ではなく,この分散の中にバイアスやアーティファクトが存在すると結論付けている。
  論文  参考訳（メタデータ） (2020-11-09T01:16:30Z)
• Learning Translation Invariance in CNNs [1.52292571922932]
  CNNが翻訳に'アーキテクチャ的に不変'ではないとしても、実際に'学習'は翻訳に不変であることを示す。 本研究では,この事前学習が内部ネットワーク表現に与える影響について検討した。 これらの実験は、適切な「遅延」特性を持つ環境でネットワークを事前学習することで、ネットワークが深い知覚規則を学習できることを示す。
  論文  参考訳（メタデータ） (2020-11-06T09:39:27Z)
• Understanding the Role of Individual Units in a Deep Neural Network [85.23117441162772]
  本稿では,画像分類と画像生成ネットワーク内の隠れ単位を系統的に同定する分析フレームワークを提案する。 まず、シーン分類に基づいて訓練された畳み込みニューラルネットワーク(CNN)を分析し、多様なオブジェクト概念にマッチするユニットを発見する。 第2に、シーンを生成するために訓練されたGANモデルについて、同様の分析手法を用いて分析する。
  論文  参考訳（メタデータ） (2020-09-10T17:59:10Z)
• Localized convolutional neural networks for geospatial wind forecasting [0.0]
  畳み込みニューラルネットワーク(CNN)は多くの空間データに関して正の特性を有する。 本研究では,CNNがグローバルな特徴に加えて,局所的な特徴を学習することのできる局所畳み込みニューラルネットワークを提案する。 どのような畳み込みレイヤにも追加可能で、簡単にエンドツーエンドのトレーニングが可能で、最小限の複雑さを導入でき、CNNは必要な範囲でそのメリットの大部分を維持できる。
  論文  参考訳（メタデータ） (2020-05-12T17:14:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。