論文の概要: Learning Translation Invariance in CNNs

• arxiv url: http://arxiv.org/abs/2011.11757v1
• Date: Fri, 6 Nov 2020 09:39:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-29 05:07:40.103864
• Title: Learning Translation Invariance in CNNs
• Title（参考訳）: CNNにおける翻訳不変性の学習
• Authors: Valerio Biscione, Jeffrey Bowers
• Abstract要約: CNNが翻訳に'アーキテクチャ的に不変'ではないとしても、実際に'学習'は翻訳に不変であることを示す。 本研究では,この事前学習が内部ネットワーク表現に与える影響について検討した。 これらの実験は、適切な「遅延」特性を持つ環境でネットワークを事前学習することで、ネットワークが深い知覚規則を学習できることを示す。
• 参考スコア（独自算出の注目度）: 1.52292571922932
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When seeing a new object, humans can immediately recognize it across different retinal locations: we say that the internal object representation is invariant to translation. It is commonly believed that Convolutional Neural Networks (CNNs) are architecturally invariant to translation thanks to the convolution and/or pooling operations they are endowed with. In fact, several works have found that these networks systematically fail to recognise new objects on untrained locations. In this work we show how, even though CNNs are not 'architecturally invariant' to translation, they can indeed 'learn' to be invariant to translation. We verified that this can be achieved by pretraining on ImageNet, and we found that it is also possible with much simpler datasets in which the items are fully translated across the input canvas. We investigated how this pretraining affected the internal network representations, finding that the invariance was almost always acquired, even though it was some times disrupted by further training due to catastrophic forgetting/interference. These experiments show how pretraining a network on an environment with the right 'latent' characteristics (a more naturalistic environment) can result in the network learning deep perceptual rules which would dramatically improve subsequent generalization.
• Abstract（参考訳）: 新しい物体を見るとき、人間はそれを異なる網膜の位置ですぐに認識することができる: 内部オブジェクトの表現は翻訳に不変であると言う。 畳み込みニューラルネットワーク(CNN)は、それらが持つ畳み込みやプール操作のおかげで、アーキテクチャ上、翻訳に不変であると一般的に信じられている。 実際、いくつかの研究により、これらのネットワークは訓練されていない場所で新しい物体を認識できないことが判明した。 この研究では、CNNが翻訳に「アーキテクチャ的に不変」ではないにもかかわらず、実際に翻訳に不変であることを示す。 これはimagenet上で事前トレーニングすることで実現可能であることを検証し、入力キャンバスを通じてアイテムが完全に変換される、ずっとシンプルなデータセットでも可能であることを見出しました。 この事前学習が内部ネットワーク表現にどのように影響するかを調べたところ,破滅的な忘れ/干渉による更なるトレーニングによって混乱が生じた場合もあったが,ほとんど常に不均一が得られた。 これらの実験は、適切な「ラテント」特性(より自然主義的な環境)を持つ環境におけるネットワークの事前学習が、その後の一般化を劇的に改善する深い知覚規則を学習する結果をもたらすことを示す。

関連論文リスト

• Metric as Transform: Exploring beyond Affine Transform for Interpretable Neural Network [2.7195102129095003]
  ユークリッド距離の局所的影響に比べ,大域的影響の少ない点積ニューロンが発見されている。 我々は,解釈可能なローカル辞書に基づくニューラルネットワークを開発し,それを用いて敵の例を理解し,否定する。
  論文  参考訳（メタデータ） (2024-10-21T16:22:19Z)
• Latent Space Translation via Semantic Alignment [29.2401314068038]
  我々は、異なるニューラルモジュールから学んだ表現が、異なる事前学習されたネットワーク間でどのように変換されるかを示す。 提案手法は, 与えられた2つの潜在空間間の変換を直接推定することにより, 付加的な訓練を伴わずに, エンコーダとデコーダを効果的に縫合できる。 特に、ゼロショットテクストテキストエンコーダやビジョンデコーダ、あるいはリバーサがいかに可能かを示し、このマルチモーダル環境で驚くほど優れた分類性能が得られることを示す。
  論文  参考訳（メタデータ） (2023-11-01T17:12:00Z)
• Unveiling Invariances via Neural Network Pruning [44.47186380630998]
  不変性は、データの基本となるセマンティクスを変更しない変換を記述する。 現代のネットワークは、よく知られた不変性を扱うために手作りされている。 本研究では,データ依存の不変性を抽出する新しいネットワークアーキテクチャの学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-15T05:38:33Z)
• Fair Interpretable Learning via Correction Vectors [68.29997072804537]
  我々は「補正ベクトル」の学習を中心とした公正表現学習のための新しい枠組みを提案する。 修正は単純に元の特徴にまとめられるので、各特徴に対して明確なペナルティやボーナスとして分析することができる。 このような方法で制約された公平な表現学習問題が性能に影響を与えないことを実験的に示す。
  論文  参考訳（メタデータ） (2022-01-17T10:59:33Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Convolutional Neural Networks Are Not Invariant to Translation, but They Can Learn to Be [0.76146285961466]
  新しい物体を見るとき、人間はすぐに異なる網膜の場所をまたいで認識することができる。 畳み込みニューラルネットワーク(CNN)は、アーキテクチャ的に翻訳に不変であると一般的に信じられている。 適切な潜伏特性を持つ環境下でネットワークを事前学習することで,ネットワークが深い知覚規則を学習できることを示す。
  論文  参考訳（メタデータ） (2021-10-12T09:51:07Z)
• Reasoning-Modulated Representations [85.08205744191078]
  タスクが純粋に不透明でないような共通的な環境について研究する。 我々のアプローチは、新しいデータ効率表現学習の道を開く。
  論文  参考訳（メタデータ） (2021-07-19T13:57:13Z)
• Learn to Differ: Sim2Real Small Defection Segmentation Network [8.488353860049898]
  小さな欠陥セグメンテーションアプローチは、特定の設定で訓練され、固定コンテキストによって制限される傾向があります。 コンテキストに関係なく2つの画像間で小さな欠陥を区別する方法を学ぶネットワークSSDSを提案する。
  論文  参考訳（メタデータ） (2021-03-07T08:25:56Z)
• Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
  実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。 本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。 このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
  論文  参考訳（メタデータ） (2020-10-10T14:04:44Z)
• Understanding the Role of Individual Units in a Deep Neural Network [85.23117441162772]
  本稿では,画像分類と画像生成ネットワーク内の隠れ単位を系統的に同定する分析フレームワークを提案する。 まず、シーン分類に基づいて訓練された畳み込みニューラルネットワーク(CNN)を分析し、多様なオブジェクト概念にマッチするユニットを発見する。 第2に、シーンを生成するために訓練されたGANモデルについて、同様の分析手法を用いて分析する。
  論文  参考訳（メタデータ） (2020-09-10T17:59:10Z)
• Hold me tight! Influence of discriminative features on deep network boundaries [63.627760598441796]
  本稿では,データセットの特徴と,サンプルから決定境界までの距離を関連付ける新しい視点を提案する。 これにより、トレーニングサンプルの位置を慎重に調整し、大規模ビジョンデータセットでトレーニングされたCNNの境界における誘発された変化を測定することができる。
  論文  参考訳（メタデータ） (2020-02-15T09:29:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。