論文の概要: Contextually Guided Convolutional Neural Networks for Learning Most
Transferable Representations
- arxiv url: http://arxiv.org/abs/2103.01566v1
- Date: Tue, 2 Mar 2021 08:41:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-03 17:10:12.469990
- Title: Contextually Guided Convolutional Neural Networks for Learning Most
Transferable Representations
- Title(参考訳): 最も転送可能な表現を学習するための文脈誘導畳み込みニューラルネットワーク
- Authors: Olcay Kursun, Semih Dinc, Oleg V. Favorov
- Abstract要約: 新たなタスクに転送可能な汎用表現を開発するための効率的なアルゴリズムをトレーニングなしで提案する。
コンテキストガイド付きCNN(CG-CNN)は、データセット内のランダムな画像位置で選択された近隣画像パッチのグループに基づいて訓練される。
自然画像への適用では、CG-CNNの機能は、最初のCNNレイヤーの同等の転送可能な機能と同じ、高い場合でも、転送ユーティリティと分類精度を示しています。
- 参考スコア(独自算出の注目度): 1.160208922584163
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep Convolutional Neural Networks (CNNs), trained extensively on very large
labeled datasets, learn to recognize inferentially powerful features in their
input patterns and represent efficiently their objective content. Such
objectivity of their internal representations enables deep CNNs to readily
transfer and successfully apply these representations to new classification
tasks. Deep CNNs develop their internal representations through a challenging
process of error backpropagation-based supervised training. In contrast, deep
neural networks of the cerebral cortex develop their even more powerful
internal representations in an unsupervised process, apparently guided at a
local level by contextual information. Implementing such local contextual
guidance principles in a single-layer CNN architecture, we propose an efficient
algorithm for developing broad-purpose representations (i.e., representations
transferable to new tasks without additional training) in shallow CNNs trained
on limited-size datasets. A contextually guided CNN (CG-CNN) is trained on
groups of neighboring image patches picked at random image locations in the
dataset. Such neighboring patches are likely to have a common context and
therefore are treated for the purposes of training as belonging to the same
class. Across multiple iterations of such training on different context-sharing
groups of image patches, CNN features that are optimized in one iteration are
then transferred to the next iteration for further optimization, etc. In this
process, CNN features acquire higher pluripotency, or inferential utility for
any arbitrary classification task, which we quantify as a transfer utility. In
our application to natural images, we find that CG-CNN features show the same,
if not higher, transfer utility and classification accuracy as comparable
transferable features in the first CNN layer of the well-known deep networks.
- Abstract(参考訳): 非常に大きなラベル付きデータセットで広く訓練されたDeep Convolutional Neural Networks(CNN)は、入力パターンの優先的に強力な特徴を認識し、客観的なコンテンツを効率的に表現することを学びます。
このような内部表現の客観性により、ディープCNNは容易にこれらの表現を新しい分類タスクに適用することができる。
深いcnnは、エラーバックプロパゲーションに基づく教師付きトレーニングの難しいプロセスを通じて内部表現を開発する。
対照的に、大脳皮質の深いニューラルネットワークは、文脈情報によって局所レベルで誘導される、監視されていないプロセスでさらに強力な内部表現を開発する。
このような局所的な文脈的ガイダンス原則を単一層CNNアーキテクチャで実装し、限られたサイズのデータセットで訓練された浅いCNNにおいて、汎用表現(追加のトレーニングなしで新しいタスクに転送可能な表現)を開発するための効率的なアルゴリズムを提案する。
コンテキストガイド付きCNN(CG-CNN)は、データセット内のランダムな画像位置で選択された近隣画像パッチのグループに基づいて訓練される。
このような隣接パッチは共通のコンテキストを持つ可能性が高いため、トレーニング目的で同じクラスに属するものとして扱われる。
イメージパッチの異なるコンテキスト共有グループでのトレーニングの繰り返し、ひとつのイテレーションで最適化されたCNN機能は、さらに最適化するために次のイテレーションに転送される。
この過程において、cnnの特徴は、転送ユーティリティとして定量化される任意の分類タスクに対して高い多能性、または推論的ユーティリティを取得する。
自然画像への応用において、CG-CNNの機能は、転送ユーティリティと分類精度が、よく知られたディープネットワークの第1CNN層で同等であることを示す。
関連論文リスト
- Training Convolutional Neural Networks with the Forward-Forward
algorithm [1.74440662023704]
Forward Forward (FF)アルゴリズムは、現在まで完全に接続されたネットワークでしか使われていない。
FFパラダイムをCNNに拡張する方法を示す。
我々のFF学習したCNNは、空間的に拡張された新しいラベリング手法を特徴とし、MNISTの手書き桁データセットにおいて99.16%の分類精度を実現している。
論文 参考訳(メタデータ) (2023-12-22T18:56:35Z) - A novel feature-scrambling approach reveals the capacity of
convolutional neural networks to learn spatial relations [0.0]
畳み込みニューラルネットワーク(CNN)は、物体認識を解く最も成功したコンピュータビジョンシステムの一つである。
しかし、CNNが実際にどのように決断を下すのか、内部表現の性質や認識戦略が人間とどのように異なるのかは、いまだに理解されていない。
論文 参考訳(メタデータ) (2022-12-12T16:40:29Z) - Knowledge Distillation By Sparse Representation Matching [107.87219371697063]
本稿では,一方の畳み込みネットワーク(cnn)から他方へ,スパース表現を用いて中間知識を伝達するスパース表現マッチング(srm)を提案する。
勾配降下を利用して効率的に最適化し、任意のCNNにプラグアンドプレイで統合できるニューラルプロセッシングブロックとして定式化します。
実験の結果,教師と生徒のネットワーク間のアーキテクチャの違いに頑健であり,複数のデータセットにまたがる他のkd技術よりも優れていた。
論文 参考訳(メタデータ) (2021-03-31T11:47:47Z) - The Mind's Eye: Visualizing Class-Agnostic Features of CNNs [92.39082696657874]
本稿では,特定のレイヤの最も情報性の高い特徴を表現した対応する画像を作成することにより,画像の集合を視覚的に解釈する手法を提案する。
本手法では, 生成ネットワークを必要とせず, 元のモデルに変更を加えることなく, デュアルオブジェクトのアクティベーションと距離損失を利用する。
論文 参考訳(メタデータ) (2021-01-29T07:46:39Z) - Fusion of CNNs and statistical indicators to improve image
classification [65.51757376525798]
畳み込みネットワークは過去10年間、コンピュータビジョンの分野を支配してきた。
この傾向を長引かせる主要な戦略は、ネットワーク規模の拡大によるものだ。
我々は、異種情報ソースを追加することは、より大きなネットワークを構築するよりもCNNにとって費用対効果が高いと仮定している。
論文 参考訳(メタデータ) (2020-12-20T23:24:31Z) - Exploring the Interchangeability of CNN Embedding Spaces [0.5735035463793008]
画像分類CNN10点と顔認識CNN4点をマップする。
同じクラスにトレーニングされ、共通のバックエンド-ログアーキテクチャを共有するCNNの場合、リニアマッピングは常にバックエンド層重みから直接計算される。
この意味は遠く離れており、共通のタスクのために設計、訓練されたネットワークによって学習された表現間の基礎的な共通性を示している。
論文 参考訳(メタデータ) (2020-10-05T20:32:40Z) - Dynamic Hierarchical Mimicking Towards Consistent Optimization
Objectives [73.15276998621582]
一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。
DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。
カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
論文 参考訳(メタデータ) (2020-03-24T09:56:13Z) - Curriculum By Smoothing [52.08553521577014]
畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。
アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。
トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
論文 参考訳(メタデータ) (2020-03-03T07:27:44Z) - Approximation and Non-parametric Estimation of ResNet-type Convolutional
Neural Networks [52.972605601174955]
本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。
Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
論文 参考訳(メタデータ) (2019-03-24T19:42:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。