論文の概要: CG-CNN: Self-Supervised Feature Extraction Through Contextual Guidance and Transfer Learning
- arxiv url: http://arxiv.org/abs/2103.01566v3
- Date: Sat, 19 Oct 2024 23:03:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-22 13:14:27.954869
- Title: CG-CNN: Self-Supervised Feature Extraction Through Contextual Guidance and Transfer Learning
- Title(参考訳): CG-CNN:文脈誘導と伝達学習による自己監督的特徴抽出
- Authors: Olcay Kursun, Ahmad Patooghy, Peyman Poursani, Oleg V. Favorov,
- Abstract要約: 文脈ガイド型畳み込みニューラルネットワーク(CG-CNN)は、さまざまな領域にまたがる伝達可能な機能を開発するために、自己スーパービジョンとコンテキスト情報を使用する。
この研究は、CaltechやBrodatzのテクスチャ、VibTac-12の触覚データセット、ハイパースペクトル画像、XOR問題やテキスト分析といった課題など、さまざまなデータセットへの応用を通じて、CG-CNNの適応性を示す。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: Contextually Guided Convolutional Neural Networks (CG-CNNs) employ self-supervision and contextual information to develop transferable features across diverse domains, including visual, tactile, temporal, and textual data. This work showcases the adaptability of CG-CNNs through applications to various datasets such as Caltech and Brodatz textures, the VibTac-12 tactile dataset, hyperspectral images, and challenges like the XOR problem and text analysis. In text analysis, CG-CNN employs an innovative embedding strategy that utilizes the context of neighboring words for classification, while in visual and signal data, it enhances feature extraction by exploiting spatial information. CG-CNN mimics the context-guided unsupervised learning mechanisms of biological neural networks and it can be trained to learn its features on limited-size datasets. Our experimental results on natural images reveal that CG-CNN outperforms comparable first-layer features of well-known deep networks such as AlexNet, ResNet, and GoogLeNet in terms of transferability and classification accuracy. In text analysis, CG-CNN learns word embeddings that outperform traditional models like Word2Vec in tasks such as the 20 Newsgroups text classification. Furthermore, ongoing development involves training CG-CNN on outputs from another CG-CNN to explore multi-layered architectures, aiming to construct more complex and descriptive features. This scalability and adaptability to various data types underscore the potential of CG-CNN to handle a wide range of applications, making it a promising architecture for tackling diverse data representation challenges.
- Abstract(参考訳): 文脈ガイド付き畳み込みニューラルネットワーク(CG-CNN)は、視覚、触覚、時間、テキストなど、さまざまな領域にまたがる伝達可能な特徴を開発するために、自己超越的および文脈的情報を使用する。
この研究は、CaltechやBrodatzのテクスチャ、VibTac-12の触覚データセット、ハイパースペクトル画像、XOR問題やテキスト分析といった課題など、さまざまなデータセットへの応用を通じて、CG-CNNの適応性を示す。
テキスト分析では、CG-CNNは、隣接する単語のコンテキストを分類に活用する革新的な埋め込み戦略を採用し、視覚情報や信号データでは、空間情報を利用して特徴抽出を強化する。
CG-CNNは、生物学的ニューラルネットワークの文脈誘導された教師なし学習メカニズムを模倣し、限られたサイズのデータセットでその特徴を学習するように訓練することができる。
自然画像における実験結果から,CG-CNNは,AlexNet,ResNet,GoogLeNetなどのよく知られたディープネットワークにおいて,転送性や分類精度において,同等の1層特性より優れていることがわかった。
テキスト分析において、CG-CNNは、20ニュースグループテキスト分類のようなタスクにおいて、Word2Vecのような従来のモデルよりも優れた単語埋め込みを学習する。
さらに、進行中の開発では、CG-CNNを他のCG-CNNからの出力でトレーニングし、より複雑で記述的な機能を構築することを目的として、多層アーキテクチャを探索する。
このスケーラビリティと様々なデータ型への適応性は、幅広いアプリケーションを扱うためのCG-CNNの可能性を強調しており、多様なデータ表現課題に取り組む上で有望なアーキテクチャである。
関連論文リスト
- CNN2GNN: How to Bridge CNN with GNN [59.42117676779735]
蒸留によりCNNとGNNを統一する新しいCNN2GNNフレームワークを提案する。
Mini-ImageNetにおける蒸留ブースターの2層GNNの性能は、ResNet152のような数十層を含むCNNよりもはるかに高い。
論文 参考訳(メタデータ) (2024-04-23T08:19:08Z) - Training Convolutional Neural Networks with the Forward-Forward
algorithm [1.74440662023704]
Forward Forward (FF)アルゴリズムは、現在まで完全に接続されたネットワークでしか使われていない。
FFパラダイムをCNNに拡張する方法を示す。
我々のFF学習したCNNは、空間的に拡張された新しいラベリング手法を特徴とし、MNISTの手書き桁データセットにおいて99.16%の分類精度を実現している。
論文 参考訳(メタデータ) (2023-12-22T18:56:35Z) - A novel feature-scrambling approach reveals the capacity of
convolutional neural networks to learn spatial relations [0.0]
畳み込みニューラルネットワーク(CNN)は、物体認識を解く最も成功したコンピュータビジョンシステムの一つである。
しかし、CNNが実際にどのように決断を下すのか、内部表現の性質や認識戦略が人間とどのように異なるのかは、いまだに理解されていない。
論文 参考訳(メタデータ) (2022-12-12T16:40:29Z) - Knowledge Distillation By Sparse Representation Matching [107.87219371697063]
本稿では,一方の畳み込みネットワーク(cnn)から他方へ,スパース表現を用いて中間知識を伝達するスパース表現マッチング(srm)を提案する。
勾配降下を利用して効率的に最適化し、任意のCNNにプラグアンドプレイで統合できるニューラルプロセッシングブロックとして定式化します。
実験の結果,教師と生徒のネットワーク間のアーキテクチャの違いに頑健であり,複数のデータセットにまたがる他のkd技術よりも優れていた。
論文 参考訳(メタデータ) (2021-03-31T11:47:47Z) - The Mind's Eye: Visualizing Class-Agnostic Features of CNNs [92.39082696657874]
本稿では,特定のレイヤの最も情報性の高い特徴を表現した対応する画像を作成することにより,画像の集合を視覚的に解釈する手法を提案する。
本手法では, 生成ネットワークを必要とせず, 元のモデルに変更を加えることなく, デュアルオブジェクトのアクティベーションと距離損失を利用する。
論文 参考訳(メタデータ) (2021-01-29T07:46:39Z) - Fusion of CNNs and statistical indicators to improve image
classification [65.51757376525798]
畳み込みネットワークは過去10年間、コンピュータビジョンの分野を支配してきた。
この傾向を長引かせる主要な戦略は、ネットワーク規模の拡大によるものだ。
我々は、異種情報ソースを追加することは、より大きなネットワークを構築するよりもCNNにとって費用対効果が高いと仮定している。
論文 参考訳(メタデータ) (2020-12-20T23:24:31Z) - Exploring the Interchangeability of CNN Embedding Spaces [0.5735035463793008]
画像分類CNN10点と顔認識CNN4点をマップする。
同じクラスにトレーニングされ、共通のバックエンド-ログアーキテクチャを共有するCNNの場合、リニアマッピングは常にバックエンド層重みから直接計算される。
この意味は遠く離れており、共通のタスクのために設計、訓練されたネットワークによって学習された表現間の基礎的な共通性を示している。
論文 参考訳(メタデータ) (2020-10-05T20:32:40Z) - Dynamic Hierarchical Mimicking Towards Consistent Optimization
Objectives [73.15276998621582]
一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。
DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。
カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
論文 参考訳(メタデータ) (2020-03-24T09:56:13Z) - Curriculum By Smoothing [52.08553521577014]
畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。
アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。
トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
論文 参考訳(メタデータ) (2020-03-03T07:27:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。