論文の概要: CG-CNN: Self-Supervised Feature Extraction Through Contextual Guidance and Transfer Learning
- arxiv url: http://arxiv.org/abs/2103.01566v3
- Date: Sat, 19 Oct 2024 23:03:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-22 13:14:27.954869
- Title: CG-CNN: Self-Supervised Feature Extraction Through Contextual Guidance and Transfer Learning
- Title（参考訳）: CG-CNN:文脈誘導と伝達学習による自己監督的特徴抽出
- Authors: Olcay Kursun, Ahmad Patooghy, Peyman Poursani, Oleg V. Favorov,
- Abstract要約: 文脈ガイド型畳み込みニューラルネットワーク(CG-CNN)は、さまざまな領域にまたがる伝達可能な機能を開発するために、自己スーパービジョンとコンテキスト情報を使用する。
この研究は、CaltechやBrodatzのテクスチャ、VibTac-12の触覚データセット、ハイパースペクトル画像、XOR問題やテキスト分析といった課題など、さまざまなデータセットへの応用を通じて、CG-CNNの適応性を示す。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: Contextually Guided Convolutional Neural Networks (CG-CNNs) employ self-supervision and contextual information to develop transferable features across diverse domains, including visual, tactile, temporal, and textual data. This work showcases the adaptability of CG-CNNs through applications to various datasets such as Caltech and Brodatz textures, the VibTac-12 tactile dataset, hyperspectral images, and challenges like the XOR problem and text analysis. In text analysis, CG-CNN employs an innovative embedding strategy that utilizes the context of neighboring words for classification, while in visual and signal data, it enhances feature extraction by exploiting spatial information. CG-CNN mimics the context-guided unsupervised learning mechanisms of biological neural networks and it can be trained to learn its features on limited-size datasets. Our experimental results on natural images reveal that CG-CNN outperforms comparable first-layer features of well-known deep networks such as AlexNet, ResNet, and GoogLeNet in terms of transferability and classification accuracy. In text analysis, CG-CNN learns word embeddings that outperform traditional models like Word2Vec in tasks such as the 20 Newsgroups text classification. Furthermore, ongoing development involves training CG-CNN on outputs from another CG-CNN to explore multi-layered architectures, aiming to construct more complex and descriptive features. This scalability and adaptability to various data types underscore the potential of CG-CNN to handle a wide range of applications, making it a promising architecture for tackling diverse data representation challenges.
- Abstract（参考訳）: 文脈ガイド付き畳み込みニューラルネットワーク(CG-CNN)は、視覚、触覚、時間、テキストなど、さまざまな領域にまたがる伝達可能な特徴を開発するために、自己超越的および文脈的情報を使用する。
この研究は、CaltechやBrodatzのテクスチャ、VibTac-12の触覚データセット、ハイパースペクトル画像、XOR問題やテキスト分析といった課題など、さまざまなデータセットへの応用を通じて、CG-CNNの適応性を示す。
テキスト分析では、CG-CNNは、隣接する単語のコンテキストを分類に活用する革新的な埋め込み戦略を採用し、視覚情報や信号データでは、空間情報を利用して特徴抽出を強化する。
CG-CNNは、生物学的ニューラルネットワークの文脈誘導された教師なし学習メカニズムを模倣し、限られたサイズのデータセットでその特徴を学習するように訓練することができる。
自然画像における実験結果から,CG-CNNは,AlexNet,ResNet,GoogLeNetなどのよく知られたディープネットワークにおいて,転送性や分類精度において,同等の1層特性より優れていることがわかった。
テキスト分析において、CG-CNNは、20ニュースグループテキスト分類のようなタスクにおいて、Word2Vecのような従来のモデルよりも優れた単語埋め込みを学習する。
さらに、進行中の開発では、CG-CNNを他のCG-CNNからの出力でトレーニングし、より複雑で記述的な機能を構築することを目的として、多層アーキテクチャを探索する。
このスケーラビリティと様々なデータ型への適応性は、幅広いアプリケーションを扱うためのCG-CNNの可能性を強調しており、多様なデータ表現課題に取り組む上で有望なアーキテクチャである。
関連論文リスト
- Hyperbolic Benchmarking Unveils Network Topology-Feature Relationship in GNN Performance [0.5416466085090772]
グラフ機械学習のための総合的なベンチマークフレームワークを導入する。
我々は,現実的なトポロジ特性とノード特徴ベクトルを持つ合成ネットワークを生成する。
その結果,ネットワーク構造とノード特徴間の相互作用にモデル性能が依存していることが明らかになった。
論文 参考訳（メタデータ） (2024-06-04T20:40:06Z) - CNN2GNN: How to Bridge CNN with GNN [59.42117676779735]
蒸留によりCNNとGNNを統一する新しいCNN2GNNフレームワークを提案する。
Mini-ImageNetにおける蒸留ブースターの2層GNNの性能は、ResNet152のような数十層を含むCNNよりもはるかに高い。
論文 参考訳（メタデータ） (2024-04-23T08:19:08Z) - DGNN: Decoupled Graph Neural Networks with Structural Consistency
between Attribute and Graph Embedding Representations [62.04558318166396]
グラフニューラルネットワーク(GNN)は、複雑な構造を持つグラフ上での表現学習の堅牢性を示す。
ノードのより包括的な埋め込み表現を得るために、Decoupled Graph Neural Networks (DGNN)と呼ばれる新しいGNNフレームワークが導入された。
複数のグラフベンチマークデータセットを用いて、ノード分類タスクにおけるDGNNの優位性を検証した。
論文 参考訳（メタデータ） (2024-01-28T06:43:13Z) - Efficient and effective training of language and graph neural network
models [36.00479096375565]
我々は,大規模言語モデルとグラフニューラルネットワークを協調的に学習する,効率的な言語モデルGNN(LM-GNN)を提案する。
本フレームワークの有効性は、BERTモデルの段階的微調整をまず異種グラフ情報に適用し、次にGNNモデルを用いて達成する。
我々は,LM-GNNフレームワークを異なるデータセットの性能で評価し,提案手法の有効性を示す。
論文 参考訳（メタデータ） (2022-06-22T00:23:37Z) - Privacy-Preserving Graph Neural Network Training and Inference as a
Cloud Service [15.939214141337803]
SecGNNは、軽量暗号と機械学習技術に関する洞察の相乗効果から構築されている。
SecGNNは、ほぼ手頃な性能で、同等のトレーニングと推論の精度を達成できることを示す。
論文 参考訳（メタデータ） (2022-02-16T02:57:10Z) - Scene Understanding for Autonomous Driving [0.0]
Detectron2で提示されたRetinaNet, Faster R-CNN, Mask R-CNNの異なる構成の挙動を検討する。
関心のあるデータセット上でこれらのモデルを微調整した後、パフォーマンスの大幅な改善を観察します。
文脈外のデータセットを用いて異常な状況下で推論を行い、興味深い結果を示す。
論文 参考訳（メタデータ） (2021-05-11T09:50:05Z) - Video-based Facial Expression Recognition using Graph Convolutional
Networks [57.980827038988735]
我々は、ビデオベースの表情認識のための共通のCNN-RNNモデルに、GCN(Graph Convolutional Network)層を導入する。
我々は、CK+、Oulu-CASIA、MMIの3つの広く使われているデータセットと、AFEW8.0の挑戦的なワイルドデータセットについて、本手法の評価を行った。
論文 参考訳（メタデータ） (2020-10-26T07:31:51Z) - Multi-Level Graph Convolutional Network with Automatic Graph Learning
for Hyperspectral Image Classification [63.56018768401328]
HSI分類のための自動グラフ学習法(MGCN-AGL)を用いたマルチレベルグラフ畳み込みネットワーク(GCN)を提案する。
空間的に隣接する領域における重要度を特徴付けるために注意機構を利用することで、最も関連性の高い情報を適応的に組み込んで意思決定を行うことができる。
MGCN-AGLは局所的に生成した表現表現に基づいて画像領域間の長距離依存性を符号化する。
論文 参考訳（メタデータ） (2020-09-19T09:26:20Z) - Embedded Encoder-Decoder in Convolutional Networks Towards Explainable
AI [0.0]
本稿では,刺激の視覚的特徴を表す新しい説明可能な畳み込みニューラルネットワーク(XCNN)を提案する。
CIFAR-10, Tiny ImageNet, MNISTデータセットを用いた実験結果から, 提案アルゴリズム (XCNN) をCNNで説明可能なものにすることに成功した。
論文 参考訳（メタデータ） (2020-06-19T15:49:39Z) - GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。
自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。
3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-06-17T16:18:35Z) - Curriculum By Smoothing [52.08553521577014]
畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。
アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。
トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
論文 参考訳（メタデータ） (2020-03-03T07:27:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。