論文の概要: Contextually Guided Convolutional Neural Networks for Learning Most
Transferable Representations
- arxiv url: http://arxiv.org/abs/2103.01566v1
- Date: Tue, 2 Mar 2021 08:41:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-03 17:10:12.469990
- Title: Contextually Guided Convolutional Neural Networks for Learning Most
Transferable Representations
- Title（参考訳）: 最も転送可能な表現を学習するための文脈誘導畳み込みニューラルネットワーク
- Authors: Olcay Kursun, Semih Dinc, Oleg V. Favorov
- Abstract要約: 新たなタスクに転送可能な汎用表現を開発するための効率的なアルゴリズムをトレーニングなしで提案する。
コンテキストガイド付きCNN(CG-CNN)は、データセット内のランダムな画像位置で選択された近隣画像パッチのグループに基づいて訓練される。
自然画像への適用では、CG-CNNの機能は、最初のCNNレイヤーの同等の転送可能な機能と同じ、高い場合でも、転送ユーティリティと分類精度を示しています。
- 参考スコア（独自算出の注目度）: 1.160208922584163
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep Convolutional Neural Networks (CNNs), trained extensively on very large
labeled datasets, learn to recognize inferentially powerful features in their
input patterns and represent efficiently their objective content. Such
objectivity of their internal representations enables deep CNNs to readily
transfer and successfully apply these representations to new classification
tasks. Deep CNNs develop their internal representations through a challenging
process of error backpropagation-based supervised training. In contrast, deep
neural networks of the cerebral cortex develop their even more powerful
internal representations in an unsupervised process, apparently guided at a
local level by contextual information. Implementing such local contextual
guidance principles in a single-layer CNN architecture, we propose an efficient
algorithm for developing broad-purpose representations (i.e., representations
transferable to new tasks without additional training) in shallow CNNs trained
on limited-size datasets. A contextually guided CNN (CG-CNN) is trained on
groups of neighboring image patches picked at random image locations in the
dataset. Such neighboring patches are likely to have a common context and
therefore are treated for the purposes of training as belonging to the same
class. Across multiple iterations of such training on different context-sharing
groups of image patches, CNN features that are optimized in one iteration are
then transferred to the next iteration for further optimization, etc. In this
process, CNN features acquire higher pluripotency, or inferential utility for
any arbitrary classification task, which we quantify as a transfer utility. In
our application to natural images, we find that CG-CNN features show the same,
if not higher, transfer utility and classification accuracy as comparable
transferable features in the first CNN layer of the well-known deep networks.
- Abstract（参考訳）: 非常に大きなラベル付きデータセットで広く訓練されたDeep Convolutional Neural Networks(CNN)は、入力パターンの優先的に強力な特徴を認識し、客観的なコンテンツを効率的に表現することを学びます。
このような内部表現の客観性により、ディープCNNは容易にこれらの表現を新しい分類タスクに適用することができる。
深いcnnは、エラーバックプロパゲーションに基づく教師付きトレーニングの難しいプロセスを通じて内部表現を開発する。
対照的に、大脳皮質の深いニューラルネットワークは、文脈情報によって局所レベルで誘導される、監視されていないプロセスでさらに強力な内部表現を開発する。
このような局所的な文脈的ガイダンス原則を単一層CNNアーキテクチャで実装し、限られたサイズのデータセットで訓練された浅いCNNにおいて、汎用表現(追加のトレーニングなしで新しいタスクに転送可能な表現)を開発するための効率的なアルゴリズムを提案する。
コンテキストガイド付きCNN(CG-CNN)は、データセット内のランダムな画像位置で選択された近隣画像パッチのグループに基づいて訓練される。
このような隣接パッチは共通のコンテキストを持つ可能性が高いため、トレーニング目的で同じクラスに属するものとして扱われる。
イメージパッチの異なるコンテキスト共有グループでのトレーニングの繰り返し、ひとつのイテレーションで最適化されたCNN機能は、さらに最適化するために次のイテレーションに転送される。
この過程において、cnnの特徴は、転送ユーティリティとして定量化される任意の分類タスクに対して高い多能性、または推論的ユーティリティを取得する。
自然画像への応用において、CG-CNNの機能は、転送ユーティリティと分類精度が、よく知られたディープネットワークの第1CNN層で同等であることを示す。
関連論文リスト
- Hyperbolic Benchmarking Unveils Network Topology-Feature Relationship in GNN Performance [0.5416466085090772]
グラフ機械学習のための総合的なベンチマークフレームワークを導入する。
我々は,現実的なトポロジ特性とノード特徴ベクトルを持つ合成ネットワークを生成する。
その結果,ネットワーク構造とノード特徴間の相互作用にモデル性能が依存していることが明らかになった。
論文 参考訳（メタデータ） (2024-06-04T20:40:06Z) - CNN2GNN: How to Bridge CNN with GNN [59.42117676779735]
蒸留によりCNNとGNNを統一する新しいCNN2GNNフレームワークを提案する。
Mini-ImageNetにおける蒸留ブースターの2層GNNの性能は、ResNet152のような数十層を含むCNNよりもはるかに高い。
論文 参考訳（メタデータ） (2024-04-23T08:19:08Z) - DGNN: Decoupled Graph Neural Networks with Structural Consistency
between Attribute and Graph Embedding Representations [62.04558318166396]
グラフニューラルネットワーク(GNN)は、複雑な構造を持つグラフ上での表現学習の堅牢性を示す。
ノードのより包括的な埋め込み表現を得るために、Decoupled Graph Neural Networks (DGNN)と呼ばれる新しいGNNフレームワークが導入された。
複数のグラフベンチマークデータセットを用いて、ノード分類タスクにおけるDGNNの優位性を検証した。
論文 参考訳（メタデータ） (2024-01-28T06:43:13Z) - Efficient and effective training of language and graph neural network
models [36.00479096375565]
我々は,大規模言語モデルとグラフニューラルネットワークを協調的に学習する,効率的な言語モデルGNN(LM-GNN)を提案する。
本フレームワークの有効性は、BERTモデルの段階的微調整をまず異種グラフ情報に適用し、次にGNNモデルを用いて達成する。
我々は,LM-GNNフレームワークを異なるデータセットの性能で評価し,提案手法の有効性を示す。
論文 参考訳（メタデータ） (2022-06-22T00:23:37Z) - Privacy-Preserving Graph Neural Network Training and Inference as a
Cloud Service [15.939214141337803]
SecGNNは、軽量暗号と機械学習技術に関する洞察の相乗効果から構築されている。
SecGNNは、ほぼ手頃な性能で、同等のトレーニングと推論の精度を達成できることを示す。
論文 参考訳（メタデータ） (2022-02-16T02:57:10Z) - Scene Understanding for Autonomous Driving [0.0]
Detectron2で提示されたRetinaNet, Faster R-CNN, Mask R-CNNの異なる構成の挙動を検討する。
関心のあるデータセット上でこれらのモデルを微調整した後、パフォーマンスの大幅な改善を観察します。
文脈外のデータセットを用いて異常な状況下で推論を行い、興味深い結果を示す。
論文 参考訳（メタデータ） (2021-05-11T09:50:05Z) - Video-based Facial Expression Recognition using Graph Convolutional
Networks [57.980827038988735]
我々は、ビデオベースの表情認識のための共通のCNN-RNNモデルに、GCN(Graph Convolutional Network)層を導入する。
我々は、CK+、Oulu-CASIA、MMIの3つの広く使われているデータセットと、AFEW8.0の挑戦的なワイルドデータセットについて、本手法の評価を行った。
論文 参考訳（メタデータ） (2020-10-26T07:31:51Z) - Multi-Level Graph Convolutional Network with Automatic Graph Learning
for Hyperspectral Image Classification [63.56018768401328]
HSI分類のための自動グラフ学習法(MGCN-AGL)を用いたマルチレベルグラフ畳み込みネットワーク(GCN)を提案する。
空間的に隣接する領域における重要度を特徴付けるために注意機構を利用することで、最も関連性の高い情報を適応的に組み込んで意思決定を行うことができる。
MGCN-AGLは局所的に生成した表現表現に基づいて画像領域間の長距離依存性を符号化する。
論文 参考訳（メタデータ） (2020-09-19T09:26:20Z) - Embedded Encoder-Decoder in Convolutional Networks Towards Explainable
AI [0.0]
本稿では,刺激の視覚的特徴を表す新しい説明可能な畳み込みニューラルネットワーク(XCNN)を提案する。
CIFAR-10, Tiny ImageNet, MNISTデータセットを用いた実験結果から, 提案アルゴリズム (XCNN) をCNNで説明可能なものにすることに成功した。
論文 参考訳（メタデータ） (2020-06-19T15:49:39Z) - GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。
自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。
3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-06-17T16:18:35Z) - Curriculum By Smoothing [52.08553521577014]
畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。
アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。
トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
論文 参考訳（メタデータ） (2020-03-03T07:27:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。