論文の概要: Deep Collective Learning: Learning Optimal Inputs and Weights Jointly in
Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2009.07988v1
- Date: Thu, 17 Sep 2020 00:33:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-17 08:06:58.302692
- Title: Deep Collective Learning: Learning Optimal Inputs and Weights Jointly in
Deep Neural Networks
- Title（参考訳）: Deep Collective Learning:Deep Neural Networksにおける最適入力と重みの学習
- Authors: Xiang Deng and Zhongfei (Mark) Zhang
- Abstract要約: ディープラーニングとコンピュータビジョン文学では、視覚データは、常に手動で設計されたコーディングスキームで表現される。
手動で設計した入力が、異なるタスクに対するDNNトレーニングに適しているのか、大胆に疑問を呈する。
本稿では,DNNの重みとDNNへの入力を同時に学習することを目的とした,深い集団学習のパラダイムを提案する。
- 参考スコア（独自算出の注目度）: 5.6592403195043826
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: It is well observed that in deep learning and computer vision literature,
visual data are always represented in a manually designed coding scheme (eg.,
RGB images are represented as integers ranging from 0 to 255 for each channel)
when they are input to an end-to-end deep neural network (DNN) for any learning
task. We boldly question whether the manually designed inputs are good for DNN
training for different tasks and study whether the input to a DNN can be
optimally learned end-to-end together with learning the weights of the DNN. In
this paper, we propose the paradigm of {\em deep collective learning} which
aims to learn the weights of DNNs and the inputs to DNNs simultaneously for
given tasks. We note that collective learning has been implicitly but widely
used in natural language processing while it has almost never been studied in
computer vision. Consequently, we propose the lookup vision networks
(Lookup-VNets) as a solution to deep collective learning in computer vision.
This is achieved by associating each color in each channel with a vector in
lookup tables. As learning inputs in computer vision has almost never been
studied in the existing literature, we explore several aspects of this question
through varieties of experiments on image classification tasks. Experimental
results on four benchmark datasets, i.e., CIFAR-10, CIFAR-100, Tiny ImageNet,
and ImageNet (ILSVRC2012) have shown several surprising characteristics of
Lookup-VNets and have demonstrated the advantages and promise of Lookup-VNets
and deep collective learning.
- Abstract（参考訳）: ディープラーニングおよびコンピュータビジョン文学において、視覚データは、任意の学習タスクに対してエンドツーエンドのディープニューラルネットワーク(DNN)に入力されるとき、常に手動設計の符号化スキーム(例えば、RGB画像は、各チャネルで0から255までの整数として表現される)で表現される。
手動で設計した入力が、異なるタスクに対するDNNトレーニングに適しているかを大胆に疑問視し、DNNの重みを学習しながら、DNNへの入力がエンドツーエンドで最適に学習できるかどうかを検討する。
本稿では,DNNの重みとDNNへの入力を同時に学習することを目的とした,深層学習のパラダイムを提案する。
集団学習は暗黙的にも自然言語処理で広く用いられてきたが、コンピュータビジョンではほとんど研究されていない。
そこで我々は,コンピュータビジョンにおける深層集合学習のソリューションとして,ルックアップビジョンネットワーク(Lookup-VNets)を提案する。
これは各チャンネルの各色をルックアップテーブル内のベクトルと関連付けることで達成される。
コンピュータビジョンにおける学習インプットは、既存の文献ではほとんど研究されていないため、画像分類タスクに関する様々な実験を通して、この問題のいくつかの側面を探求する。
CIFAR-10, CIFAR-100, Tiny ImageNet, ImageNet (ILSVRC2012) という4つのベンチマークデータセットの実験結果から, Lookup-VNet の驚くべき特徴がいくつか示され, Lookup-VNet の利点と将来性を示した。
関連論文リスト
- Active Learning on Neural Networks through Interactive Generation of
Digit Patterns and Visual Representation [9.127485315153312]
対話型学習システムは、桁パターンを作成し、それをリアルタイムで認識するように設計されている。
複数のデータセットによる評価を行い、アクティブラーニングのユーザビリティを判断する。
論文 参考訳（メタデータ） (2023-10-02T19:21:24Z) - Deep Neural Networks in Video Human Action Recognition: A Review [21.00217656391331]
映像行動認識はコンピュータビジョンの最も基本的なタスクの1つである。
ディープニューラルネットワークは、RGB、RGB-D、光学フローフォーマットなどの画像のようなピクセルレベルの情報を認識するために構築されている。
本稿では,深層ニューラルネットワークの性能が,特徴学習および抽出タスクにおけるほとんどの技術を上回った。
論文 参考訳（メタデータ） (2023-05-25T03:54:41Z) - A large scale multi-view RGBD visual affordance learning dataset [4.3773754388936625]
大規模マルチビューRGBDビジュアルアプライアンス学習データセットを提案する。
これは、初めてかつ最大のマルチビューRGBDビジュアルアプライアンス学習データセットである。
いくつかの最先端のディープラーニングネットワークを,それぞれが可視性認識とセグメンテーションタスクのために評価する。
論文 参考訳（メタデータ） (2022-03-26T14:31:35Z) - Exploring the Common Principal Subspace of Deep Features in Neural
Networks [50.37178960258464]
我々は、同じデータセットでトレーニングされた異なるディープニューラルネットワーク(DNN)が、潜在空間において共通の主部分空間を共有することを発見した。
具体的には、DNNで学んだ深い機能の主部分空間を表すために、$mathcalP$-vectorを新たに設計する。
異なるアルゴリズム/アーキテクチャで訓練された2つのDNNの比較では、小さな角度(コサインが1.0ドルに近い)が見つかっている。
論文 参考訳（メタデータ） (2021-10-06T15:48:32Z) - Graph Neural Networks for Natural Language Processing: A Survey [64.36633422999905]
本稿では,自然言語処理のためのグラフニューラルネットワーク(GNN)について概観する。
我々は,グラフ構築,グラフ表現学習,グラフベースエンコーダ・デコーダモデルという3つの軸に沿って,NLP用GNNの既存の研究を組織する,NLP用GNNの新しい分類法を提案する。
論文 参考訳（メタデータ） (2021-06-10T23:59:26Z) - What Do Deep Nets Learn? Class-wise Patterns Revealed in the Input Space [88.37185513453758]
本研究では,深層ニューラルネットワーク(DNN)が学習するクラスワイズな知識を,異なる環境下で可視化し,理解する手法を提案する。
本手法は,各クラスのモデルが学習した知識を表現するために,画素空間内の1つの予測パターンを探索する。
逆境環境では、逆境に訓練されたモデルはより単純化された形状パターンを学ぶ傾向がある。
論文 参考訳（メタデータ） (2021-01-18T06:38:41Z) - A Framework for Fast Scalable BNN Inference using Googlenet and Transfer
Learning [0.0]
本論文は、リアルタイム性能の良い物体検出の高精度化を目指します。
バイナライズニューラルネットワークは、画像分類、オブジェクト検出、セマンティックセグメンテーションなど、さまざまな視覚タスクで高いパフォーマンスを発揮しています。
その結果,移動学習法により検出された物体の精度は,既存手法と比較して高いことがわかった。
論文 参考訳（メタデータ） (2021-01-04T06:16:52Z) - A Practical Tutorial on Graph Neural Networks [49.919443059032226]
グラフニューラルネットワーク(GNN)は、人工知能(AI)分野において最近人気が高まっている。
このチュートリアルでは、GNNのパワーとノベルティをAI実践者に公開している。
論文 参考訳（メタデータ） (2020-10-11T12:36:17Z) - Applications of Deep Neural Networks with Keras [0.0]
ディープラーニングにより、ニューラルネットワークは人間の脳の機能のような方法で情報の階層を学習することができる。
本コースでは,従来のニューラルネットワーク構造であるConversa Neural Networks (CNN), Long Short-Term Memory (LSTM), Gated Recurrent Neural Networks (GRU), General Adrial Networks (GAN)を紹介する。
論文 参考訳（メタデータ） (2020-09-11T22:09:10Z) - Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。
DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。
コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
論文 参考訳（メタデータ） (2020-06-30T14:56:05Z) - $\Pi-$nets: Deep Polynomial Neural Networks [86.36557534288535]
$Pi$-Netsは、出力が入力の高次であるニューラルネットワークである。
我々は、$Pi$-Netsが標準のDCNNよりも優れた表現能力を持っていることを実証的に実証した。
近年のStyleGANのような生成モデルが,先行モデルに改良を加えた理由を解明する。
論文 参考訳（メタデータ） (2020-03-08T18:48:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。