論文の概要: A Domain Decomposition-Based CNN-DNN Architecture for Model Parallel
Training Applied to Image Recognition Problems
- arxiv url: http://arxiv.org/abs/2302.06564v1
- Date: Mon, 13 Feb 2023 18:06:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-14 14:37:08.513811
- Title: A Domain Decomposition-Based CNN-DNN Architecture for Model Parallel
Training Applied to Image Recognition Problems
- Title(参考訳): 画像認識問題に対するモデル並列学習のためのドメイン分解に基づくCNN-DNNアーキテクチャ
- Authors: Axel Klawonn, Martin Lanser, and Janine Weber
- Abstract要約: モデル並列トレーニング戦略を自然にサポートする新しいCNN-DNNアーキテクチャを提案する。
提案手法は,グローバルモデルと比較して,必要なトレーニング時間を著しく短縮することができる。
その結果,提案手法は,基礎となる分類問題の精度向上にも有効であることが示唆された。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks (DNNs) and, in particular, convolutional neural networks
(CNNs) have brought significant advances in a wide range of modern computer
application problems. However, the increasing availability of large amounts of
datasets as well as the increasing available computational power of modern
computers lead to a steady growth in the complexity and size of DNN and CNN
models, and thus, to longer training times. Hence, various methods and attempts
have been developed to accelerate and parallelize the training of complex
network architectures. In this work, a novel CNN-DNN architecture is proposed
that naturally supports a model parallel training strategy and that is loosely
inspired by two-level domain decomposition methods (DDM). First, local CNN
models, that is, subnetworks, are defined that operate on overlapping or
nonoverlapping parts of the input data, for example, sub-images. The
subnetworks can be trained completely in parallel. Each subnetwork outputs a
local decision for the given machine learning problem which is exclusively
based on the respective local input data. Subsequently, an additional DNN model
is trained which evaluates the local decisions of the local subnetworks and
generates a final, global decision. With respect to the analogy to DDM, the DNN
can be interpreted as a coarse problem and hence, the new approach can be
interpreted as a two-level domain decomposition. In this paper, solely image
classification problems using CNNs are considered. Experimental results for
different 2D image classification problems are provided as well as a face
recognition problem, and a classification problem for 3D computer tomography
(CT) scans. The results show that the proposed approach can significantly
accelerate the required training time compared to the global model and,
additionally, can also help to improve the accuracy of the underlying
classification problem.
- Abstract(参考訳): ディープニューラルネットワーク(DNN)、特に畳み込みニューラルネットワーク(CNN)は、幅広い現代のコンピュータアプリケーション問題において大きな進歩をもたらした。
しかし、大量のデータセットの可用性の向上と、現代のコンピュータの計算能力の増大により、dnnとcnnモデルの複雑さとサイズが着実に向上し、トレーニング時間が長くなる。
そのため、複雑なネットワークアーキテクチャの訓練を加速し、並列化する様々な方法や試みが開発されている。
本稿では、モデル並列トレーニング戦略を自然にサポートし、2レベルドメイン分解法(ddm)にゆるやかにインスパイアされた新しいcnn-dnnアーキテクチャを提案する。
まず、ローカルCNNモデル、すなわちサブネットワークが、入力データの重なり部分や非重なり部分、例えばサブイメージを操作するように定義される。
サブネットワークは、完全に並列にトレーニングできる。
各サブネットワークは、各ローカル入力データのみに基づいて与えられた機械学習問題の局所決定を出力する。
その後、ローカルサブネットワークのローカルな決定を評価し、最終的なグローバルな決定を生成する追加のDNNモデルを訓練する。
ddmの類似性に関して、dnnは粗い問題として解釈することができ、したがって新しいアプローチは2段階のドメイン分解として解釈することができる。
本稿では,CNNを用いた画像分類問題について考察する。
異なる2次元画像分類問題に対する実験結果と顔認識問題と3次元コンピュータ断層撮影(CT)スキャンのための分類問題とが提供される。
その結果,提案手法はグローバルモデルと比較して学習時間を大幅に短縮することができ,また,基礎となる分類問題の精度向上にも有効であることがわかった。
関連論文リスト
- Transferability of Convolutional Neural Networks in Stationary Learning
Tasks [96.00428692404354]
本稿では,大規模な空間問題に対する畳み込みニューラルネットワーク(CNN)の効率的なトレーニングのための新しいフレームワークを提案する。
このような信号の小さなウィンドウで訓練されたCNNは、再学習することなく、はるかに大きなウィンドウでほぼ性能を発揮することを示す。
以上の結果から,CNNは10人未満の訓練を受けた後,数百人のエージェントによる問題に対処できることが示唆された。
論文 参考訳(メタデータ) (2023-07-21T13:51:45Z) - What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
カーネルシステムにおける無限大の深層CNNについて検討する。
我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。
我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
論文 参考訳(メタデータ) (2022-08-01T17:19:32Z) - Towards a General Purpose CNN for Long Range Dependencies in
$\mathrm{N}$D [49.57261544331683]
構造変化のない任意の解像度,次元,長さのタスクに対して,連続的な畳み込みカーネルを備えた単一CNNアーキテクチャを提案する。
1$mathrmD$)とビジュアルデータ(2$mathrmD$)の幅広いタスクに同じCCNNを適用することで、我々のアプローチの汎用性を示す。
私たちのCCNNは競争力があり、検討されたすべてのタスクで現在の最先端を上回ります。
論文 参考訳(メタデータ) (2022-06-07T15:48:02Z) - A Novel Hand Gesture Detection and Recognition system based on
ensemble-based Convolutional Neural Network [3.5665681694253903]
コンピュータビジョンとパターン認識コミュニティでは,手の部分検出が課題となっている。
畳み込みニューラルネットワーク(CNN)アーキテクチャのようなディープラーニングアルゴリズムは、分類タスクにおいて非常に一般的な選択肢となっている。
本稿では,CNNに基づくアプローチのアンサンブルを用いて,予測時の高分散や過度な問題,予測誤差などの問題を克服する。
論文 参考訳(メタデータ) (2022-02-25T06:46:58Z) - Pruning and Slicing Neural Networks using Formal Verification [0.2538209532048866]
ディープニューラルネットワーク(DNN)は、様々なコンピュータシステムにおいてますます重要な役割を担っている。
これらのネットワークを作成するために、エンジニアは通常、望ましいトポロジを指定し、自動トレーニングアルゴリズムを使用してネットワークの重みを選択する。
本稿では,近年のDNN検証の進歩を活用して,この問題に対処することを提案する。
論文 参考訳(メタデータ) (2021-05-28T07:53:50Z) - Contextually Guided Convolutional Neural Networks for Learning Most
Transferable Representations [1.160208922584163]
新たなタスクに転送可能な汎用表現を開発するための効率的なアルゴリズムをトレーニングなしで提案する。
コンテキストガイド付きCNN(CG-CNN)は、データセット内のランダムな画像位置で選択された近隣画像パッチのグループに基づいて訓練される。
自然画像への適用では、CG-CNNの機能は、最初のCNNレイヤーの同等の転送可能な機能と同じ、高い場合でも、転送ユーティリティと分類精度を示しています。
論文 参考訳(メタデータ) (2021-03-02T08:41:12Z) - Wide and Deep Graph Neural Networks with Distributed Online Learning [175.96910854433574]
グラフニューラルネットワーク(GNN)は、自然に分散したアーキテクチャでネットワークデータから表現を学習する。
オンライン学習は、テスト時にGNNを再トレーニングするために使用することができ、この問題を克服することができる。
本稿では,分散オンライン学習機構で容易に更新できる新しいアーキテクチャであるWide and Deep GNN(WD-GNN)を提案する。
論文 参考訳(メタデータ) (2020-06-11T12:48:03Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳(メタデータ) (2020-03-13T13:11:35Z) - 1D CNN Based Network Intrusion Detection with Normalization on
Imbalanced Data [0.19336815376402716]
侵入検知システム(IDS)は、コンピュータネットワークにおいて、コンピュータ資源とデータを外部攻撃から保護する重要な役割を担っている。
最近のIDSは、予期せぬ、予測不能な攻撃に対するIDSの柔軟性と効率性を向上する課題に直面している。
1次元畳み込みニューラルネットワーク(1D-CNN)を用いた効率的かつ柔軟なIDS構築のための深層学習手法を提案する。
論文 参考訳(メタデータ) (2020-03-01T12:23:46Z) - Approximation and Non-parametric Estimation of ResNet-type Convolutional
Neural Networks [52.972605601174955]
本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。
Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
論文 参考訳(メタデータ) (2019-03-24T19:42:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。