論文の概要: A Domain Decomposition-Based CNN-DNN Architecture for Model Parallel Training Applied to Image Recognition Problems
- arxiv url: http://arxiv.org/abs/2302.06564v2
- Date: Mon, 1 Jul 2024 19:12:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 08:40:09.603281
- Title: A Domain Decomposition-Based CNN-DNN Architecture for Model Parallel Training Applied to Image Recognition Problems
- Title（参考訳）: 画像認識問題に応用したモデル並列学習のためのドメイン分解に基づくCNN-DNNアーキテクチャ
- Authors: Axel Klawonn, Martin Lanser, Janine Weber,
- Abstract要約: モデル並列トレーニング戦略を自然にサポートする新しいCNN-DNNアーキテクチャを提案する。
提案手法は,グローバルモデルと比較して,必要なトレーニング時間を著しく短縮することができる。
その結果,提案手法は,基礎となる分類問題の精度向上にも有効であることが示唆された。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks (DNNs) and, in particular, convolutional neural networks (CNNs) have brought significant advances in a wide range of modern computer application problems. However, the increasing availability of large amounts of datasets as well as the increasing available computational power of modern computers lead to a steady growth in the complexity and size of DNN and CNN models, respectively, and thus, to longer training times. Hence, various methods and attempts have been developed to accelerate and parallelize the training of complex network architectures. In this work, a novel CNN-DNN architecture is proposed that naturally supports a model parallel training strategy and that is loosely inspired by two-level domain decomposition methods (DDM). First, local CNN models, that is, subnetworks, are defined that operate on overlapping or nonoverlapping parts of the input data, for example, sub-images. The subnetworks can be trained completely in parallel and independently of each other. Each subnetwork then outputs a local decision for the given machine learning problem which is exclusively based on the respective local input data. Subsequently, in a second step, an additional DNN model is trained which evaluates the local decisions of the local subnetworks and generates a final, global decision. In this paper, we apply the proposed architecture to image classification problems using CNNs. Experimental results for different 2D image classification problems are provided as well as a face recognition problem, and a classification problem for 3D computer tomography (CT) scans. Therefore, classical ResNet and VGG architectures are considered. The results show that the proposed approach can significantly accelerate the required training time compared to the global model and, additionally, can also help to improve the accuracy of the underlying classification problem.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)、特に畳み込みニューラルネットワーク(CNN)は、幅広い現代のコンピュータアプリケーション問題において大きな進歩をもたらした。
しかし、大量のデータセットの可用性の向上と、現代のコンピュータの利用可能な計算能力の増大により、それぞれDNNとCNNモデルの複雑さとサイズが着実に増加し、訓練時間が長くなる。
そのため、複雑なネットワークアーキテクチャの訓練を加速し、並列化する様々な方法や試みが開発されている。
本研究では、モデル並列トレーニング戦略を自然にサポートし、2レベルドメイン分解法(DDM)に着想を得た新しいCNN-DNNアーキテクチャを提案する。
まず、ローカルCNNモデル、すなわちサブネットワークが、入力データの重なり部分や非重なり部分、例えばサブイメージを操作するように定義される。
サブネットワークは完全に並列で、互いに独立して訓練することができる。
各サブネットワークは、各ローカル入力データにのみ依存する、与えられた機械学習問題に対する局所的な決定を出力する。
次に、ローカルサブネットワークのローカルな決定を評価し、最終的なグローバルな決定を生成する追加のDNNモデルを訓練する。
本稿では,提案手法をCNNを用いた画像分類問題に適用する。
異なる2次元画像分類問題に対する実験結果と顔認識問題と3次元コンピュータ断層撮影(CT)スキャンのための分類問題とが提供される。
そのため、古典的なResNetとVGGアーキテクチャが検討されている。
その結果,提案手法は,グローバルモデルと比較して学習時間を大幅に短縮することができ,また,基礎となる分類問題の精度向上にも有効であることが示唆された。
関連論文リスト
- Domain-decomposed image classification algorithms using linear discriminant analysis and convolutional neural networks [0.0]
2つの異なる領域分割されたCNNモデルは、異なる画像分類問題に対して実験的に比較される。
その結果,グローバルCNNモデルと比較すると,分類精度が向上した。
局所化アプローチにも依存し,小さなニューラルネットワークモデルと組み合わせた,新しい分解型LDA戦略を提案する。
論文 参考訳（メタデータ） (2024-10-30T18:07:12Z) - Model Parallel Training and Transfer Learning for Convolutional Neural Networks by Domain Decomposition [0.0]
ディープ畳み込みニューラルネットワーク(CNN)は、幅広い画像処理アプリケーションで非常に成功したことが示されている。
モデルパラメータの増大と大量のトレーニングデータの増加により、複雑なCNNを効率的に訓練するための並列化戦略が必要である。
論文 参考訳（メタデータ） (2024-08-26T17:35:01Z) - CNN2GNN: How to Bridge CNN with GNN [59.42117676779735]
蒸留によりCNNとGNNを統一する新しいCNN2GNNフレームワークを提案する。
Mini-ImageNetにおける蒸留ブースターの2層GNNの性能は、ResNet152のような数十層を含むCNNよりもはるかに高い。
論文 参考訳（メタデータ） (2024-04-23T08:19:08Z) - Neural Attentive Circuits [93.95502541529115]
我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。
NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。
NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
論文 参考訳（メタデータ） (2022-10-14T18:00:07Z) - Towards a General Purpose CNN for Long Range Dependencies in
$\mathrm{N}$D [49.57261544331683]
構造変化のない任意の解像度,次元,長さのタスクに対して,連続的な畳み込みカーネルを備えた単一CNNアーキテクチャを提案する。
1$mathrmD$)とビジュアルデータ(2$mathrmD$)の幅広いタスクに同じCCNNを適用することで、我々のアプローチの汎用性を示す。
私たちのCCNNは競争力があり、検討されたすべてのタスクで現在の最先端を上回ります。
論文 参考訳（メタデータ） (2022-06-07T15:48:02Z) - A Novel Hand Gesture Detection and Recognition system based on
ensemble-based Convolutional Neural Network [3.5665681694253903]
コンピュータビジョンとパターン認識コミュニティでは,手の部分検出が課題となっている。
畳み込みニューラルネットワーク(CNN)アーキテクチャのようなディープラーニングアルゴリズムは、分類タスクにおいて非常に一般的な選択肢となっている。
本稿では,CNNに基づくアプローチのアンサンブルを用いて,予測時の高分散や過度な問題,予測誤差などの問題を克服する。
論文 参考訳（メタデータ） (2022-02-25T06:46:58Z) - Wide and Deep Graph Neural Networks with Distributed Online Learning [175.96910854433574]
グラフニューラルネットワーク(GNN)は、自然に分散したアーキテクチャでネットワークデータから表現を学習する。
オンライン学習は、テスト時にGNNを再トレーニングするために使用することができ、この問題を克服することができる。
本稿では,分散オンライン学習機構で容易に更新できる新しいアーキテクチャであるWide and Deep GNN(WD-GNN)を提案する。
論文 参考訳（メタデータ） (2020-06-11T12:48:03Z) - Computational optimization of convolutional neural networks using
separated filters architecture [69.73393478582027]
我々は、計算複雑性を低減し、ニューラルネットワーク処理を高速化する畳み込みニューラルネットワーク変換を考える。
畳み込みニューラルネットワーク(CNN)の使用は、計算的に要求が多すぎるにもかかわらず、画像認識の標準的なアプローチである。
論文 参考訳（メタデータ） (2020-02-18T17:42:13Z) - Inferring Convolutional Neural Networks' accuracies from their
architectural characterizations [0.0]
CNNのアーキテクチャと性能の関係について検討する。
本稿では,2つのコンピュータビジョンに基づく物理問題において,その特性がネットワークの性能を予測できることを示す。
我々は機械学習モデルを用いて、トレーニング前にネットワークが一定のしきい値精度よりも優れた性能を発揮できるかどうかを予測する。
論文 参考訳（メタデータ） (2020-01-07T16:41:58Z) - Approximation and Non-parametric Estimation of ResNet-type Convolutional
Neural Networks [52.972605601174955]
本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。
Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
論文 参考訳（メタデータ） (2019-03-24T19:42:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。