論文の概要: Distributing Deep Learning Hyperparameter Tuning for 3D Medical Image Segmentation

• arxiv url: http://arxiv.org/abs/2110.15884v1
• Date: Fri, 29 Oct 2021 16:11:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-01 14:17:05.456269
• Title: Distributing Deep Learning Hyperparameter Tuning for 3D Medical Image Segmentation
• Title（参考訳）: 3次元医用画像分割のためのDeep Learning Hyperparameter Tuning
• Authors: Josep Lluis Berral, Oriol Aranda, Juan Luis Dominguez, Jordi Torres
• Abstract要約: 3次元医用画像(MIS)の新たな技術に関するほとんどの研究は、現在、Deep LearningとGPUアクセラレータを使って行われている。 このような技術の主な課題は、単一の入力が計算資源に容易に対応でき、処理に不当な時間を要することである。 本稿では,マルチノードおよびマルチGPU環境に着目した分散ディープラーニングトレーニングパイプラインの設計を提案する。
• 参考スコア（独自算出の注目度）: 5.652813393326783
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Most research on novel techniques for 3D Medical Image Segmentation (MIS) is currently done using Deep Learning with GPU accelerators. The principal challenge of such technique is that a single input can easily cope computing resources, and require prohibitive amounts of time to be processed. Distribution of deep learning and scalability over computing devices is an actual need for progressing on such research field. Conventional distribution of neural networks consist in data parallelism, where data is scattered over resources (e.g., GPUs) to parallelize the training of the model. However, experiment parallelism is also an option, where different training processes are parallelized across resources. While the first option is much more common on 3D image segmentation, the second provides a pipeline design with less dependence among parallelized processes, allowing overhead reduction and more potential scalability. In this work we present a design for distributed deep learning training pipelines, focusing on multi-node and multi-GPU environments, where the two different distribution approaches are deployed and benchmarked. We take as proof of concept the 3D U-Net architecture, using the MSD Brain Tumor Segmentation dataset, a state-of-art problem in medical image segmentation with high computing and space requirements. Using the BSC MareNostrum supercomputer as benchmarking environment, we use TensorFlow and Ray as neural network training and experiment distribution platforms. We evaluate the experiment speed-up, showing the potential for scaling out on GPUs and nodes. Also comparing the different parallelism techniques, showing how experiment distribution leverages better such resources through scaling. Finally, we provide the implementation of the design open to the community, and the non-trivial steps and methodology for adapting and deploying a MIS case as the here presented.
• Abstract（参考訳）: 3Dメディカルイメージセグメンテーション(MIS)のための新しい技術に関する研究は、現在、Deep LearningとGPUアクセラレータを使って行われている。 このような技術の主な課題は、単一の入力が計算資源に容易に対応でき、処理に不当な時間を要することである。 コンピューティングデバイス上でのディープラーニングとスケーラビリティの分散は、そのような研究分野の進展に実際に必要である。 従来のニューラルネットワークの分散はデータ並列性で構成され、モデルのトレーニングを並列化するリソース(GPUなど)にデータが分散される。 しかし、実験の並列性も選択肢であり、異なるトレーニングプロセスがリソース間で並列化される。 第1の選択肢は3dイメージのセグメンテーションでより一般的だが、第2の選択肢は並列化プロセス間の依存性が少なく、オーバーヘッド削減とスケーラビリティ向上を可能にするパイプライン設計を提供する。 本稿では,分散ディープラーニングトレーニングパイプラインの設計について紹介する。マルチノードとマルチGPU環境に着目し,2つの異なる分散アプローチのデプロイとベンチマークを行う。 我々は,MSD脳腫瘍セグメンテーションデータセットを用いた3次元U-Netアーキテクチャの概念実証として,高計算と空間要求を伴う医用画像セグメンテーションの最先端問題である。 BSC MareNostrumスーパーコンピュータをベンチマーク環境として使用し、ニューラルネットワークのトレーニングと実験分散プラットフォームとしてTensorFlowとRayを使用する。 実験のスピードアップを評価し,GPUやノード上でのスケールアウトの可能性を示す。 また、異なる並列性技術を比較して、実験分布がスケーリングを通じてより優れたリソースをどのように活用するかを示した。 最後に、コミュニティにオープンなデザインの実装と、このMISケースを適応・展開するための非自明な手順と方法論を提示する。

関連論文リスト

• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• N-BVH: Neural ray queries with bounding volume hierarchies [51.430495562430565]
  3Dコンピュータグラフィックスでは、シーンのメモリ使用量の大部分がポリゴンとテクスチャによるものである。 N-BVHは3次元の任意の光線クエリに応答するように設計されたニューラル圧縮アーキテクチャである。 本手法は, 視認性, 深度, 外観特性を忠実に近似する。
  論文  参考訳（メタデータ） (2024-05-25T13:54:34Z)
• Partitioned Neural Network Training via Synthetic Intermediate Labels [0.0]
  GPUメモリの制約は、そのような巨大なモデルをトレーニングする上で、注目すべきボトルネックになっている。 この研究は、モデルをGPU間で分割し、個々のセグメントをトレーニングするために合成中間ラベルを生成することを提唱する。 このアプローチは、モデル精度を維持しながらデータ通信を最小限に抑える、より効率的なトレーニングプロセスをもたらす。
  論文  参考訳（メタデータ） (2024-03-17T13:06:29Z)
• Partitioning Distributed Compute Jobs with Reinforcement Learning and Graph Neural Networks [58.720142291102135]
  大規模な機械学習モデルは、幅広い分野に進歩をもたらしている。 これらのモデルの多くは、単一のマシンでトレーニングするには大きすぎるため、複数のデバイスに分散する必要がある。 スループットやブロッキングレートといったユーザクリティカルな指標に対して,並列化の最大化が準最適であることを示す。
  論文  参考訳（メタデータ） (2023-01-31T17:41:07Z)
• Scalable Graph Convolutional Network Training on Distributed-Memory Systems [5.169989177779801]
  グラフ畳み込みネットワーク(GCN)はグラフの深層学習に広く利用されている。 グラフ上の畳み込み操作は不規則なメモリアクセスパターンを誘導するので、GCNトレーニングのためのメモリと通信効率の並列アルゴリズムを設計することはユニークな課題である。 本稿では,大規模プロセッサ数にスケールする並列トレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-09T17:51:13Z)
• GLEAM: Greedy Learning for Large-Scale Accelerated MRI Reconstruction [50.248694764703714]
  アンロールされたニューラルネットワークは、最近最先端の加速MRI再構成を達成した。 これらのネットワークは、物理ベースの一貫性とニューラルネットワークベースの正規化を交互に組み合わせることで、反復最適化アルゴリズムをアンロールする。 我々は,高次元画像設定のための効率的なトレーニング戦略である加速度MRI再構成のためのグレディ・ラーニングを提案する。
  論文  参考訳（メタデータ） (2022-07-18T06:01:29Z)
• Memory-efficient Segmentation of High-resolution Volumetric MicroCT Images [11.723370840090453]
  本稿では,3次元高解像度画像分割のためのメモリ効率の高いネットワークアーキテクチャを提案する。 このネットワークは、2段階のU-netベースのカスケードフレームワークを通じて、グローバル機能とローカル機能の両方を組み込んでいる。 実験により, セグメント化精度とメモリ効率の両方の観点から, 最先端の3Dセグメンテーション法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-05-31T16:42:48Z)
• Accelerating Training and Inference of Graph Neural Networks with Fast Sampling and Pipelining [58.10436813430554]
  グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。 我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。 本稿では,これらのボトルネックを緩和する一連の改良点について述べる。 また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
  論文  参考訳（メタデータ） (2021-10-16T02:41:35Z)
• Benchmarking network fabrics for data distributed training of deep neural networks [10.067102343753643]
  深層モデルの訓練のための大規模な計算要求は、より高速な訓練のための新しい方法の開発を必要としている。 このようなアプローチのひとつに、トレーニングデータを複数の計算ノードに分散する、データ並列アプローチがある。 本稿では,物理ハードウェアの相互接続とネットワーク関連ソフトウェアプリミティブを用いてデータ分散ディープラーニングを実現する効果について検討する。
  論文  参考訳（メタデータ） (2020-08-18T17:38:30Z)
• The Case for Strong Scaling in Deep Learning: Training Large 3D CNNs with Hybrid Parallelism [3.4377970608678314]
  大規模3次元畳み込みニューラルネットワークを学習するためのスケーラブルなハイブリッド並列アルゴリズムを提案する。 提案したトレーニングアルゴリズムを,CosmoFlowと3D U-Netの2つの挑戦的な3D CNNを用いて評価した。
  論文  参考訳（メタデータ） (2020-07-25T05:06:06Z)
• Unpaired Multi-modal Segmentation via Knowledge Distillation [77.39798870702174]
  本稿では,不対向画像分割のための新しい学習手法を提案する。 提案手法では,CTおよびMRI間での畳み込みカーネルの共有により,ネットワークパラメータを多用する。 我々は2つの多クラスセグメンテーション問題に対するアプローチを広範囲に検証した。
  論文  参考訳（メタデータ） (2020-01-06T20:03:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。