論文の概要: Generalized Wasserstein Dice Score, Distributionally Robust Deep
Learning, and Ranger for brain tumor segmentation: BraTS 2020 challenge
- arxiv url: http://arxiv.org/abs/2011.01614v2
- Date: Mon, 25 Jan 2021 11:41:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-30 04:34:29.756795
- Title: Generalized Wasserstein Dice Score, Distributionally Robust Deep
Learning, and Ranger for brain tumor segmentation: BraTS 2020 challenge
- Title（参考訳）: 一般化wasserstein diceスコア、分布的ロバストなディープラーニング、脳腫瘍分割のためのranger: brats 2020 challenge
- Authors: Lucas Fidon and Sebastien Ourselin and Tom Vercauteren
- Abstract要約: ディープニューラルネットワークのトレーニングは、ディープニューラルネットワークの設計、サンプル単位の損失関数、人口減少関数、アーキテクチャの4つの主要な要素を持つ最適化問題である。
我々は、ディープニューラルネットワークの設計にのみ焦点をあてて、反対のアプローチを採用する実験を行った。
さまざまな最適化手順でトレーニングされた3つのディープニューラルネットワークのアンサンブルによって、BraTS 2020チャレンジの検証に期待できる結果が得られました。
- 参考スコア（独自算出の注目度）: 4.787559241352888
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training a deep neural network is an optimization problem with four main
ingredients: the design of the deep neural network, the per-sample loss
function, the population loss function, and the optimizer. However, methods
developed to compete in recent BraTS challenges tend to focus only on the
design of deep neural network architectures, while paying less attention to the
three other aspects. In this paper, we experimented with adopting the opposite
approach. We stuck to a generic and state-of-the-art 3D U-Net architecture and
experimented with a non-standard per-sample loss function, the generalized
Wasserstein Dice loss, a non-standard population loss function, corresponding
to distributionally robust optimization, and a non-standard optimizer, Ranger.
Those variations were selected specifically for the problem of multi-class
brain tumor segmentation. The generalized Wasserstein Dice loss is a per-sample
loss function that allows taking advantage of the hierarchical structure of the
tumor regions labeled in BraTS. Distributionally robust optimization is a
generalization of empirical risk minimization that accounts for the presence of
underrepresented subdomains in the training dataset. Ranger is a generalization
of the widely used Adam optimizer that is more stable with small batch size and
noisy labels. We found that each of those variations of the optimization of
deep neural networks for brain tumor segmentation leads to improvements in
terms of Dice scores and Hausdorff distances. With an ensemble of three deep
neural networks trained with various optimization procedures, we achieved
promising results on the validation dataset of the BraTS 2020 challenge. Our
ensemble ranked fourth out of the 693 registered teams for the segmentation
task of the BraTS 2020 challenge.
- Abstract（参考訳）: ディープニューラルネットワークのトレーニングは,ディープニューラルネットワークの設計,サンプル単位の損失関数,人口減少関数,オプティマイザの4つの主要な要素を持つ最適化問題である。
しかし、最近のBraTSの課題と競合するために開発された手法は、ディープニューラルネットワークアーキテクチャの設計にのみ焦点をあてる傾向にあり、他の3つの側面にはあまり注意を払わない。
本稿では,逆アプローチを採用する実験を行った。
我々は、汎用的で最先端の3D U-Netアーキテクチャに固執し、標準でないサンプル単位の損失関数、一般化されたワッサーシュタインジス損失関数、分布的に堅牢な最適化に対応する非標準集団損失関数、および非標準最適化器であるレンジャーの実験を行った。
これらの変異は多種脳腫瘍の分節問題に特異的に選択された。
一般化されたwaserstein dice損失は、bratsでラベルされた腫瘍領域の階層構造を活用できる、サンプル毎の損失関数である。
分散ロバストな最適化は、トレーニングデータセットに未表現のサブドメインが存在することを考慮した経験的リスク最小化の一般化である。
Rangerは広く使われているAdamオプティマイザの一般化であり、小さなバッチサイズとノイズのあるラベルでより安定している。
脳腫瘍セグメント化のためのディープニューラルネットワークの最適化のそれぞれのバリエーションは、DiceスコアとHausdorff距離の点で改善されることがわかった。
様々な最適化手順でトレーニングされた3つのディープニューラルネットワークのアンサンブルにより、brats 2020チャレンジの検証データセットで有望な結果を得た。
私たちのアンサンブルは、brats 2020チャレンジのセグメンテーションタスクで673チーム中4位にランクインしました。
関連論文リスト
- DiTMoS: Delving into Diverse Tiny-Model Selection on Microcontrollers [34.282971510732736]
我々は、セレクタ分類器アーキテクチャを備えた新しいDNNトレーニングおよび推論フレームワークであるDiTMoSを紹介する。
弱いモデルの合成は高い多様性を示すことができ、それらの結合は精度の上限を大幅に高めることができる。
我々は,Nucleo STM32F767ZIボード上にDiTMoSをデプロイし,人間の活動認識,キーワードスポッティング,感情認識のための時系列データセットに基づいて評価する。
論文 参考訳（メタデータ） (2024-03-14T02:11:38Z) - Universal Consistency of Wide and Deep ReLU Neural Networks and Minimax
Optimal Convergence Rates for Kolmogorov-Donoho Optimal Function Classes [7.433327915285969]
我々は,ロジスティック損失に基づいて学習した広帯域および深部ReLUニューラルネットワーク分類器の普遍的整合性を証明する。
また、ニューラルネットワークに基づく分類器が最小収束率を達成できる確率尺度のクラスに対して十分な条件を与える。
論文 参考訳（メタデータ） (2024-01-08T23:54:46Z) - Pruning Convolutional Filters via Reinforcement Learning with Entropy
Minimization [0.0]
本稿では,畳み込み活性化の空間エントロピーを最小化する情報理論報酬関数を提案する。
提案手法は,エージェントの報酬関数で直接最適化することなく,精度を維持できる可能性を示している。
論文 参考訳（メタデータ） (2023-12-08T09:34:57Z) - A Continuous Optimisation Benchmark Suite from Neural Network Regression [0.0]
ニューラルネットワークのトレーニングは、近年のディープラーニングの成功で注目を集めている最適化タスクである。
勾配降下変種は、大規模機械学習タスクにおける信頼性の高いパフォーマンスにおいて、最も一般的な選択である。
CORNNは、ニューラルネットワークのトレーニング問題に対して、連続的なブラックボックスアルゴリズムのパフォーマンスをベンチマークするスイートである。
論文 参考訳（メタデータ） (2021-09-12T20:24:11Z) - Understanding the Generalization of Adam in Learning Neural Networks
with Proper Regularization [118.50301177912381]
我々は,重力減衰グローバリゼーションにおいても,目的の異なる解に確実に異なる誤差で収束できることを示す。
凸と重み減衰正則化を用いると、Adamを含む任意の最適化アルゴリズムは同じ解に収束することを示す。
論文 参考訳（メタデータ） (2021-08-25T17:58:21Z) - Non-Gradient Manifold Neural Network [79.44066256794187]
ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。
非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2021-06-15T06:39:13Z) - Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。
損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文 参考訳（メタデータ） (2020-12-31T18:53:25Z) - Attribute-Guided Adversarial Training for Robustness to Natural
Perturbations [64.35805267250682]
本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。
我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
論文 参考訳（メタデータ） (2020-12-03T10:17:30Z) - Brain tumor segmentation with self-ensembled, deeply-supervised 3D U-net
neural networks: a BraTS 2020 challenge solution [56.17099252139182]
U-netのようなニューラルネットワークを用いた脳腫瘍セグメント化作業の自動化と標準化を行う。
2つの独立したモデルのアンサンブルが訓練され、それぞれが脳腫瘍のセグメンテーションマップを作成した。
我々の解は、最終試験データセットにおいて、Diceの0.79、0.89、0.84、およびHausdorffの95%の20.4、6.7、19.5mmを達成した。
論文 参考訳（メタデータ） (2020-10-30T14:36:10Z) - The Hidden Convex Optimization Landscape of Two-Layer ReLU Neural
Networks: an Exact Characterization of the Optimal Solutions [51.60996023961886]
コーン制約のある凸最適化プログラムを解くことにより,グローバルな2層ReLUニューラルネットワークの探索が可能であることを示す。
我々の分析は新しく、全ての最適解を特徴づけ、最近、ニューラルネットワークのトレーニングを凸空間に持ち上げるために使われた双対性に基づく分析を活用できない。
論文 参考訳（メタデータ） (2020-06-10T15:38:30Z) - ODEN: A Framework to Solve Ordinary Differential Equations using
Artificial Neural Networks [0.0]
我々は、ニューラルネットワークの性能を評価するために、正確な解の知識を必要としない特定の損失関数を証明した。
ニューラルネットワークは、トレーニング領域内での継続的ソリューションの近似に熟練していることが示されている。
ユーザフレンドリで適応可能なオープンソースコード(ODE$mathcalN$)がGitHubで提供されている。
論文 参考訳（メタデータ） (2020-05-28T15:34:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。