論文の概要: Distributionally Robust Deep Learning using Hardness Weighted Sampling
- arxiv url: http://arxiv.org/abs/2001.02658v4
- Date: Thu, 14 Jul 2022 22:03:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-13 09:50:48.215706
- Title: Distributionally Robust Deep Learning using Hardness Weighted Sampling
- Title(参考訳): 硬度重みサンプリングを用いた分布ロバスト深層学習
- Authors: Lucas Fidon, Michael Aertsen, Thomas Deprest, Doaa Emam, Fr\'ed\'eric
Guffens, Nada Mufti, Esther Van Elslander, Ernst Schwartz, Michael Ebner,
Daniela Prayer, Gregor Kasprian, Anna L. David, Andrew Melbourne, S\'ebastien
Ourselin, Jan Deprest, Georg Langs, Tom Vercauteren
- Abstract要約: 本稿では、ディープラーニングの文脈に特に適した機械学習におけるDROの原理的かつ効率的なアルゴリズムを提案する。
MRIにおける胎児脳の3次元MRIセグメント化と脳腫瘍セグメント化に関する実験は、我々のアプローチの有効性と有用性を示している。
- 参考スコア(独自算出の注目度): 5.277562268045534
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Limiting failures of machine learning systems is of paramount importance for
safety-critical applications. In order to improve the robustness of machine
learning systems, Distributionally Robust Optimization (DRO) has been proposed
as a generalization of Empirical Risk Minimization (ERM). However, its use in
deep learning has been severely restricted due to the relative inefficiency of
the optimizers available for DRO in comparison to the wide-spread variants of
Stochastic Gradient Descent (SGD) optimizers for ERM. We propose SGD with
hardness weighted sampling, a principled and efficient optimization method for
DRO in machine learning that is particularly suited in the context of deep
learning. Similar to a hard example mining strategy in practice, the proposed
algorithm is straightforward to implement and computationally as efficient as
SGD-based optimizers used for deep learning, requiring minimal overhead
computation. In contrast to typical ad hoc hard mining approaches, we prove the
convergence of our DRO algorithm for over-parameterized deep learning networks
with ReLU activation and a finite number of layers and parameters. Our
experiments on fetal brain 3D MRI segmentation and brain tumor segmentation in
MRI demonstrate the feasibility and the usefulness of our approach. Using our
hardness weighted sampling for training a state-of-the-art deep learning
pipeline leads to improved robustness to anatomical variabilities in automatic
fetal brain 3D MRI segmentation using deep learning and to improved robustness
to the image protocol variations in brain tumor segmentation. Our code is
available at https://github.com/LucasFidon/HardnessWeightedSampler.
- Abstract(参考訳): 機械学習システムの障害を制限することは、安全クリティカルなアプリケーションにとって最重要事項である。
機械学習システムの堅牢性を改善するため,経験的リスク最小化(ERM)の一般化として分散ロバスト最適化(DRO)が提案されている。
しかし、DROで利用できる最適化器の効率が低かったことや、EMM用のStochastic Gradient Descent (SGD)オプティマイザの広帯域版と比較して、ディープラーニングにおける使用が厳しく制限されている。
本稿では,機械学習におけるDROの原理的かつ効率的な最適化手法である重み付きサンプリングを用いたSGDを提案する。
実際のハードサンプルマイニング戦略と同様に、提案されたアルゴリズムは、深層学習に使用されるsgdベースのオプティマイザと同じくらい実装し、計算効率が良く、最小のオーバーヘッド計算を必要とする。
典型的なアドホックなハードマイニング手法とは対照的に、ReLUアクティベーションと有限層の層とパラメータを持つ過パラメータ深層学習ネットワークに対するDROアルゴリズムの収束性を証明する。
MRIにおける胎児脳の3次元MRIセグメント化と脳腫瘍セグメント化に関する実験は、我々のアプローチの有効性と有用性を示している。
最先端のディープラーニングパイプラインをトレーニングするためのハードネス重み付けサンプリングを用いることで、深層学習を用いた胎児脳3次元mriの解剖学的変動に対するロバスト性が向上し、脳腫瘍の分節における画像プロトコルの変化に対するロバスト性が向上する。
私たちのコードはhttps://github.com/LucasFidon/HardnessWeightedSampler.comから入手可能です。
関連論文リスト
- Multi-Objective Learning for Deformable Image Registration [0.0]
変形可能な画像登録(DIR)は、複数の矛盾する目的を最適化する。
本稿では、最近提案されたニューラルネットワークのMOトレーニング手法と、DIRのためのよく知られたディープニューラルネットワークを組み合わせる。
骨盤核磁気共鳴画像(MRI)のDIR法について検討した。
論文 参考訳(メタデータ) (2024-02-23T15:42:13Z) - Learning to sample in Cartesian MRI [1.2432046687586285]
患者の快適さを高め、検査コストを減らし、スループットを向上させるため、臨床環境ではスキャン時間を短縮することが重要である。
圧縮センシング(CS)とディープラーニングの最近の進歩は、アンダーサンプルデータから高品質な画像を再構成することで、MRIの高速化を可能にする。
この論文は、カルテシアンMRIの文脈におけるこのギャップに対処する2つのアプローチを探求する。
論文 参考訳(メタデータ) (2023-12-07T14:38:07Z) - Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。
中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。
on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
論文 参考訳(メタデータ) (2022-01-07T07:46:01Z) - Fast Distributionally Robust Learning with Variance Reduced Min-Max
Optimization [85.84019017587477]
分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。
Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。
我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
論文 参考訳(メタデータ) (2021-04-27T16:56:09Z) - ConCrete MAP: Learning a Probabilistic Relaxation of Discrete Variables
for Soft Estimation with Low Complexity [9.62543698736491]
ConCrete MAP Detection (CMD)は、大きな逆線形問題に対する反復検出アルゴリズムである。
我々は、SotAと比較して、CMDが有望なパフォーマンス複雑性のトレードオフを特徴付けることを示す。
特に,CMDのソフト出力がデコーダに信頼性を持つことを示す。
論文 参考訳(メタデータ) (2021-02-25T09:54:25Z) - SAR: Scale-Aware Restoration Learning for 3D Tumor Segmentation [23.384259038420005]
3次元腫瘍分割のためのSAR(Scale-Aware Restoration)を提案する。
新たなプロキシタスク、すなわちスケール差別は、自己回復タスクと組み合わせて3Dニューラルネットワークを事前訓練するために定式化される。
脳腫瘍セグメンテーション(Brain tumor segmentation),すなわち膵腫瘍セグメンテーション(Pancreas tumor segmentation)の2つの課題に対して,本手法の有効性を実証した。
論文 参考訳(メタデータ) (2020-10-13T01:23:17Z) - Deep Representational Similarity Learning for analyzing neural
signatures in task-based fMRI dataset [81.02949933048332]
本稿では、表現類似度分析(RSA)の深部拡張であるDRSL(Deep Representational similarity Learning)を開発する。
DRSLは、多数の被験者を持つfMRIデータセットにおける様々な認知タスク間の類似性を分析するのに適している。
論文 参考訳(メタデータ) (2020-09-28T18:30:14Z) - Optimization-driven Deep Reinforcement Learning for Robust Beamforming
in IRS-assisted Wireless Communications [54.610318402371185]
Intelligent Reflecting Surface (IRS)は、マルチアンテナアクセスポイント(AP)から受信機へのダウンリンク情報伝達を支援する有望な技術である。
我々は、APのアクティブビームフォーミングとIRSのパッシブビームフォーミングを共同最適化することで、APの送信電力を最小化する。
過去の経験からビームフォーミング戦略に適応できる深層強化学習(DRL)手法を提案する。
論文 参考訳(メタデータ) (2020-05-25T01:42:55Z) - Deep Adaptive Inference Networks for Single Image Super-Resolution [72.7304455761067]
シングルイメージ超解像(SISR)は、ディープ畳み込みニューラルネットワーク(CNN)の展開により、近年大きく進歩している。
本稿では,深部SISR(AdaDSR)の適応型推論ネットワークを活用することで,この問題に対処する。
我々のAdaDSRは、SISRモデルをバックボーンとし、画像の特徴とリソース制約を入力として取り、ローカルネットワーク深さのマップを予測する軽量アダプタモジュールを備える。
論文 参考訳(メタデータ) (2020-04-08T10:08:20Z) - Mixed Strategies for Robust Optimization of Unknown Objectives [93.8672371143881]
そこでは,不確実なパラメータの最悪の実現に対して,未知の目的関数を最適化することを目的として,ロバストな最適化問題を考察する。
我々は,未知の目的をノイズ点評価から逐次学習する,新しいサンプル効率アルゴリズムGP-MROを設計する。
GP-MROは、最悪のケースで期待される目標値を最大化する、堅牢でランダムな混合戦略の発見を目指している。
論文 参考訳(メタデータ) (2020-02-28T09:28:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。