論文の概要: Distributionally Robust Deep Learning using Hardness Weighted Sampling

• arxiv url: http://arxiv.org/abs/2001.02658v4
• Date: Thu, 14 Jul 2022 22:03:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-13 09:50:48.215706
• Title: Distributionally Robust Deep Learning using Hardness Weighted Sampling
• Title（参考訳）: 硬度重みサンプリングを用いた分布ロバスト深層学習
• Authors: Lucas Fidon, Michael Aertsen, Thomas Deprest, Doaa Emam, Fr\'ed\'eric Guffens, Nada Mufti, Esther Van Elslander, Ernst Schwartz, Michael Ebner, Daniela Prayer, Gregor Kasprian, Anna L. David, Andrew Melbourne, S\'ebastien Ourselin, Jan Deprest, Georg Langs, Tom Vercauteren
• Abstract要約: 本稿では、ディープラーニングの文脈に特に適した機械学習におけるDROの原理的かつ効率的なアルゴリズムを提案する。 MRIにおける胎児脳の3次元MRIセグメント化と脳腫瘍セグメント化に関する実験は、我々のアプローチの有効性と有用性を示している。
• 参考スコア（独自算出の注目度）: 5.277562268045534
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Limiting failures of machine learning systems is of paramount importance for safety-critical applications. In order to improve the robustness of machine learning systems, Distributionally Robust Optimization (DRO) has been proposed as a generalization of Empirical Risk Minimization (ERM). However, its use in deep learning has been severely restricted due to the relative inefficiency of the optimizers available for DRO in comparison to the wide-spread variants of Stochastic Gradient Descent (SGD) optimizers for ERM. We propose SGD with hardness weighted sampling, a principled and efficient optimization method for DRO in machine learning that is particularly suited in the context of deep learning. Similar to a hard example mining strategy in practice, the proposed algorithm is straightforward to implement and computationally as efficient as SGD-based optimizers used for deep learning, requiring minimal overhead computation. In contrast to typical ad hoc hard mining approaches, we prove the convergence of our DRO algorithm for over-parameterized deep learning networks with ReLU activation and a finite number of layers and parameters. Our experiments on fetal brain 3D MRI segmentation and brain tumor segmentation in MRI demonstrate the feasibility and the usefulness of our approach. Using our hardness weighted sampling for training a state-of-the-art deep learning pipeline leads to improved robustness to anatomical variabilities in automatic fetal brain 3D MRI segmentation using deep learning and to improved robustness to the image protocol variations in brain tumor segmentation. Our code is available at https://github.com/LucasFidon/HardnessWeightedSampler.
• Abstract（参考訳）: 機械学習システムの障害を制限することは、安全クリティカルなアプリケーションにとって最重要事項である。 機械学習システムの堅牢性を改善するため,経験的リスク最小化(ERM)の一般化として分散ロバスト最適化(DRO)が提案されている。 しかし、DROで利用できる最適化器の効率が低かったことや、EMM用のStochastic Gradient Descent (SGD)オプティマイザの広帯域版と比較して、ディープラーニングにおける使用が厳しく制限されている。 本稿では,機械学習におけるDROの原理的かつ効率的な最適化手法である重み付きサンプリングを用いたSGDを提案する。 実際のハードサンプルマイニング戦略と同様に、提案されたアルゴリズムは、深層学習に使用されるsgdベースのオプティマイザと同じくらい実装し、計算効率が良く、最小のオーバーヘッド計算を必要とする。 典型的なアドホックなハードマイニング手法とは対照的に、ReLUアクティベーションと有限層の層とパラメータを持つ過パラメータ深層学習ネットワークに対するDROアルゴリズムの収束性を証明する。 MRIにおける胎児脳の3次元MRIセグメント化と脳腫瘍セグメント化に関する実験は、我々のアプローチの有効性と有用性を示している。 最先端のディープラーニングパイプラインをトレーニングするためのハードネス重み付けサンプリングを用いることで、深層学習を用いた胎児脳3次元mriの解剖学的変動に対するロバスト性が向上し、脳腫瘍の分節における画像プロトコルの変化に対するロバスト性が向上する。 私たちのコードはhttps://github.com/LucasFidon/HardnessWeightedSampler.comから入手可能です。

関連論文リスト

• Unveiling Incomplete Modality Brain Tumor Segmentation: Leveraging Masked Predicted Auto-Encoder and Divergence Learning [6.44069573245889]
  脳腫瘍のセグメンテーションは、特にマルチモーダルMRI(Multi-modal magnetic resonance imaging)における重要な課題である。 本稿では,不完全なモダリティデータから頑健な特徴学習を可能にする,マスク付き予測事前学習方式を提案する。 微調整段階において、我々は知識蒸留技術を用いて、完全なモダリティデータと欠落したモダリティデータの間に特徴を整列させ、同時にモデルロバスト性を向上する。
  論文  参考訳（メタデータ） (2024-06-12T20:35:16Z)
• Self-STORM: Deep Unrolled Self-Supervised Learning for Super-Resolution Microscopy [55.2480439325792]
  我々は、シーケンス固有のモデルベースのオートエンコーダをトレーニングすることで、そのようなデータの必要性を軽減する、深層無学習の自己教師付き学習を導入する。 提案手法は, 監視対象の性能を超過する。
  論文  参考訳（メタデータ） (2024-03-25T17:40:32Z)
• Multi-Objective Learning for Deformable Image Registration [0.0]
  変形可能な画像登録(DIR)は、複数の矛盾する目的を最適化する。 本稿では、最近提案されたニューラルネットワークのMOトレーニング手法と、DIRのためのよく知られたディープニューラルネットワークを組み合わせる。 骨盤核磁気共鳴画像(MRI)のDIR法について検討した。
  論文  参考訳（メタデータ） (2024-02-23T15:42:13Z)
• Learning to sample in Cartesian MRI [1.2432046687586285]
  患者の快適さを高め、検査コストを減らし、スループットを向上させるため、臨床環境ではスキャン時間を短縮することが重要である。 圧縮センシング(CS)とディープラーニングの最近の進歩は、アンダーサンプルデータから高品質な画像を再構成することで、MRIの高速化を可能にする。 この論文は、カルテシアンMRIの文脈におけるこのギャップに対処する2つのアプローチを探求する。
  論文  参考訳（メタデータ） (2023-12-07T14:38:07Z)
• Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
  本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。 中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。 on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
  論文  参考訳（メタデータ） (2022-01-07T07:46:01Z)
• Complex-valued Federated Learning with Differential Privacy and MRI Applications [51.34714485616763]
  複雑な値を持つガウスのメカニズムを導入し、その振る舞いは$f$-DP、$(varepsilon, delta)$-DP、R'enyi-DPで特徴づけられる。 本稿では,DPと互換性のある複雑なニューラルネットワークプリミティブを提案する。 実験では,実世界の課題に対して,DPを用いた複合数値ニューラルネットワークを訓練することで概念実証を行う。
  論文  参考訳（メタデータ） (2021-10-07T14:03:00Z)
• Fast Distributionally Robust Learning with Variance Reduced Min-Max Optimization [85.84019017587477]
  分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。 Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。 我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-04-27T16:56:09Z)
• ConCrete MAP: Learning a Probabilistic Relaxation of Discrete Variables for Soft Estimation with Low Complexity [9.62543698736491]
  ConCrete MAP Detection (CMD)は、大きな逆線形問題に対する反復検出アルゴリズムである。 我々は、SotAと比較して、CMDが有望なパフォーマンス複雑性のトレードオフを特徴付けることを示す。 特に,CMDのソフト出力がデコーダに信頼性を持つことを示す。
  論文  参考訳（メタデータ） (2021-02-25T09:54:25Z)
• Deep Representational Similarity Learning for analyzing neural signatures in task-based fMRI dataset [81.02949933048332]
  本稿では、表現類似度分析(RSA)の深部拡張であるDRSL(Deep Representational similarity Learning)を開発する。 DRSLは、多数の被験者を持つfMRIデータセットにおける様々な認知タスク間の類似性を分析するのに適している。
  論文  参考訳（メタデータ） (2020-09-28T18:30:14Z)
• Optimization-driven Deep Reinforcement Learning for Robust Beamforming in IRS-assisted Wireless Communications [54.610318402371185]
  Intelligent Reflecting Surface (IRS)は、マルチアンテナアクセスポイント(AP)から受信機へのダウンリンク情報伝達を支援する有望な技術である。 我々は、APのアクティブビームフォーミングとIRSのパッシブビームフォーミングを共同最適化することで、APの送信電力を最小化する。 過去の経験からビームフォーミング戦略に適応できる深層強化学習(DRL)手法を提案する。
  論文  参考訳（メタデータ） (2020-05-25T01:42:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。