論文の概要: On the dice loss gradient and the ways to mimic it

• arxiv url: http://arxiv.org/abs/2304.04319v1
• Date: Sun, 9 Apr 2023 21:25:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-11 16:24:54.419990
• Title: On the dice loss gradient and the ways to mimic it
• Title（参考訳）: ダイス損失勾配とそれを模倣する方法について
• Authors: Hoel Kervadec, Marleen de Bruijne
• Abstract要約: ディス損失は、人気のあるディス係数の緩和から生じる興味深いケースである。 我々はまず, サイコロ損失の勾配を理論的に研究し, 具体的には基底真理の重み付き負の値であることを示した。 次に,ネットワーク出力の簡単な要素ワイド乗算により,ダイス損失の監視を模倣する。
• 参考スコア（独自算出の注目度）: 7.784809501914448
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the past few years, in the context of fully-supervised semantic segmentation, several losses -- such as cross-entropy and dice -- have emerged as de facto standards to supervise neural networks. The Dice loss is an interesting case, as it comes from the relaxation of the popular Dice coefficient; one of the main evaluation metric in medical imaging applications. In this paper, we first study theoretically the gradient of the dice loss, showing that concretely it is a weighted negative of the ground truth, with a very small dynamic range. This enables us, in the second part of this paper, to mimic the supervision of the dice loss, through a simple element-wise multiplication of the network output with a negative of the ground truth. This rather surprising result sheds light on the practical supervision performed by the dice loss during gradient descent. This can help the practitioner to understand and interpret results while guiding researchers when designing new losses.
• Abstract（参考訳）: 完全に教師されたセマンティックセグメンテーションの文脈では、ニューラルネットワークを監督するデファクトスタンダードとして、クロスエントロピーやサイコロのようないくつかの損失が生まれている。 diceの損失は、一般的なdice係数の緩和に起因する興味深いケースである。 本稿では,まず,ダイス損失の勾配を理論的に検討し,特に地上の真理の重み付けされた負の値であり,非常に小さなダイナミックレンジであることを示す。 これにより、本論文の第2部では、基底真理の負のネットワーク出力の単純な要素的乗算により、ダイス損失の監督を模倣することができる。 このかなり驚くべき結果は、勾配降下時のサイコロ損失によって実行される実践的な監督に光を当てる。 これは、新しい損失を設計する際に研究者を指導しながら結果を理解し、解釈するのに役立ちます。

関連論文リスト

• SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
  大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。 本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
  論文  参考訳（メタデータ） (2024-07-23T20:34:23Z)
• Contour-weighted loss for class-imbalanced image segmentation [2.183832403223894]
  画像のセグメンテーションは、ほとんど全ての医療画像解析において、自動解釈と処理において極めて重要である。 クラス内とクラス間のデータ不均衡のため、イメージセグメンテーションを実行することはしばしば困難である。 本稿では,コンパクトで効果的な輪郭重み付き損失関数を用いた新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-07T07:43:52Z)
• A Unified Generalization Analysis of Re-Weighting and Logit-Adjustment for Imbalanced Learning [129.63326990812234]
  そこで本研究では,データ依存型コンダクタンス(Data-dependent contraction)と呼ばれる手法を提案する。 この技術に加えて、不均衡学習のための微粒な一般化境界が確立され、再重み付けとロジット調整の謎を明らかにするのに役立つ。
  論文  参考訳（メタデータ） (2023-10-07T09:15:08Z)
• Robust T-Loss for Medical Image Segmentation [56.524774292536264]
  本稿では,医用画像分割のための新しいロバストな損失関数T-Lossを提案する。 提案した損失は、Student-t分布の負のログ類似度に基づいており、データ内の外れ値の処理を効果的に行うことができる。 実験の結果,T-Lossは2つの医療データセットのダイススコアにおいて従来の損失関数よりも優れていた。
  論文  参考訳（メタデータ） (2023-06-01T14:49:40Z)
• Theoretical Characterization of How Neural Network Pruning Affects its Generalization [131.1347309639727]
  この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。 プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。 より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
  論文  参考訳（メタデータ） (2023-01-01T03:10:45Z)
• The Equalization Losses: Gradient-Driven Training for Long-tailed Object Recognition [84.51875325962061]
  本稿では,長距離問題に対処するための勾配駆動型学習機構を提案する。 我々は、勾配駆動損失関数の新たなファミリー、すなわち等化損失を導入する。 我々の手法は一貫してベースラインモデルより優れています。
  論文  参考訳（メタデータ） (2022-10-11T16:00:36Z)
• Contour Dice loss for structures with Fuzzy and Complex Boundaries in Fetal MRI [2.6097841018267616]
  本稿では、Contour Dice 計量に類似した損失の新しい定式化について述べる。 胎児脳のセグメンテーションでは、DiceとCross-Entropyが併用され、DiceとContour Diceが併用された。
  論文  参考訳（メタデータ） (2022-09-25T14:23:13Z)
• Sharp Learning Bounds for Contrastive Unsupervised Representation Learning [4.017760528208122]
  本研究は, 負のサンプルサイズにおいて, 厳密なインターセプトに縛られた下流の分類損失を確定する。 下流損失推定器としての対照的な損失について、我々の理論は既存の学習限界を大幅に改善する。 我々は、我々の理論が合成、視覚、言語データセットに関する実験と一致していることを検証する。
  論文  参考訳（メタデータ） (2021-10-06T04:29:39Z)
• Implicit bias of deep linear networks in the large learning rate phase [15.846533303963229]
  大規模学習率体系におけるロジスティック損失を用いた二項分類のための深い線形ネットワークの暗黙バイアス効果を特徴付ける。 データの分離条件により、勾配降下反復はカタパルト相においてより平坦な最小値に収束すると主張する。
  論文  参考訳（メタデータ） (2020-11-25T06:50:30Z)
• Vulnerability Under Adversarial Machine Learning: Bias or Variance? [77.30759061082085]
  本研究では,機械学習が訓練された深層ニューラルネットワークのバイアスと分散に与える影響について検討する。 我々の分析は、ディープニューラルネットワークが対向的摂動下で性能が劣っている理由に光を当てている。 本稿では,計算処理の複雑さをよく知られた機械学習手法よりも低く抑えた,新しい逆機械学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-08-01T00:58:54Z)
• The Implicit and Explicit Regularization Effects of Dropout [43.431343291010734]
  ドロップアウト(英: Dropout)は、多くのアーキテクチャの最先端を得るためにしばしば必要とされる、広く使われている正規化技術である。 この研究は、ドロップアウトが2つの異なるが絡み合った正規化効果をもたらすことを示した。
  論文  参考訳（メタデータ） (2020-02-28T18:31:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。