論文の概要: Generalized Jensen-Shannon Divergence Loss for Learning with Noisy Labels

• arxiv url: http://arxiv.org/abs/2105.04522v1
• Date: Mon, 10 May 2021 17:19:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-11 15:23:08.246620
• Title: Generalized Jensen-Shannon Divergence Loss for Learning with Noisy Labels
• Title（参考訳）: 雑音ラベル学習のための一般化jensen-shannon divergence loss
• Authors: Erik Englesson, Hossein Azizpour
• Abstract要約: ラベルノイズ下で学習するためのJensen-Shannon発散に基づく2つの新しい損失関数を提案する。 合成ノイズ(CIFAR)と実雑音(WebVision)の両方を用いて広範かつ系統的な実験を行う。
• 参考スコア（独自算出の注目度）: 4.340338299803562
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose two novel loss functions based on Jensen-Shannon divergence for learning under label noise. Following the work of Ghosh et al. (2017), we argue about their theoretical robustness. Furthermore, we reveal several other desirable properties by drawing informative connections to various loss functions, e.g., cross entropy, mean absolute error, generalized cross entropy, symmetric cross entropy, label smoothing, and most importantly consistency regularization. We conduct extensive and systematic experiments using both synthetic (CIFAR) and real (WebVision) noise and demonstrate significant and consistent improvements over other loss functions. Also, we conduct several informative side experiments that highlight the different theoretical properties.
• Abstract（参考訳）: ラベル雑音下での学習のためのjensen-shannon divergenceに基づく2つの新しい損失関数を提案する。 Ghoshらの業績に倣った。 (2017) 理論的ロバスト性について議論する。 さらに, クロスエントロピー, 平均絶対誤差, 一般化クロスエントロピー, 対称クロスエントロピー, ラベルの平滑化, および最も重要な整合正則化など, 様々な損失関数に対する情報的接続を描くことで, その他の望ましい性質を明らかにする。 合成(CIFAR)と実(WebVision)の両方のノイズを用いて広範かつ系統的な実験を行い、他の損失関数よりも顕著で一貫した改善を示す。 また, 異なる理論特性を強調する有益な側面実験を複数実施した。

関連論文リスト

• Straightness of Rectified Flow: A Theoretical Insight into Wasserstein Convergence [54.580605276017096]
  Rectified Flow (RF) は、一連の凸最適化問題を用いて、ノイズからデータへの直流軌跡の学習を目的としている。 RFは理論上、連続的な修正を通じて軌道を直線化し、サンプリング中の評価関数(NFE)の数を減少させる。 RFのサンプリング分布とターゲット分布とのワッサーシュタイン距離に関する最初の理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-19T02:36:11Z)
• Towards stable real-world equation discovery with assessing differentiating quality influence [52.2980614912553]
  一般的に用いられる有限差分法に代わる方法を提案する。 我々は,これらの手法を実問題と類似した問題に適用可能であること,および方程式発見アルゴリズムの収束性を確保する能力の観点から評価する。
  論文  参考訳（メタデータ） (2023-11-09T23:32:06Z)
• Learning Stochastic Dynamical Systems as an Implicit Regularization with Graph Neural Networks [5.374505641331418]
  ガムベルグラフネットワークは高次元時系列を学習するために提案されている。 S-GGNsは,最先端ネットワークと比較して,収束性,堅牢性,一般化性が優れていることを示す。
  論文  参考訳（メタデータ） (2023-07-12T11:38:34Z)
• Marginal Thresholding in Noisy Image Segmentation [3.609538870261841]
  損失関数に対する最適解は、ノイズのレベルが増加するにつれて、ソフトディースとクロスエントロピーが分岐する。 これにより, クロスエントロピーをソフトディスと比較した場合のパフォーマンス低下は, 間違ったしきい値を用いることによって引き起こされるのかという疑問が持ち上がる。
  論文  参考訳（メタデータ） (2023-04-08T22:27:36Z)
• Doubly Stochastic Models: Learning with Unbiased Label Noises and Inference Stability [85.1044381834036]
  勾配降下のミニバッチサンプリング設定におけるラベル雑音の暗黙的正則化効果について検討した。 そのような暗黙的正則化器は、パラメータの摂動に対してモデル出力を安定化できる収束点を好んでいる。 我々の研究は、SGDをオルンシュタイン-ウレンベック類似の過程とはみなせず、近似の収束によってより一般的な結果を得る。
  論文  参考訳（メタデータ） (2023-04-01T14:09:07Z)
• A Theoretical Understanding of Shallow Vision Transformers: Learning, Generalization, and Sample Complexity [71.11795737362459]
  自己注意モジュールを持つViTは、最近多くのタスクで経験的な成功を収めた。 しかし、理論学習の一般化分析は、ほとんどノイズが多く、解答的である。 本稿では,分類タスクのための浅いViTの理論的解析を行った。
  論文  参考訳（メタデータ） (2023-02-12T22:12:35Z)
• Implicit vs Unfolded Graph Neural Networks [18.084842625063082]
  グラフニューラルネットワーク(GNN)は、長期依存のモデリングと意図しない結果の回避の間の健全なバランスを維持するのに苦労することがある。 最近、2つの戦略、すなわち暗黙と展開されたGNNが提案されている。 我々は、様々な合成および公的な実世界のベンチマークに対して、実験的な頭と頭の比較を行う。
  論文  参考訳（メタデータ） (2021-11-12T07:49:16Z)
• A Unified View of Stochastic Hamiltonian Sampling [18.300078015845262]
  この研究は、後続サンプリングのためのハミルトン微分方程式(SDE)の理論的性質を再考する。 数値SDEシミュレーションから生じる2種類の誤差について検討し, 離散化誤差と雑音勾配推定による誤差について検討した。
  論文  参考訳（メタデータ） (2021-06-30T16:50:11Z)
• Asymmetric Loss Functions for Learning with Noisy Labels [82.50250230688388]
  そこで本研究では,様々なノイズに対する雑音ラベルによる学習に頑健な,新しい損失関数,すなわちテクスティタ対称損失関数を提案する。 ベンチマークデータセットの実験結果は、非対称損失関数が最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2021-06-06T12:52:48Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。