論文の概要: Batch Inverse-Variance Weighting: Deep Heteroscedastic Regression

• arxiv url: http://arxiv.org/abs/2107.04497v1
• Date: Fri, 9 Jul 2021 15:39:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-12 14:01:22.008736
• Title: Batch Inverse-Variance Weighting: Deep Heteroscedastic Regression
• Title（参考訳）: Batch Inverse-Variance Weighting: Deep Heteroscedastic Regression
• Authors: Vincent Mai, Waleed Khamies, Liam Paull
• Abstract要約: Batch Inverse-Varianceは,実地に近い真理サンプルに対して頑健で,効果的な学習率の制御が可能な損失関数である。 実験の結果、BIVは2つのノイズデータセット上でのネットワークの性能を大幅に改善することがわかった。
• 参考スコア（独自算出の注目度）: 12.415463205960156
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Heteroscedastic regression is the task of supervised learning where each label is subject to noise from a different distribution. This noise can be caused by the labelling process, and impacts negatively the performance of the learning algorithm as it violates the i.i.d. assumptions. In many situations however, the labelling process is able to estimate the variance of such distribution for each label, which can be used as an additional information to mitigate this impact. We adapt an inverse-variance weighted mean square error, based on the Gauss-Markov theorem, for parameter optimization on neural networks. We introduce Batch Inverse-Variance, a loss function which is robust to near-ground truth samples, and allows to control the effective learning rate. Our experimental results show that BIV improves significantly the performance of the networks on two noisy datasets, compared to L2 loss, inverse-variance weighting, as well as a filtering-based baseline.
• Abstract（参考訳）: ヘテロセダスティック回帰(Heteroscedastic regression)は、各ラベルが異なる分布からノイズを受ける教師あり学習のタスクである。 このノイズはラベル付けプロセスによって引き起こされ、i.i.dに反する学習アルゴリズムの性能に悪影響を及ぼす。 仮定だ しかし、多くの状況において、ラベル付けプロセスはラベルごとにそのような分布のばらつきを推定することができ、この影響を軽減するために追加情報として使用できる。 ニューラルネットワークのパラメータ最適化にガウス・マルコフの定理に基づく逆分散重み付き平均二乗誤差を適用する。 近地真理サンプルに頑健な損失関数であるバッチ逆分散を導入し,効果的な学習率の制御を可能にする。 実験の結果,L2損失,逆分散重み付け,フィルタベースラインに比べて,BIVは2つのノイズデータセット上でのネットワーク性能を著しく向上することがわかった。

関連論文リスト

• Improving Distribution Alignment with Diversity-based Sampling [0.0]
  ドメインシフトは機械学習においてユビキタスであり、実際のデータにデプロイすると、モデルのパフォーマンスが大幅に低下する可能性がある。 本稿では,各サンプル小バッチの多様性を誘導することにより,これらの推定値を改善することを提案する。 同時にデータのバランスを保ち、勾配のばらつきを低減し、それによってモデルの一般化能力を高める。
  論文  参考訳（メタデータ） (2024-10-05T17:26:03Z)
• Doubly Stochastic Models: Learning with Unbiased Label Noises and Inference Stability [85.1044381834036]
  勾配降下のミニバッチサンプリング設定におけるラベル雑音の暗黙的正則化効果について検討した。 そのような暗黙的正則化器は、パラメータの摂動に対してモデル出力を安定化できる収束点を好んでいる。 我々の研究は、SGDをオルンシュタイン-ウレンベック類似の過程とはみなせず、近似の収束によってより一般的な結果を得る。
  論文  参考訳（メタデータ） (2023-04-01T14:09:07Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• On Robust Learning from Noisy Labels: A Permutation Layer Approach [53.798757734297986]
  本稿では、深層ニューラルネットワーク(DNN)のトレーニング過程を動的に校正するPermLLと呼ばれる置換層学習手法を提案する。 本稿では,PermLLの2つの変種について述べる。一方はモデルの予測に置換層を適用し,他方は与えられた雑音ラベルに直接適用する。 我々はPermLLを実験的に検証し、実際のデータセットと合成データセットの両方で最先端のパフォーマンスを実現することを示す。
  論文  参考訳（メタデータ） (2022-11-29T03:01:48Z)
• Noise-Robust Bidirectional Learning with Dynamic Sample Reweighting [28.493837430606117]
  標準のクロスエントロピー損失でトレーニングされたディープニューラルネットワークは、ノイズの多いラベルの傾向が強い。 相補ラベルを用いた負の学習は、ノイズラベルが介入する場合はより堅牢であるが、非常に遅いモデル収束速度を持つ。 本稿では、まず、正の学習が収束速度を保証し、負の学習がラベルノイズに頑健に対処する双方向学習方式を提案する。
  論文  参考訳（メタデータ） (2022-09-03T06:00:31Z)
• Do We Need to Penalize Variance of Losses for Learning with Label Noise? [91.38888889609002]
  ノイズラベルを用いた学習では,差分を増大させる必要がある。 ラベルノイズ遷移行列を利用することで、正規化器は損失の分散を低減することができる。 実験的に,損失の分散を増大させることにより,合成データセットと実世界のデータセットのベースラインの一般化能力を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-01-30T06:19:08Z)
• Sample Efficient Deep Reinforcement Learning via Uncertainty Estimation [12.415463205960156]
  モデルフリー深部強化学習(RL)アルゴリズムでは、ノイズ値推定を用いて政策評価と最適化を監督し、サンプル効率を損なう。 RLで発生するノイズ管理における不確実性の原因を系統的に分析する。 本稿では,2つの相補的不確実性推定手法がQ値と環境の両方を考慮し,ノイズ管理の負の影響を緩和する手法を提案する。
  論文  参考訳（メタデータ） (2022-01-05T15:46:06Z)
• Learning Noise Transition Matrix from Only Noisy Labels via Total Variation Regularization [88.91872713134342]
  本稿では,雑音遷移行列を推定し,同時に分類器を学習する理論的基礎付け手法を提案する。 提案手法の有効性を,ベンチマークおよび実世界のデータセットを用いた実験により示す。
  論文  参考訳（メタデータ） (2021-02-04T05:09:18Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。