論文の概要: Sample Weight Estimation Using Meta-Updates for Online Continual Learning

• arxiv url: http://arxiv.org/abs/2401.15973v1
• Date: Mon, 29 Jan 2024 09:04:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-30 15:27:18.312056
• Title: Sample Weight Estimation Using Meta-Updates for Online Continual Learning
• Title（参考訳）: オンライン連続学習のためのメタ更新を用いたサンプル重み推定
• Authors: Hamed Hemati, Damian Borth
• Abstract要約: OMSI(Online Meta-learning for Sample Importance)戦略は、オンラインCLストリームにおけるミニバッチのサンプル重量を近似する。 OMSIは、制御されたノイズラベル付きデータストリームにおける学習と保持の精度を向上させる。
• 参考スコア（独自算出の注目度）: 7.832189413179361
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The loss function plays an important role in optimizing the performance of a learning system. A crucial aspect of the loss function is the assignment of sample weights within a mini-batch during loss computation. In the context of continual learning (CL), most existing strategies uniformly treat samples when calculating the loss value, thereby assigning equal weights to each sample. While this approach can be effective in certain standard benchmarks, its optimal effectiveness, particularly in more complex scenarios, remains underexplored. This is particularly pertinent in training "in the wild," such as with self-training, where labeling is automated using a reference model. This paper introduces the Online Meta-learning for Sample Importance (OMSI) strategy that approximates sample weights for a mini-batch in an online CL stream using an inner- and meta-update mechanism. This is done by first estimating sample weight parameters for each sample in the mini-batch, then, updating the model with the adapted sample weights. We evaluate OMSI in two distinct experimental settings. First, we show that OMSI enhances both learning and retained accuracy in a controlled noisy-labeled data stream. Then, we test the strategy in three standard benchmarks and compare it with other popular replay-based strategies. This research aims to foster the ongoing exploration in the area of self-adaptive CL.
• Abstract（参考訳）: 損失関数は学習システムの性能を最適化する上で重要な役割を果たす。 損失関数の重要な側面は、損失計算中にミニバッチ内でサンプル重量を割り当てることである。 連続学習(cl)の文脈では、既存の戦略のほとんどは損失値を計算する際にサンプルを均一に扱い、各サンプルに等しい重みを割り当てる。 このアプローチは特定の標準ベンチマークで有効であるが、その最適効果、特により複雑なシナリオでは、未検討のままである。 これは特に、参照モデルを使ってラベリングを自動化するセルフトレーニングなど、"野生"のトレーニングに関係しています。 本稿では,オンラインCLストリーム中のミニバッチのサンプル重量を内部およびメタ更新機構を用いて近似するOMSI(Online Meta-learning for Sample Importance)戦略を提案する。 これは、まずミニバッチの各サンプルのサンプル重量パラメータを推定し、その後、適応されたサンプル重量でモデルを更新する。 OMSIを2つの異なる実験環境で評価した。 まず,omsiは,制御されたノイズラベルデータストリームにおいて,学習と保持の両方の精度を向上させる。 次に、戦略を3つの標準ベンチマークでテストし、他の一般的なリプレイベースの戦略と比較します。 本研究は,自己適応型CL領域における探索の促進を目的とする。

関連論文リスト

• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Learning to Select Pivotal Samples for Meta Re-weighting [12.73177872962048]
  本研究では,大規模で不完全なトレーニングセットからこのようなメタサンプルを識別する方法を学習し,その後,クリーン化し,性能を最適化するために利用する。 学習フレームワークにおける2つのクラスタリング手法,Representation-based clustering method (RBC) と Gradient-based clustering method (GBC) を提案する。
  論文  参考訳（メタデータ） (2023-02-09T03:04:40Z)
• Adaptive Distribution Calibration for Few-Shot Learning with Hierarchical Optimal Transport [78.9167477093745]
  本稿では,新しいサンプルとベースクラス間の適応重み行列を学習し,新しい分布校正法を提案する。 標準ベンチマーク実験の結果,提案したプラグ・アンド・プレイモデルの方が競合する手法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-10-09T02:32:57Z)
• Learning to Re-weight Examples with Optimal Transport for Imbalanced Classification [74.62203971625173]
  不均衡データは、ディープラーニングに基づく分類モデルに課題をもたらす。 不均衡なデータを扱うための最も広く使われているアプローチの1つは、再重み付けである。 本稿では,分布の観点からの最適輸送(OT)に基づく新しい再重み付け手法を提案する。
  論文  参考訳（メタデータ） (2022-08-05T01:23:54Z)
• CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
  現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。 サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。 本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
  論文  参考訳（メタデータ） (2022-02-11T13:49:51Z)
• Delving into Sample Loss Curve to Embrace Noisy and Imbalanced Data [17.7825114228313]
  破損したラベルとクラス不均衡は、実際に収集されたトレーニングデータでよく見られる。 既存のアプローチは、サンプルの再重み付け戦略を採用することで、これらの問題を緩和します。 しかし、ラベルが破損したサンプルと、訓練データに一般的に共存する尾のクラスは偏りがあった。
  論文  参考訳（メタデータ） (2021-12-30T09:20:07Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)
• Learning a Unified Sample Weighting Network for Object Detection [113.98404690619982]
  地域サンプリングや重み付けは、現代の地域ベースの物体検出器の成功に極めて重要である。 サンプル重み付けはデータ依存でタスク依存であるべきだと我々は主張する。 サンプルのタスク重みを予測するための統一的なサンプル重み付けネットワークを提案する。
  論文  参考訳（メタデータ） (2020-06-11T16:19:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。