論文の概要: Understanding Difficulty-based Sample Weighting with a Universal
Difficulty Measure
- arxiv url: http://arxiv.org/abs/2301.04850v1
- Date: Thu, 12 Jan 2023 07:28:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-13 13:52:53.462340
- Title: Understanding Difficulty-based Sample Weighting with a Universal
Difficulty Measure
- Title(参考訳): 難易度測定による難易度に基づくサンプル重み付けの理解
- Authors: Xiaoling Zhou, Ou Wu, Weiyao Zhu, Ziyang Liang
- Abstract要約: 多くの重み付け手法は、基本的にトレーニングサンプルの学習困難を利用して重みを計算する。
サンプルの学習困難度は、ノイズレベル、不均衡度、マージン、不確実性を含む複数の要因によって決定される。
本研究では,サンプルの一般化誤差を普遍的難易度尺度として用いることができることを理論的に証明する。
- 参考スコア(独自算出の注目度): 2.7413469516930578
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sample weighting is widely used in deep learning. A large number of weighting
methods essentially utilize the learning difficulty of training samples to
calculate their weights. In this study, this scheme is called difficulty-based
weighting. Two important issues arise when explaining this scheme. First, a
unified difficulty measure that can be theoretically guaranteed for training
samples does not exist. The learning difficulties of the samples are determined
by multiple factors including noise level, imbalance degree, margin, and
uncertainty. Nevertheless, existing measures only consider a single factor or
in part, but not in their entirety. Second, a comprehensive theoretical
explanation is lacking with respect to demonstrating why difficulty-based
weighting schemes are effective in deep learning. In this study, we
theoretically prove that the generalization error of a sample can be used as a
universal difficulty measure. Furthermore, we provide formal theoretical
justifications on the role of difficulty-based weighting for deep learning,
consequently revealing its positive influences on both the optimization
dynamics and generalization performance of deep models, which is instructive to
existing weighting schemes.
- Abstract(参考訳): サンプル重み付けはディープラーニングで広く使われている。
多くの重み付け手法は、基本的にトレーニングサンプルの学習困難を利用して重みを計算する。
本研究では、このスキームを困難に基づく重み付けと呼ぶ。
このスキームを説明する際に2つの重要な問題が生じる。
第一に、トレーニングサンプルに対して理論的に保証できる統一された難易度尺度は存在しない。
サンプルの学習困難度は、ノイズレベル、不均衡度、マージン、不確実性を含む複数の要因によって決定される。
それにもかかわらず、既存の措置は単一の要因または一部しか考慮していないが、その全体においては考慮されていない。
第2に,難易度に基づく重み付け方式が深層学習に有効であることを示す上で,包括的な理論的説明が欠如している。
本研究では,サンプルの一般化誤差を普遍的難易度尺度として利用できることを理論的に証明する。
さらに,深層学習における難易度に基づく重み付けの役割に関する形式的理論的正当化を行い,既存の重み付けスキームを指導する深層モデルの最適化ダイナミクスと一般化性能の両方に正の影響を明らかにした。
関連論文リスト
- Debias the Training of Diffusion Models [53.49637348771626]
本研究では,拡散モデルにおいて一定の損失重み戦略を用いることで,トレーニング期間中に偏りが生じるという理論的証拠を提供する。
理論的に偏りのない原理に基づくエレガントで効果的な重み付け戦略を提案する。
これらの分析は、拡散モデルの内部動作の理解とデミステレーションを促進することが期待されている。
論文 参考訳(メタデータ) (2023-10-12T16:04:41Z) - A Unified Generalization Analysis of Re-Weighting and Logit-Adjustment
for Imbalanced Learning [129.63326990812234]
そこで本研究では,データ依存型コンダクタンス(Data-dependent contraction)と呼ばれる手法を提案する。
この技術に加えて、不均衡学習のための微粒な一般化境界が確立され、再重み付けとロジット調整の謎を明らかにするのに役立つ。
論文 参考訳(メタデータ) (2023-10-07T09:15:08Z) - Pruning Small Pre-Trained Weights Irreversibly and Monotonically Impairs
"Difficult" Downstream Tasks in LLMs [71.56345106591789]
大型言語モデル(LLM)の重みには、かなりの冗長性が含まれていると信じられている。
本稿では,下流の難題に対処する上で必要となる重要な知識を包含する,事前訓練されたモデル重みの小さなマグニチュード重みについて述べる。
論文 参考訳(メタデータ) (2023-09-29T22:55:06Z) - Exploring Weight Balancing on Long-Tailed Recognition Problem [37.820617032391404]
トレーニング段階ごとの神経崩壊とコーン効果に着目して重量バランスを解析した。
本分析により, トレーニング段階数を1に減らし, 精度を向上し, トレーニング手法をさらに単純化することができる。
論文 参考訳(メタデータ) (2023-05-26T01:45:19Z) - Prototype-Anchored Learning for Learning with Imperfect Annotations [83.7763875464011]
不完全な注釈付きデータセットからバイアスのない分類モデルを学ぶことは困難である。
本稿では,様々な学習に基づく分類手法に容易に組み込むことができるプロトタイプ・アンコレッド学習法を提案する。
我々は,PALがクラス不均衡学習および耐雑音学習に与える影響を,合成および実世界のデータセットに関する広範な実験により検証した。
論文 参考訳(メタデータ) (2022-06-23T10:25:37Z) - Exploring the Learning Difficulty of Data Theory and Measure [2.668651175000491]
本研究は,サンプルの学習難易度に関するパイロット理論的研究を試みている。
一般化誤差に関するバイアス分散トレードオフ理論に基づいて,学習難易度の理論的定義を提案する。
機械学習における古典的な重み付け法は、探索された性質からよく説明できる。
論文 参考訳(メタデータ) (2022-05-16T02:28:12Z) - CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep
Learning [55.733193075728096]
現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。
サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。
本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
論文 参考訳(メタデータ) (2022-02-11T13:49:51Z) - On the Impact of Hard Adversarial Instances on Overfitting in
Adversarial Training [72.95029777394186]
敵の訓練は、敵の攻撃に対してモデルを強固にするための一般的な方法である。
トレーニングインスタンスの観点から,この現象を考察する。
逆行訓練における一般化性能の低下は, 強行訓練に適合するモデルが試みた結果であることを示す。
論文 参考訳(メタデータ) (2021-12-14T12:19:24Z) - Which Samples Should be Learned First: Easy or Hard? [5.589137389571604]
トレーニングサンプルの重み付けは 学習作業に不可欠です。
サンプルでは簡単なファーストモードを取るスキームもあるが、ハードファーストモードを取るスキームもある。
先行知識やデータ特性を含む要因は、学習タスクで最初に学習すべきサンプルを決定する。
論文 参考訳(メタデータ) (2021-10-11T03:40:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。