論文の概要: Understanding Difficulty-based Sample Weighting with a Universal Difficulty Measure

• arxiv url: http://arxiv.org/abs/2301.04850v1
• Date: Thu, 12 Jan 2023 07:28:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-13 13:52:53.462340
• Title: Understanding Difficulty-based Sample Weighting with a Universal Difficulty Measure
• Title（参考訳）: 難易度測定による難易度に基づくサンプル重み付けの理解
• Authors: Xiaoling Zhou, Ou Wu, Weiyao Zhu, Ziyang Liang
• Abstract要約: 多くの重み付け手法は、基本的にトレーニングサンプルの学習困難を利用して重みを計算する。 サンプルの学習困難度は、ノイズレベル、不均衡度、マージン、不確実性を含む複数の要因によって決定される。 本研究では,サンプルの一般化誤差を普遍的難易度尺度として用いることができることを理論的に証明する。
• 参考スコア（独自算出の注目度）: 2.7413469516930578
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sample weighting is widely used in deep learning. A large number of weighting methods essentially utilize the learning difficulty of training samples to calculate their weights. In this study, this scheme is called difficulty-based weighting. Two important issues arise when explaining this scheme. First, a unified difficulty measure that can be theoretically guaranteed for training samples does not exist. The learning difficulties of the samples are determined by multiple factors including noise level, imbalance degree, margin, and uncertainty. Nevertheless, existing measures only consider a single factor or in part, but not in their entirety. Second, a comprehensive theoretical explanation is lacking with respect to demonstrating why difficulty-based weighting schemes are effective in deep learning. In this study, we theoretically prove that the generalization error of a sample can be used as a universal difficulty measure. Furthermore, we provide formal theoretical justifications on the role of difficulty-based weighting for deep learning, consequently revealing its positive influences on both the optimization dynamics and generalization performance of deep models, which is instructive to existing weighting schemes.
• Abstract（参考訳）: サンプル重み付けはディープラーニングで広く使われている。 多くの重み付け手法は、基本的にトレーニングサンプルの学習困難を利用して重みを計算する。 本研究では、このスキームを困難に基づく重み付けと呼ぶ。 このスキームを説明する際に2つの重要な問題が生じる。 第一に、トレーニングサンプルに対して理論的に保証できる統一された難易度尺度は存在しない。 サンプルの学習困難度は、ノイズレベル、不均衡度、マージン、不確実性を含む複数の要因によって決定される。 それにもかかわらず、既存の措置は単一の要因または一部しか考慮していないが、その全体においては考慮されていない。 第2に,難易度に基づく重み付け方式が深層学習に有効であることを示す上で,包括的な理論的説明が欠如している。 本研究では,サンプルの一般化誤差を普遍的難易度尺度として利用できることを理論的に証明する。 さらに,深層学習における難易度に基づく重み付けの役割に関する形式的理論的正当化を行い,既存の重み付けスキームを指導する深層モデルの最適化ダイナミクスと一般化性能の両方に正の影響を明らかにした。

関連論文リスト

• Few measurement shots challenge generalization in learning to classify entanglement [0.0]
  本稿では,古典的機械学習手法を量子アルゴリズムと組み合わせたハイブリッド量子学習技術に焦点を当てる。 いくつかの設定では、いくつかの測定ショットから生じる不確実性がエラーの主な原因であることを示す。 従来の影をベースとした推定器を導入し,その性能を向上する。
  論文  参考訳（メタデータ） (2024-11-10T21:20:21Z)
• A Unified Generalization Analysis of Re-Weighting and Logit-Adjustment for Imbalanced Learning [129.63326990812234]
  そこで本研究では,データ依存型コンダクタンス(Data-dependent contraction)と呼ばれる手法を提案する。 この技術に加えて、不均衡学習のための微粒な一般化境界が確立され、再重み付けとロジット調整の謎を明らかにするのに役立つ。
  論文  参考訳（メタデータ） (2023-10-07T09:15:08Z)
• Pruning Small Pre-Trained Weights Irreversibly and Monotonically Impairs "Difficult" Downstream Tasks in LLMs [71.56345106591789]
  大型言語モデル(LLM)の重みには、かなりの冗長性が含まれていると信じられている。 本稿では,下流の難題に対処する上で必要となる重要な知識を包含する,事前訓練されたモデル重みの小さなマグニチュード重みについて述べる。
  論文  参考訳（メタデータ） (2023-09-29T22:55:06Z)
• Prototype-Anchored Learning for Learning with Imperfect Annotations [83.7763875464011]
  不完全な注釈付きデータセットからバイアスのない分類モデルを学ぶことは困難である。 本稿では,様々な学習に基づく分類手法に容易に組み込むことができるプロトタイプ・アンコレッド学習法を提案する。 我々は,PALがクラス不均衡学習および耐雑音学習に与える影響を,合成および実世界のデータセットに関する広範な実験により検証した。
  論文  参考訳（メタデータ） (2022-06-23T10:25:37Z)
• Exploring the Learning Difficulty of Data Theory and Measure [2.668651175000491]
  本研究は,サンプルの学習難易度に関するパイロット理論的研究を試みている。 一般化誤差に関するバイアス分散トレードオフ理論に基づいて,学習難易度の理論的定義を提案する。 機械学習における古典的な重み付け法は、探索された性質からよく説明できる。
  論文  参考訳（メタデータ） (2022-05-16T02:28:12Z)
• CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
  現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。 サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。 本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
  論文  参考訳（メタデータ） (2022-02-11T13:49:51Z)
• On the Impact of Hard Adversarial Instances on Overfitting in Adversarial Training [72.95029777394186]
  敵の訓練は、敵の攻撃に対してモデルを強固にするための一般的な方法である。 トレーニングインスタンスの観点から,この現象を考察する。 逆行訓練における一般化性能の低下は, 強行訓練に適合するモデルが試みた結果であることを示す。
  論文  参考訳（メタデータ） (2021-12-14T12:19:24Z)
• Which Samples Should be Learned First: Easy or Hard? [5.589137389571604]
  トレーニングサンプルの重み付けは 学習作業に不可欠です。 サンプルでは簡単なファーストモードを取るスキームもあるが、ハードファーストモードを取るスキームもある。 先行知識やデータ特性を含む要因は、学習タスクで最初に学習すべきサンプルを決定する。
  論文  参考訳（メタデータ） (2021-10-11T03:40:29Z)
• Probably Approximately Correct Constrained Learning [135.48447120228658]
  我々は、ほぼ正しい学習フレームワーク(PAC)に基づく一般化理論を開発する。 PAC学習可能なクラスも制約のある学習者であるという意味では,学習者の導入は学習問題を難しくするものではないことを示す。 このソリューションの特性を分析し,制約付き学習が公平でロバストな分類における問題にどのように対処できるかを説明する。
  論文  参考訳（メタデータ） (2020-06-09T19:59:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。