論文の概要: Exploring the Learning Difficulty of Data Theory and Measure

• arxiv url: http://arxiv.org/abs/2205.07427v1
• Date: Mon, 16 May 2022 02:28:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-18 01:25:02.024580
• Title: Exploring the Learning Difficulty of Data Theory and Measure
• Title（参考訳）: データ理論と測度の学習難しさを探る
• Authors: Weiyao Zhu, Ou Wu, Fengguang Su, and Yingjun Deng
• Abstract要約: 本研究は,サンプルの学習難易度に関するパイロット理論的研究を試みている。 一般化誤差に関するバイアス分散トレードオフ理論に基づいて,学習難易度の理論的定義を提案する。 機械学習における古典的な重み付け法は、探索された性質からよく説明できる。
• 参考スコア（独自算出の注目度）: 2.668651175000491
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As learning difficulty is crucial for machine learning (e.g., difficulty-based weighting learning strategies), previous literature has proposed a number of learning difficulty measures. However, no comprehensive investigation for learning difficulty is available to date, resulting in that nearly all existing measures are heuristically defined without a rigorous theoretical foundation. In addition, there is no formal definition of easy and hard samples even though they are crucial in many studies. This study attempts to conduct a pilot theoretical study for learning difficulty of samples. First, a theoretical definition of learning difficulty is proposed on the basis of the bias-variance trade-off theory on generalization error. Theoretical definitions of easy and hard samples are established on the basis of the proposed definition. A practical measure of learning difficulty is given as well inspired by the formal definition. Second, the properties for learning difficulty-based weighting strategies are explored. Subsequently, several classical weighting methods in machine learning can be well explained on account of explored properties. Third, the proposed measure is evaluated to verify its reasonability and superiority in terms of several main difficulty factors. The comparison in these experiments indicates that the proposed measure significantly outperforms the other measures throughout the experiments.
• Abstract（参考訳）: 機械学習には学習難易度が不可欠であり(例えば、学習難易度に基づく重み付け学習戦略)、従来の文献では多くの学習難易度尺度が提案されている。 しかし、今日まで学習困難に関する包括的な調査は行われておらず、既存のほとんどすべての測度は厳密な理論的基礎なしでヒューリスティックに定義されている。 加えて、多くの研究において重要であるにもかかわらず、簡単で硬いサンプルの正式な定義はない。 本研究は, サンプルの学習困難に対するパイロット理論的研究を試みている。 まず,一般化誤差に対するバイアス分散トレードオフ理論に基づいて,学習難易度の理論定義を提案する。 提案した定義に基づいて, 容易かつ硬いサンプルの理論的定義を確立する。 学習難易度の実際的な尺度は、形式的な定義にもインスパイアされている。 次に,難易度に基づく重み付け戦略を学ぶための特性について考察する。 その後、機械学習における古典的な重み付け法は、探索された性質からよく説明できる。 第3に,提案手法は,いくつかの難易度因子の観点から,その推論可能性と優越性を検証するために評価されている。 これらの実験の比較は,提案手法が実験全体の他の尺度を大きく上回ることを示している。

関連論文リスト

• Towards Understanding the Feasibility of Machine Unlearning [14.177012256360635]
  未学習の難易度を定量化するための新しい指標のセットを提案する。 具体的には,学習を成功させるのに必要な条件を評価するために,いくつかの指標を提案する。 また、最も難解なサンプルを特定するためのランキング機構も提示する。
  論文  参考訳（メタデータ） (2024-10-03T23:41:42Z)
• A Unified Generalization Analysis of Re-Weighting and Logit-Adjustment for Imbalanced Learning [129.63326990812234]
  そこで本研究では,データ依存型コンダクタンス(Data-dependent contraction)と呼ばれる手法を提案する。 この技術に加えて、不均衡学習のための微粒な一般化境界が確立され、再重み付けとロジット調整の謎を明らかにするのに役立つ。
  論文  参考訳（メタデータ） (2023-10-07T09:15:08Z)
• Understanding Difficulty-based Sample Weighting with a Universal Difficulty Measure [2.7413469516930578]
  多くの重み付け手法は、基本的にトレーニングサンプルの学習困難を利用して重みを計算する。 サンプルの学習困難度は、ノイズレベル、不均衡度、マージン、不確実性を含む複数の要因によって決定される。 本研究では,サンプルの一般化誤差を普遍的難易度尺度として用いることができることを理論的に証明する。
  論文  参考訳（メタデータ） (2023-01-12T07:28:32Z)
• Difficulty-Net: Learning to Predict Difficulty for Long-Tailed Recognition [5.977483447975081]
  メタラーニングフレームワークにおいて,モデルの性能を用いてクラスの難易度を予測することを学習するDifficulty-Netを提案する。 本稿では,相対的難易度と運転者損失という2つの重要な概念を紹介する。 提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2022-09-07T07:04:08Z)
• What Makes Good Contrastive Learning on Small-Scale Wearable-based Tasks? [59.51457877578138]
  本研究では,ウェアラブル型行動認識タスクにおけるコントラスト学習について検討する。 本稿では,PyTorchライブラリのtextttCL-HAR について述べる。
  論文  参考訳（メタデータ） (2022-02-12T06:10:15Z)
• Which Samples Should be Learned First: Easy or Hard? [5.589137389571604]
  トレーニングサンプルの重み付けは 学習作業に不可欠です。 サンプルでは簡単なファーストモードを取るスキームもあるが、ハードファーストモードを取るスキームもある。 先行知識やデータ特性を含む要因は、学習タスクで最初に学習すべきサンプルを決定する。
  論文  参考訳（メタデータ） (2021-10-11T03:40:29Z)
• Demystification of Few-shot and One-shot Learning [63.58514532659252]
  近年,単発学習や単発学習が活発かつ集中的な研究の対象となっている。 学習機械の環境的あるいは潜在的な決定空間が、この空間にある大きな種類の物体よりも十分に高次元であれば、いくつかの例から容易に学習できることを示す。
  論文  参考訳（メタデータ） (2021-04-25T14:47:05Z)
• Constrained Learning with Non-Convex Losses [119.8736858597118]
  学習は現代の情報処理の中核技術になっているが、バイアス、安全でない、偏見のあるソリューションにつながるという証拠はたくさんある。
  論文  参考訳（メタデータ） (2021-03-08T23:10:33Z)
• Nonparametric Estimation of Heterogeneous Treatment Effects: From Theory to Learning Algorithms [91.3755431537592]
  プラグイン推定と擬似出力回帰に依存する4つの幅広いメタ学習戦略を解析する。 この理論的推論を用いて、アルゴリズム設計の原則を導出し、分析を実践に翻訳する方法について強調する。
  論文  参考訳（メタデータ） (2021-01-26T17:11:40Z)
• Probably Approximately Correct Constrained Learning [135.48447120228658]
  我々は、ほぼ正しい学習フレームワーク(PAC)に基づく一般化理論を開発する。 PAC学習可能なクラスも制約のある学習者であるという意味では,学習者の導入は学習問題を難しくするものではないことを示す。 このソリューションの特性を分析し,制約付き学習が公平でロバストな分類における問題にどのように対処できるかを説明する。
  論文  参考訳（メタデータ） (2020-06-09T19:59:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。