論文の概要: Which Samples Should be Learned First: Easy or Hard?

• arxiv url: http://arxiv.org/abs/2110.05481v1
• Date: Mon, 11 Oct 2021 03:40:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-14 10:33:59.944222
• Title: Which Samples Should be Learned First: Easy or Hard?
• Title（参考訳）: 最初に学ぶべきサンプルは? 簡単かハードか?
• Authors: Xiaoling Zhou and Ou Wu
• Abstract要約: トレーニングサンプルの重み付けは 学習作業に不可欠です。 サンプルでは簡単なファーストモードを取るスキームもあるが、ハードファーストモードを取るスキームもある。 先行知識やデータ特性を含む要因は、学習タスクで最初に学習すべきサンプルを決定する。
• 参考スコア（独自算出の注目度）: 5.589137389571604
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An effective weighting scheme for training samples is essential for learning tasks. Numerous weighting schemes have been proposed. Some schemes take the easy-first mode on samples, whereas some others take the hard-first mode. Naturally, an interesting yet realistic question is raised. Which samples should be learned first given a new learning task, easy or hard? To answer this question, three aspects of research are carried out. First, a high-level unified weighted loss is proposed, providing a more comprehensive view for existing schemes. Theoretical analysis is subsequently conducted and preliminary conclusions are obtained. Second, a flexible weighting scheme is proposed to overcome the defects of existing schemes. The three modes, namely, easy/medium/hard-first, can be flexibly switched in the proposed scheme. Third, a wide range of experiments are conducted to further compare the weighting schemes in different modes. On the basis of these works, reasonable answers are obtained. Factors including prior knowledge and data characteristics determine which samples should be learned first in a learning task.
• Abstract（参考訳）: トレーニングサンプルの効果的な重み付け方式は、学習タスクに不可欠である。 多くの重み付けスキームが提案されている。 いくつかのスキームはサンプルのイージーファーストモードを取るが、他のスキームはハードファーストモードを取る。 当然、興味深いが現実的な疑問が提起される。 最初に学習すべきサンプルは、簡単なものか、難しいものか? この質問に答えるために、研究の3つの側面が実行される。 まず、高レベル統一重み付き損失を提案し、既存のスキームのより包括的なビューを提供する。 その後,理論解析を行い,予備的な結論を得る。 第2に,既存のスキームの欠陥を克服するためのフレキシブル重み付けスキームを提案する。 提案方式では,3モード,すなわちeasy/medium/hard-firstを柔軟に切り替えることができる。 第3に、異なるモードにおける重み付けスキームを更に比較するために、幅広い実験が行われた。 これらの研究に基づいて、合理的な答えが得られる。 先行知識やデータ特性を含む要因は、学習タスクで最初に学習すべきサンプルを決定する。

関連論文リスト

• Preview-based Category Contrastive Learning for Knowledge Distillation [53.551002781828146]
  知識蒸留(PCKD)のための新しい予見型カテゴリーコントラスト学習法を提案する。 まず、インスタンスレベルの特徴対応と、インスタンスの特徴とカテゴリ中心の関係の両方の構造的知識を蒸留する。 カテゴリ表現を明示的に最適化し、インスタンスとカテゴリの表現を明確に関連付けることができる。
  論文  参考訳（メタデータ） (2024-10-18T03:31:00Z)
• Machine Unlearning in Forgettability Sequence [22.497699136603877]
  未学習の難易度と未学習アルゴリズムの性能に影響を及ぼす要因を同定する。 本稿では,RankingモジュールとSeqUnlearnモジュールからなる一般の未学習フレームワーク RSU を提案する。
  論文  参考訳（メタデータ） (2024-10-09T01:12:07Z)
• Pruning Small Pre-Trained Weights Irreversibly and Monotonically Impairs "Difficult" Downstream Tasks in LLMs [71.56345106591789]
  大型言語モデル(LLM)の重みには、かなりの冗長性が含まれていると信じられている。 本稿では,下流の難題に対処する上で必要となる重要な知識を包含する,事前訓練されたモデル重みの小さなマグニチュード重みについて述べる。
  論文  参考訳（メタデータ） (2023-09-29T22:55:06Z)
• Understanding Difficulty-based Sample Weighting with a Universal Difficulty Measure [2.7413469516930578]
  多くの重み付け手法は、基本的にトレーニングサンプルの学習困難を利用して重みを計算する。 サンプルの学習困難度は、ノイズレベル、不均衡度、マージン、不確実性を含む複数の要因によって決定される。 本研究では,サンプルの一般化誤差を普遍的難易度尺度として用いることができることを理論的に証明する。
  論文  参考訳（メタデータ） (2023-01-12T07:28:32Z)
• Momentum Contrastive Pre-training for Question Answering [54.57078061878619]
  MCROSSはモーメントコントラスト学習フレームワークを導入し、クローゼのような解答確率と自然な問合せのサンプルペアを一致させる。 本手法は,教師付きシナリオとゼロショットシナリオの両方において,すべてのベースラインと比較して顕著な改善を実現している。
  論文  参考訳（メタデータ） (2022-12-12T08:28:22Z)
• DiscrimLoss: A Universal Loss for Hard Samples and Incorrect Samples Discrimination [28.599571524763785]
  ラベルノイズ(すなわち不正なデータ)が与えられた場合、ディープニューラルネットワークはラベルノイズとモデル性能を徐々に記憶する。 この問題を解消するために,カリキュラム学習を提案し,学習サンプルを有意義な順序で順序付けすることで,モデル性能と一般化を向上させる。
  論文  参考訳（メタデータ） (2022-08-21T13:38:55Z)
• Exploring the Learning Difficulty of Data Theory and Measure [2.668651175000491]
  本研究は,サンプルの学習難易度に関するパイロット理論的研究を試みている。 一般化誤差に関するバイアス分散トレードオフ理論に基づいて,学習難易度の理論的定義を提案する。 機械学習における古典的な重み付け法は、探索された性質からよく説明できる。
  論文  参考訳（メタデータ） (2022-05-16T02:28:12Z)
• CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
  現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。 サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。 本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
  論文  参考訳（メタデータ） (2022-02-11T13:49:51Z)
• Uniform Sampling over Episode Difficulty [55.067544082168624]
  本稿では,その難易度に基づいて,エピソードサンプリング分布を近似する手法を提案する。 提案手法はアルゴリズムに依存しないため,これらの知見を利用して数発の学習精度を向上させることができる。
  論文  参考訳（メタデータ） (2021-08-03T17:58:54Z)
• Evading the Simplicity Bias: Training a Diverse Set of Models Discovers Solutions with Superior OOD Generalization [93.8373619657239]
  SGDで訓練されたニューラルネットワークは最近、線形予測的特徴に優先的に依存することが示された。 この単純さバイアスは、分布外堅牢性(OOD)の欠如を説明することができる。 単純さのバイアスを軽減し,ood一般化を改善できることを実証する。
  論文  参考訳（メタデータ） (2021-05-12T12:12:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。