論文の概要: Does the Definition of Difficulty Matter? Scoring Functions and their Role for Curriculum Learning

• arxiv url: http://arxiv.org/abs/2411.00973v1
• Date: Fri, 01 Nov 2024 18:55:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:47:15.892796
• Title: Does the Definition of Difficulty Matter? Scoring Functions and their Role for Curriculum Learning
• Title（参考訳）: 難易度の定義は難しいか? : 学習機能とカリキュラム学習における役割
• Authors: Simon Rampp, Manuel Milling, Andreas Triantafyllopoulos, Björn W. Schuller,
• Abstract要約: CL(Curriculum Learning)は、サンプルを学習プロセスに徐々に導入する機械学習トレーニング戦略である。 サンプル難易度推定のための最も一般的なスコアリング関数のロバスト性と類似性について検討する。 その結果,ランダムシード間のスコアリング関数のロバスト性はCL性能と正の相関関係があることが判明した。
• 参考スコア（独自算出の注目度）: 42.4526628515253
• License:
• Abstract: Curriculum learning (CL) describes a machine learning training strategy in which samples are gradually introduced into the training process based on their difficulty. Despite a partially contradictory body of evidence in the literature, CL finds popularity in deep learning research due to its promise of leveraging human-inspired curricula to achieve higher model performance. Yet, the subjectivity and biases that follow any necessary definition of difficulty, especially for those found in orderings derived from models or training statistics, have rarely been investigated. To shed more light on the underlying unanswered questions, we conduct an extensive study on the robustness and similarity of the most common scoring functions for sample difficulty estimation, as well as their potential benefits in CL, using the popular benchmark dataset CIFAR-10 and the acoustic scene classification task from the DCASE2020 challenge as representatives of computer vision and computer audition, respectively. We report a strong dependence of scoring functions on the training setting, including randomness, which can partly be mitigated through ensemble scoring. While we do not find a general advantage of CL over uniform sampling, we observe that the ordering in which data is presented for CL-based training plays an important role in model performance. Furthermore, we find that the robustness of scoring functions across random seeds positively correlates with CL performance. Finally, we uncover that models trained with different CL strategies complement each other by boosting predictive power through late fusion, likely due to differences in the learnt concepts. Alongside our findings, we release the aucurriculum toolkit (https://github.com/autrainer/aucurriculum), implementing sample difficulty and CL-based training in a modular fashion.
• Abstract（参考訳）: CL(Curriculum Learning)は、サンプルを学習プロセスに徐々に導入する機械学習トレーニング戦略である。 文献に部分的に矛盾する証拠があるにもかかわらず、CLはより高度なモデル性能を達成するために人間にインスパイアされたカリキュラムを活用するという約束のために、ディープラーニング研究で人気がある。 しかし、特にモデルやトレーニング統計から導かれた順序付けで見られるような難易度の定義に従う主観性と偏見はめったに研究されていない。 そこで本研究では,サンプルの難易度推定における最も一般的なスコアリング関数の頑健さと類似性について,CIFAR-10とDCASE2020チャレンジの音響シーン分類タスクをコンピュータビジョンとコンピュータオーディションの代表として用いて検討した。 アンサンブルスコアリングによって部分的に緩和できるランダム性を含む,学習環境におけるスコアリング関数の強い依存性を報告する。 均一サンプリングに対するCLの一般的な優位性は見つからないが、CLベースのトレーニングのためにデータが提示される順序付けがモデル性能において重要な役割を担っていることが観察されている。 さらに,ランダムシード間のスコアリング関数のロバスト性はCL性能と正の相関関係があることが判明した。 最後に、異なるCL戦略で訓練されたモデルが、おそらく学習概念の違いのために、後期融合を通じて予測力を増強することで、相互に補完することを明らかにする。 この結果と並行して,サンプルの難易度とCLベースのトレーニングをモジュール方式で実装した aucurriculum Toolkit (https://github.com/autrainer/aucurriculum) をリリースする。

関連論文リスト

• A Psychology-based Unified Dynamic Framework for Curriculum Learning [5.410910735259908]
  本稿では、心理学に基づくカリキュラム学習のための統一動的フレームワーク(PUDF)を提案する。 我々は、人工集団(AC)からの応答にIRT(Item Response Theory)を適用して、データトレーニングの難しさを定量化する。 本稿では,モデル学習中に適切なデータ量をスケジュールするDDS-MAE戦略を提案する。
  論文  参考訳（メタデータ） (2024-08-09T20:30:37Z)
• Investigating the Pre-Training Dynamics of In-Context Learning: Task Recognition vs. Task Learning [99.05401042153214]
  In-context Learning(ICL)は、タスク認識(TR)とタスク学習(TL)の2つの主要な能力に起因する可能性がある。 ICLの出現の事前学習のダイナミクスを調べることで、第一歩を踏み出す。 そこで本研究では,この2つの機能を推論時によりよく統合するための,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-06-20T06:37:47Z)
• What Makes CLIP More Robust to Long-Tailed Pre-Training Data? A Controlled Study for Transferable Insights [67.72413262980272]
  大規模なデータ不均衡は、Webスケールの視覚言語データセットの間に自然に存在する。 事前学習したCLIPは、教師付き学習と比較してデータ不均衡に顕著な堅牢性を示す。 CLIPの堅牢性と差別性は、より記述的な言語監督、より大きなデータスケール、より広いオープンワールドの概念によって改善される。
  論文  参考訳（メタデータ） (2024-05-31T17:57:24Z)
• Take the Bull by the Horns: Hard Sample-Reweighted Continual Training Improves LLM Generalization [165.98557106089777]
  大きな言語モデル(LLM)の能力を高めることが大きな課題だ。 本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。 次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
  論文  参考訳（メタデータ） (2024-02-22T04:10:57Z)
• From MNIST to ImageNet and Back: Benchmarking Continual Curriculum Learning [9.104068727716294]
  継続学習(CL)は、機械学習研究で最も有望なトレンドの1つである。 6つの画像データセットから複数の異種タスクを含む2つの新しいCLベンチマークを導入する。 さらに、タスクが複雑化と減少の順序で表されるように、ベンチマークを構造化します。
  論文  参考訳（メタデータ） (2023-03-16T18:11:19Z)
• A Mathematical Model for Curriculum Learning for Parities [8.522887729678637]
  我々は、勾配降下によって訓練されたニューラルネットワークを用いて、二進弦のdビット上のk-パリティのクラスを学習するためのCLモデルを提案する。 2つ以上の製品分布を含むトレーニング例の賢明な選択は、このクラスの関数を学習する際の計算コストを大幅に削減できることを示す。 また、別の種類の関数、すなわちハミング混合系に対して、有界な製品分布を含むCL戦略は有益ではないことを示す。
  論文  参考訳（メタデータ） (2023-01-31T18:25:36Z)
• Training Dynamics for Curriculum Learning: A Study on Monolingual and Cross-lingual NLU [19.42920238320109]
  カリキュラム学習(Curriculum Learning, CL)は、典型的に増加する困難傾向の中で、ランキングの例を通してモデルを訓練する技法である。 本研究では,学習力学を難易度指標として活用することにより,自然言語理解(NLU)タスクにCLを用いる。 実験によると、トレーニングのダイナミクスは、他の難しいメトリクスと比較して、スムーズなトレーニングでより良いパフォーマンスのモデルをもたらす可能性がある。
  論文  参考訳（メタデータ） (2022-10-22T17:10:04Z)
• Using Representation Expressiveness and Learnability to Evaluate Self-Supervised Learning Methods [61.49061000562676]
  本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。 CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。 CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
  論文  参考訳（メタデータ） (2022-06-02T19:05:13Z)
• Contrastive Learning with Adversarial Examples [79.39156814887133]
  コントラスト学習(Contrastive Learning, CL)は、視覚表現の自己教師型学習(SSL)において一般的な手法である。 本稿では,コンストラクティブ・ラーニングのための新しい逆例群を紹介し,これらの例を用いてCLAEと表記されるSSLの新しい逆トレーニングアルゴリズムを定義する。
  論文  参考訳（メタデータ） (2020-10-22T20:45:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。