論文の概要: Adaptively Point-weighting Curriculum Learning

• arxiv url: http://arxiv.org/abs/2505.01665v1
• Date: Sat, 03 May 2025 03:27:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-06 18:49:35.224513
• Title: Adaptively Point-weighting Curriculum Learning
• Title（参考訳）: 適応的な点重み付けカリキュラム学習
• Authors: Wensheng Li, Hao Wang, Ruifeng Zhou, Hanting Guan, Chao Zhang, Dacheng Tao,
• Abstract要約: カリキュラム学習(CL)は、まず簡単なサンプルを学習し、次にハードサンプルに適合させるトレーニング戦略である。 適応的な点重み付け(APW)カリキュラム学習アルゴリズムを開発し,各トレーニングサンプルに適応的に重み付けを行う。 本稿では, トレーニングの有効性, トレーニング実現可能性, トレーニング安定性, 一般化性能などのAPWの特性に関する理論的解析を行った。
• 参考スコア（独自算出の注目度）: 46.757954778447505
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Curriculum learning (CL) is referred to as a training strategy that makes easy samples learned first and then fits hard samples. It imitates the process of humans learning knowledge, and has become a potential manner of effectively training deep networks. In this study, we develop the adaptively point-weighting (APW) curriculum learning algorithm, which adaptively assigns the weight to every training sample not only based on its training error but also considering the current training state of the network. Specifically, in the early training phase, it increases the weights of easy samples to make the network rapidly capture the overall characteristics of the dataset; and in the later training phase, the weights of hard points rise to improve the fitting performance on the discrete local regions. Moreover, we also present the theoretical analysis on the properties of APW including training effectiveness, training feasibility, training stability, and generalization performance. The numerical experiments support the superiority of APW and demonstrate the validity of our theoretical findings.
• Abstract（参考訳）: カリキュラム学習(CL: Curriculum Learning)は、まず簡単なサンプルを学習し、次にハードサンプルに適合させる訓練戦略である。 これは人間が知識を学ぶ過程を模倣し、ディープ・ネットワークを効果的に訓練する潜在的な方法となった。 本研究では,適応的な点重み付け(APW)カリキュラム学習アルゴリズムを開発し,トレーニングエラーだけでなく,ネットワークの現在のトレーニング状態も考慮して,各トレーニングサンプルに適応的に重み付けを行う。 具体的には、初期のトレーニング段階では、ネットワークがデータセットの全体的な特性を迅速に捉えるのに簡単なサンプルの重量を増大させ、後のトレーニング段階では、ハードポイントの重量が増加し、離散的な局所領域における適合性能が向上する。 さらに,トレーニングの有効性,トレーニング実現可能性,トレーニング安定性,一般化性能など,APWの特性に関する理論的解析を行った。 数値実験はAPWの優位性を支持し,理論的な結果の妥当性を実証する。

関連論文リスト

• CLASS: Enhancing Cross-Modal Text-Molecule Retrieval Performance and Training Efficiency [7.2360149365370345]
  クロスモーダルテキスト-分子検索タスクは、分子構造と自然言語記述を橋渡しする。 既存の手法は主にテキストのモダリティと分子のモダリティの整合に重点を置いているが、異なる訓練段階における学習状態を適応的に調整しているのを見落としている。 本稿では,CLASS(Curriculum Learning-bAsed croSS-modal text-molecule training framework)を提案する。
  論文  参考訳（メタデータ） (2025-02-17T10:24:07Z)
• Dynamic Loss-Based Sample Reweighting for Improved Large Language Model Pretraining [55.262510814326035]
  既存のリウェイト戦略は主にグループレベルのデータの重要性に焦点を当てている。 動的・インスタンスレベルのデータ再重み付けのための新しいアルゴリズムを提案する。 当社のフレームワークでは,冗長データや非形式データを優先的に再重み付けする戦略を考案することが可能です。
  論文  参考訳（メタデータ） (2025-02-10T17:57:15Z)
• BoostAdapter: Improving Vision-Language Test-Time Adaptation via Regional Bootstrapping [64.8477128397529]
  本稿では,テスト時間適応フレームワークを提案する。 我々は、インスタンスに依存しない履歴サンプルとインスタンスを意識したブースティングサンプルから特徴を検索するための軽量なキー値メモリを維持している。 理論的には,本手法の背後にある合理性を正当化し,アウト・オブ・ディストリビューションとクロスドメイン・データセットの両方において,その有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2024-10-20T15:58:43Z)
• Effective Vision Transformer Training: A Data-Centric Perspective [24.02488085447691]
  視覚変換器(ViT)は畳み込みニューラルネットワーク(CNN)と比較して有望な性能を示した 本稿では,DDP(Dynamic Data Proportion)やKAR(Knowledge Assimilation Rate)など,いくつかの指標を定義する。 トレーニングサンプルの難易度を動的に測定し,異なるトレーニング段階におけるモデルに対する効果的なサンプルを生成するための,新しいデータ中心型ViTトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-29T17:59:46Z)
• Towards Balanced Learning for Instance Recognition [149.76724446376977]
  本稿では,インスタンス認識のためのバランス学習のためのフレームワークであるLibra R-CNNを提案する。 IoUバランスのサンプリング、バランスの取れた特徴ピラミッド、客観的再重み付けをそれぞれ統合し、サンプル、特徴、客観的レベルの不均衡を低減します。
  論文  参考訳（メタデータ） (2021-08-23T13:40:45Z)
• Friendly Training: Neural Networks Can Adapt Data To Make Learning Easier [23.886422706697882]
  フレンドリートレーニング(Friendly Training)と呼ばれる新しいトレーニング手順を提案する。 フレンドリートレーニングは、情報サブ選択とランダム選択に関して改善をもたらすことを示す。 その結果,入力データへの適応は学習を安定させ,ネットワークのスキル一般化を改善するための有効な方法であることが示唆された。
  論文  参考訳（メタデータ） (2021-06-21T10:50:34Z)
• Self-Adaptive Training: Bridging the Supervised and Self-Supervised Learning [16.765461276790944]
  自己適応型トレーニングは、追加の計算コストを課すことなく、モデル予測によってトレーニングプロセスを動的にキャリブレーションし、強化する統一型トレーニングアルゴリズムです。 ランダムノイズや敵対的な例など、破損したトレーニングデータの深層ネットワークのトレーニングダイナミクスを分析します。 分析の結果, モデル予測はデータ中の有用な情報量を拡大することが可能であり, 強調ラベル情報がない場合にも広く発生することがわかった。
  論文  参考訳（メタデータ） (2021-01-21T17:17:30Z)
• Efficient Estimation of Influence of a Training Instance [56.29080605123304]
  本稿では,ニューラルネットワークモデルに対するトレーニングインスタンスの影響を効率的に推定する手法を提案する。 このメソッドは、サブネットワークをゼロマスクし、サブネットワークが各トレーニングインスタンスを学習するのを防ぎます。 提案手法は, 学習の影響を捉え, 誤り予測の解釈性を高め, 一般化改善のための訓練データセットをクリーン化できることを実証する。
  論文  参考訳（メタデータ） (2020-12-08T04:31:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。