論文の概要: Influence-driven Curriculum Learning for Pre-training on Limited Data

• arxiv url: http://arxiv.org/abs/2508.15475v1
• Date: Thu, 21 Aug 2025 11:53:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-22 16:26:46.303012
• Title: Influence-driven Curriculum Learning for Pre-training on Limited Data
• Title（参考訳）: 限定データに基づく事前学習における影響駆動型カリキュラム学習
• Authors: Loris Schoenegger, Lukas Thoma, Terra Blevins, Benjamin Roth,
• Abstract要約: 本研究では,従来の人中心難易度尺度を,モデルトレーニング中に観察されたような難易度に対応する指標に置き換えた上で,カリキュラム学習が競争力を持つかどうかを検討する。 私たちのカリキュラムでトレーニングされたモデルは、ランダムにトレーニングされたモデルをベンチマークで10ポイント以上向上させることができる。
• 参考スコア（独自算出の注目度）: 14.608476878713804
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Curriculum learning, a training technique where data is presented to the model in order of example difficulty (e.g., from simpler to more complex documents), has shown limited success for pre-training language models. In this work, we investigate whether curriculum learning becomes competitive if we replace conventional human-centered difficulty metrics with one that more closely corresponds to example difficulty as observed during model training. Specifically, we experiment with sorting training examples by their \textit{training data influence}, a score which estimates the effect of individual training examples on the model's output. Models trained on our curricula are able to outperform ones trained in random order by over 10 percentage points in benchmarks, confirming that curriculum learning is beneficial for language model pre-training, as long as a more model-centric notion of difficulty is adopted.
• Abstract（参考訳）: カリキュラム学習(Curriculum learning)は、サンプル難易度(例えば、より単純なドキュメントからより複雑なドキュメントまで)の順にデータをモデルに提示する訓練手法であり、事前学習された言語モデルに対して、限られた成功を示している。 本研究では,従来の人間中心の難易度尺度を,モデルトレーニング中に観察されたような難易度と密接に一致する指標に置き換えた上で,カリキュラム学習が競争力を持つかどうかを検討する。 具体的には、モデルの出力に対する個々のトレーニング例の影響を推定するスコアである「textit{training data influence}」を用いて、トレーニング例のソート実験を行う。 カリキュラムでトレーニングされたモデルは、ベンチマークで10ポイント以上ランダムにトレーニングされたモデルよりも優れており、よりモデル中心の難易度の概念が採用される限り、カリキュラム学習が言語モデルの事前学習に有用であることを確認した。

関連論文リスト

• Your Pretrained Model Tells the Difficulty Itself: A Self-Adaptive Curriculum Learning Paradigm for Natural Language Understanding [53.63482987410292]
  本稿では,事前学習言語モデルにより予測される難易度に基づいて,微調整例を優先する自己適応型カリキュラム学習パラダイムを提案する。 本手法は,4つの自然言語理解(NLU)データセットを用いて,二項分類と多項分類の両方を対象とする手法について検討した。
  論文  参考訳（メタデータ） (2025-07-13T19:36:17Z)
• Beyond Random Sampling: Efficient Language Model Pretraining via Curriculum Learning [23.900888224619]
  カリキュラム学習は,初等・中等教育段階におけるコンバージェンスを継続的に改善することを示す。 圧縮比、語彙の多様性、可読性は、設定間の効果的な難易度信号として同定する。
  論文  参考訳（メタデータ） (2025-06-12T21:06:57Z)
• How Hard is this Test Set? NLI Characterization by Exploiting Training Dynamics [49.9329723199239]
  本稿では, 実例と非実例を手作業で構築することなく, 挑戦的なテストセットを自動生成する手法を提案する。 一般的なNLIデータセットのテストセットを,トレーニングダイナミクスを利用した3つの難易度に分類する。 我々の評価法がトレーニングセットに適用された場合、トレーニング対象データのごく一部でトレーニングされたモデルは、フルデータセットでトレーニングされたモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-04T13:39:21Z)
• EfficientTrain++: Generalized Curriculum Learning for Efficient Visual Backbone Training [79.96741042766524]
  訓練カリキュラムをソフトセレクション機能として再構築する。 自然画像の内容の露光は,データ拡張の強度によって容易に達成できることを示す。 結果のメソッドであるEfficientTrain++は単純で汎用的だが驚くほど効果的である。
  論文  参考訳（メタデータ） (2024-05-14T17:00:43Z)
• Unlearning Traces the Influential Training Data of Language Models [31.33791825286853]
  アンラーニングは、トレーニングデータセットがモデルの性能に与える影響をトレースする。 よりスケーラブルなアプローチであるUnTrac-Invを提案し、テストデータセットを解放し、トレーニングデータセットの未学習モデルを評価する。
  論文  参考訳（メタデータ） (2024-01-26T23:17:31Z)
• Curriculum-Based Self-Training Makes Better Few-Shot Learners for Data-to-Text Generation [56.98033565736974]
  テキスト生成の困難さによって決定される並べ替え順序でラベルのないデータを活用するために,カリキュラムベースの自己学習(CBST)を提案する。 提案手法は、微調整およびタスク適応型事前学習法より優れており、データ・テキスト・ジェネレーションのわずかな設定で最先端の性能を実現することができる。
  論文  参考訳（メタデータ） (2022-06-06T16:11:58Z)
• On the Impact of Hard Adversarial Instances on Overfitting in Adversarial Training [70.82725772926949]
  敵の訓練は、敵の攻撃に対してモデルを強固にするための一般的な方法である。 本研究では,この現象をトレーニングインスタンスの観点から検討する。 逆行訓練における一般化性能の低下は、ハード・逆行例に適合した結果であることを示す。
  論文  参考訳（メタデータ） (2021-12-14T12:19:24Z)
• Token-wise Curriculum Learning for Neural Machine Translation [94.93133801641707]
  ニューラルネットワーク翻訳(NMT)への既存のカリキュラム学習アプローチでは、初期のトレーニング段階でトレーニングデータから十分なサンプルをサンプリングする必要がある。 簡便なサンプルを十分に生成する,新しいトークン型カリキュラム学習手法を提案する。 当社のアプローチは,5つの言語ペア,特に低リソース言語において,ベースラインを一貫して上回ることができる。
  論文  参考訳（メタデータ） (2021-03-20T03:57:59Z)
• When Do Curricula Work? [26.072472732516335]
  規則学習はI. I. I. D. トレーニングの改善として提案されている。 我々は、カリキュラム、反カリキュラム、ランダムカリキュラムの3種類の学習にまたがる何千もの注文実験を行った。 キュリキュラは限界的な利点しか持たず、ランダムに順序づけられたサンプルはキュリキュラや反キュリキュラと同等以上の性能を示す。
  論文  参考訳（メタデータ） (2020-12-05T19:41:30Z)
• Dynamic Data Selection for Curriculum Learning via Ability Estimation [6.255759848576057]
  難易度を学習難易度パラメータで置き換えることを提案する。 また,能力推定によるカリキュラム学習のための動的選択を提案する。 GLUE分類タスクにおいて、学習難易度および/または能力を用いたモデルは、データに基づくカリキュラム学習モデルより優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-30T20:01:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。