論文の概要: Do Data-based Curricula Work?

• arxiv url: http://arxiv.org/abs/2112.06510v1
• Date: Mon, 13 Dec 2021 09:42:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-14 16:50:37.831007
• Title: Do Data-based Curricula Work?
• Title（参考訳）: データベースのCulriculaは機能するのか?
• Authors: Maxim K. Surkov, Vladislav D. Mosin, Ivan P. Yamshchikov
• Abstract要約: 現在の最先端のNLPシステムは、トレーニングに多くの計算リソースを必要とする大規模なニューラルネットワークを使用している。 人間の知識獲得にインスパイアされた研究者は、カリキュラム学習、タスク(タスクベースのカリキュラム)のシークエンシング、トレーニングを容易にするデータセット(データベースのカリキュラム)の順序付けとサンプリングを提案している。 本研究では,BERT や T5 などの大規模現代言語モデルに対するデータに基づくカリキュラム学習のメリットについて検討する。
• 参考スコア（独自算出の注目度）: 0.17188280334580194
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current state-of-the-art NLP systems use large neural networks that require lots of computational resources for training. Inspired by human knowledge acquisition, researchers have proposed curriculum learning, - sequencing of tasks (task-based curricula) or ordering and sampling of the datasets (data-based curricula) that facilitate training. This work investigates the benefits of data-based curriculum learning for large modern language models such as BERT and T5. We experiment with various curricula based on a range of complexity measures and different sampling strategies. Extensive experiments on different NLP tasks show that curricula based on various complexity measures rarely has any benefits while random sampling performs either as well or better than curricula.
• Abstract（参考訳）: 現在の最先端のNLPシステムは、トレーニングに多くの計算リソースを必要とする大規模なニューラルネットワークを使用している。 人間の知識獲得に触発された研究者は、タスク(タスクベースのカリキュラム)のシーケンシングや、トレーニングを容易にするデータセット(データベースのカリキュラム)の順序付けとサンプリングといったカリキュラム学習を提案している。 本研究は,bert や t5 などの大規模現代言語モデルに対するデータベースカリキュラム学習の利点について検討する。 我々は,様々な複雑性尺度と異なるサンプリング戦略に基づいて,様々なカリキュラムを実験する。 様々なnlpタスクに関する広範囲な実験により、様々な複雑性尺度に基づくカリキュラムは、ランダムサンプリングがカリキュラムよりも優れる一方で、ほとんど利益がないことが示された。

関連論文リスト

• Federated Multi-Task Learning on Non-IID Data Silos: An Experimental Study [17.555311732095483]
  FMTLアプローチは、フェデレートラーニング(FL)とマルチタスクラーニング(MTL)の利点を統合する 本稿では,FMTLパラダイムの体系的評価のための新しいフレームワークFMTL-Benchを紹介する。
  論文  参考訳（メタデータ） (2024-02-20T10:13:44Z)
• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• Multi-Task Learning with Summary Statistics [4.871473117968554]
  様々な情報源からの要約統計を利用した柔軟なマルチタスク学習フレームワークを提案する。 また,Lepskiの手法の変種に基づく適応パラメータ選択手法を提案する。 この研究は、さまざまな領域にわたる関連するモデルをトレーニングするための、より柔軟なツールを提供する。
  論文  参考訳（メタデータ） (2023-07-05T15:55:23Z)
• Pre-training Multi-task Contrastive Learning Models for Scientific Literature Understanding [52.723297744257536]
  事前学習言語モデル(LM)は、科学文献理解タスクにおいて有効であることを示す。 文献理解タスク間の共通知識共有を容易にするために,マルチタスクのコントラスト学習フレームワークであるSciMultを提案する。
  論文  参考訳（メタデータ） (2023-05-23T16:47:22Z)
• Active Multi-Task Representation Learning [50.13453053304159]
  本研究は,アクティブラーニングの手法を活用することで,資源タスクのサンプリングに関する最初の公式な研究を行う。 提案手法は, 対象タスクに対する各ソースタスクの関連性を反復的に推定し, その関連性に基づいて各ソースタスクからサンプルを抽出するアルゴリズムである。
  論文  参考訳（メタデータ） (2022-02-02T08:23:24Z)
• The Effect of Diversity in Meta-Learning [79.56118674435844]
  少ないショット学習は、少数の例から見れば、新しいタスクに対処できる表現を学習することを目的としている。 近年の研究では,タスク分布がモデルの性能に重要な役割を担っていることが示されている。 タスクの多様性がメタ学習アルゴリズムに与える影響を評価するために,多種多様なモデルとデータセットのタスク分布について検討する。
  論文  参考訳（メタデータ） (2022-01-27T19:39:07Z)
• Curriculum Learning: A Survey [65.31516318260759]
  カリキュラム学習戦略は、機械学習のあらゆる分野で成功している。 我々は,様々な分類基準を考慮して,カリキュラム学習アプローチの分類を手作業で構築する。 集約型クラスタリングアルゴリズムを用いて,カリキュラム学習手法の階層木を構築する。
  論文  参考訳（メタデータ） (2021-01-25T20:08:32Z)
• Probabilistic Active Meta-Learning [15.432006404678981]
  先行経験に基づくタスク選択をメタ学習アルゴリズムに導入する。 シミュレーションロボット実験の強いベースラインと比較して,本手法がデータ効率を向上させるという実証的証拠を提供する。
  論文  参考訳（メタデータ） (2020-07-17T12:51:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。