論文の概要: Let the Model Decide its Curriculum for Multitask Learning
- arxiv url: http://arxiv.org/abs/2205.09898v1
- Date: Thu, 19 May 2022 23:34:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-23 13:41:41.417707
- Title: Let the Model Decide its Curriculum for Multitask Learning
- Title（参考訳）: モデルがマルチタスク学習のためのカリキュラムを決定する
- Authors: Neeraj Varshney, Swaroop Mishra, and Chitta Baral
- Abstract要約: モデルに基づくアプローチによって計算される難易度に基づく学習カリキュラムにトレーニングインスタンスを配置する手法を2種類提案する。
インスタンスレベルとデータセットレベルの技術は、それぞれのベースラインに対して平均4.17%と3.15%のパフォーマンス向上をもたらすため、強い表現をもたらすことを示す。
- 参考スコア（独自算出の注目度）: 22.043291547405545
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Curriculum learning strategies in prior multi-task learning approaches
arrange datasets in a difficulty hierarchy either based on human perception or
by exhaustively searching the optimal arrangement. However, human perception of
difficulty may not always correlate well with machine interpretation leading to
poor performance and exhaustive search is computationally expensive. Addressing
these concerns, we propose two classes of techniques to arrange training
instances into a learning curriculum based on difficulty scores computed via
model-based approaches. The two classes i.e Dataset-level and Instance-level
differ in granularity of arrangement. Through comprehensive experiments with 12
datasets, we show that instance-level and dataset-level techniques result in
strong representations as they lead to an average performance improvement of
4.17% and 3.15% over their respective baselines. Furthermore, we find that most
of this improvement comes from correctly answering the difficult instances,
implying a greater efficacy of our techniques on difficult tasks.
- Abstract（参考訳）: 従来のマルチタスク学習手法におけるカリキュラム学習戦略は、人間の知覚に基づいてデータセットを難易度階層に配置する。
しかし、人間の困難に対する認識は、必ずしも機械解釈と相関しておらず、性能が悪く、徹底的な探索は計算コストがかかる。
これらの問題に対処するため,モデルに基づくアプローチによって計算される難易度に基づいて,学習カリキュラムにトレーニングインスタンスを配置する手法を2種類提案する。
データセットレベルとインスタンスレベルの2つのクラスは、アレンジメントの粒度が異なる。
12のデータセットによる総合的な実験を通して、インスタンスレベルとデータセットレベルのテクニックは、それぞれのベースラインに対して平均4.17%と3.15%のパフォーマンス改善をもたらすため、強い表現をもたらすことを示す。
さらに、この改善のほとんどは、難解な事例に正しく答えることによるものであり、難解な作業において我々の技術がより有効であることを示唆している。
関連論文リスト
- Preview-based Category Contrastive Learning for Knowledge Distillation [53.551002781828146]
知識蒸留(PCKD)のための新しい予見型カテゴリーコントラスト学習法を提案する。
まず、インスタンスレベルの特徴対応と、インスタンスの特徴とカテゴリ中心の関係の両方の構造的知識を蒸留する。
カテゴリ表現を明示的に最適化し、インスタンスとカテゴリの表現を明確に関連付けることができる。
論文 参考訳（メタデータ） (2024-10-18T03:31:00Z) - A Human-Centered Approach for Improving Supervised Learning [0.44378250612683995]
本稿では、パフォーマンス、時間、リソースの制約のバランスをとる方法を示す。
この研究のもう1つの目標は、人間中心のアプローチを用いて、エンサンブルスをより説明しやすく、理解しやすくすることである。
論文 参考訳（メタデータ） (2024-10-14T10:27:14Z) - Data-CUBE: Data Curriculum for Instruction-based Sentence Representation
Learning [85.66907881270785]
本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。
タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。
インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
論文 参考訳（メタデータ） (2024-01-07T18:12:20Z) - One-Shot Learning as Instruction Data Prospector for Large Language Models [108.81681547472138]
textscNuggetsはワンショット学習を使用して、広範なデータセットから高品質な命令データを選択する。
我々は,textscNuggets がキュレートした例の上位1%による命令チューニングが,データセット全体を用いた従来の手法よりも大幅に優れていることを示す。
論文 参考訳（メタデータ） (2023-12-16T03:33:12Z) - Difficulty-Net: Learning to Predict Difficulty for Long-Tailed
Recognition [5.977483447975081]
メタラーニングフレームワークにおいて,モデルの性能を用いてクラスの難易度を予測することを学習するDifficulty-Netを提案する。
本稿では,相対的難易度と運転者損失という2つの重要な概念を紹介する。
提案手法の有効性を実証した。
論文 参考訳（メタデータ） (2022-09-07T07:04:08Z) - On Modality Bias Recognition and Reduction [70.69194431713825]
マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。
本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。
本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
論文 参考訳（メタデータ） (2022-02-25T13:47:09Z) - Leveraging Ensembles and Self-Supervised Learning for Fully-Unsupervised
Person Re-Identification and Text Authorship Attribution [77.85461690214551]
完全ラベル付きデータからの学習は、Person Re-IdentificationやText Authorship Attributionなどのマルチメディアフォレスト問題において困難である。
近年の自己教師型学習法は,基礎となるクラスに意味的差異が有る場合に,完全ラベル付きデータを扱う際に有効であることが示されている。
本研究では,異なるクラスからのサンプルが顕著に多様性を持っていない場合でも,ラベルのないデータから学習できるようにすることにより,個人再認識とテキストオーサシップの属性に対処する戦略を提案する。
論文 参考訳（メタデータ） (2022-02-07T13:08:11Z) - Unsupervised Learning for Robust Fitting:A Reinforcement Learning
Approach [25.851792661168698]
堅牢なモデルフィッティングを解決するための新しいフレームワークを紹介します。
他の方法とは異なり、私たちの仕事は基本的な入力機能に無知です。
実験により,本手法が既存の学習手法より優れていることを示す。
論文 参考訳（メタデータ） (2021-03-05T07:14:00Z) - Curriculum Learning: A Survey [65.31516318260759]
カリキュラム学習戦略は、機械学習のあらゆる分野で成功している。
我々は,様々な分類基準を考慮して,カリキュラム学習アプローチの分類を手作業で構築する。
集約型クラスタリングアルゴリズムを用いて,カリキュラム学習手法の階層木を構築する。
論文 参考訳（メタデータ） (2021-01-25T20:08:32Z) - Curriculum Learning with Diversity for Supervised Computer Vision Tasks [1.5229257192293197]
本稿では,学習データの多様性と入力の難しさを考慮に入れた,新たなカリキュラムサンプリング戦略を提案する。
我々は、我々の戦略が不均衡なデータセットに対して非常に効率的であることを証明し、より高速な収束とより正確な結果をもたらす。
論文 参考訳（メタデータ） (2020-09-22T15:32:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。