論文の概要: Coarse-to-Fine Curriculum Learning

• arxiv url: http://arxiv.org/abs/2106.04072v1
• Date: Tue, 8 Jun 2021 03:09:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-09 16:16:57.649271
• Title: Coarse-to-Fine Curriculum Learning
• Title（参考訳）: カリキュラム学習の粗さ
• Authors: Otilia Stretcu, Emmanouil Antonios Platanios, Tom M. Mitchell, Barnab\'as P\'oczos
• Abstract要約: 本稿では,課題をより簡単な中間目標のシーケンスに分解する新しいカリキュラム学習手法を提案する。 分類タスクに焦点をあて、自動構築されたラベル階層を用いて中間タスクを設計する。 特にラベルの分類問題において顕著な性能向上を示した。
• 参考スコア（独自算出の注目度）: 26.213618168827026
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When faced with learning challenging new tasks, humans often follow sequences of steps that allow them to incrementally build up the necessary skills for performing these new tasks. However, in machine learning, models are most often trained to solve the target tasks directly.Inspired by human learning, we propose a novel curriculum learning approach which decomposes challenging tasks into sequences of easier intermediate goals that are used to pre-train a model before tackling the target task. We focus on classification tasks, and design the intermediate tasks using an automatically constructed label hierarchy. We train the model at each level of the hierarchy, from coarse labels to fine labels, transferring acquired knowledge across these levels. For instance, the model will first learn to distinguish animals from objects, and then use this acquired knowledge when learning to classify among more fine-grained classes such as cat, dog, car, and truck. Most existing curriculum learning algorithms for supervised learning consist of scheduling the order in which the training examples are presented to the model. In contrast, our approach focuses on the output space of the model. We evaluate our method on several established datasets and show significant performance gains especially on classification problems with many labels. We also evaluate on a new synthetic dataset which allows us to study multiple aspects of our method.
• Abstract（参考訳）: 挑戦的な新しいタスクを学習する際、人間はしばしば、新しいタスクを実行するために必要なスキルを段階的に積み上げるための一連のステップに従う。 しかし,機械学習では,対象タスクを直接解くためにモデルが最もよく訓練される。人間学習に触発されて,課題課題をより簡単な中間目標に分解し,対象タスクに取り組む前にモデルを事前学習する新しいカリキュラム学習手法を提案する。 我々は分類タスクに注目し,自動構築されたラベル階層を用いて中間タスクを設計する。 粗いラベルから細かいラベルまで、階層の各レベルでモデルをトレーニングし、これらのレベルにわたって獲得した知識を転送します。 例えば、このモデルはまず動物と物体を区別することを学び、その後、猫、犬、車、トラックといったよりきめ細かいクラスを分類する際に、この獲得した知識を使用する。 教師付き学習のための既存のカリキュラム学習アルゴリズムのほとんどは、トレーニング例がモデルに提示される順序をスケジューリングすることである。 対照的に、我々のアプローチはモデルの出力空間に焦点を当てている。 本手法は,いくつかの既定データセットで評価し,多くのラベルの分類問題において有意な性能向上を示した。 また,本手法の複数の側面を研究できる新しい合成データセットについても検討した。

関連論文リスト

• Low-Rank Mixture-of-Experts for Continual Medical Image Segmentation [18.984447545932706]
  破滅的な忘れ」問題は、モデルが新しいカテゴリやタスクに拡張された際に、以前に学習した特徴を忘れたときに発生する。 本稿では,データ固有のMixture of Experts構造を導入して,新しいタスクやカテゴリを扱うネットワークを提案する。 クラスレベルおよびタスクレベルの連続学習課題に対して,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-06-19T14:19:50Z)
• TIDo: Source-free Task Incremental Learning in Non-stationary Environments [0.0]
  モデルベースのエージェントを更新して新しいターゲットタスクを学習するには、過去のトレーニングデータを格納する必要があります。 ラベル付きターゲットデータセットの制限を克服するタスクインクリメンタル学習手法はほとんどない。 本研究では,非定常的および目標的タスクに適応可能なワンショットタスクインクリメンタル学習手法を提案する。
  論文  参考訳（メタデータ） (2023-01-28T02:19:45Z)
• What Makes Good Contrastive Learning on Small-Scale Wearable-based Tasks? [59.51457877578138]
  本研究では,ウェアラブル型行動認識タスクにおけるコントラスト学習について検討する。 本稿では,PyTorchライブラリのtextttCL-HAR について述べる。
  論文  参考訳（メタデータ） (2022-02-12T06:10:15Z)
• Curriculum Learning: A Survey [65.31516318260759]
  カリキュラム学習戦略は、機械学習のあらゆる分野で成功している。 我々は,様々な分類基準を考慮して,カリキュラム学習アプローチの分類を手作業で構築する。 集約型クラスタリングアルゴリズムを用いて,カリキュラム学習手法の階層木を構築する。
  論文  参考訳（メタデータ） (2021-01-25T20:08:32Z)
• COG: Connecting New Skills to Past Experience with Offline Reinforcement Learning [78.13740204156858]
  我々は、動的プログラミングによって新しいスキルを拡張するために、事前データを再利用できることを示します。 我々は、新しいタスクを解決するために、以前のデータセットに見られるいくつかの動作をチェーンすることで、アプローチの有効性を実証する。 我々は、高次元画像観察を低レベルのロボット制御コマンドにマッピングし、エンドツーエンドでポリシーを訓練する。
  論文  参考訳（メタデータ） (2020-10-27T17:57:29Z)
• Few-Shot Image Classification via Contrastive Self-Supervised Learning [5.878021051195956]
  本稿では,欠陥を修復するための教師なし数発学習の新たなパラダイムを提案する。 我々は2つのフェーズでいくつかの課題を解決した: 対照的な自己教師付き学習を通して、伝達可能な特徴抽出器をメタトレーニングする。 本手法は,標準的な数ショットの視覚的分類データセット上で,多数の確立された数ショットタスクにおいて,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-08-23T02:24:31Z)
• Adaptive Task Sampling for Meta-Learning [79.61146834134459]
  数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。 一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2020-07-17T03:15:53Z)
• Goal-Aware Prediction: Learning to Model What Matters [105.43098326577434]
  学習した前進力学モデルを使用する際の根本的な課題の1つは、学習したモデルの目的と下流のプランナーやポリシーの目標とのミスマッチである。 本稿では,タスク関連情報への直接的予測を提案し,そのモデルが現在のタスクを認識し,状態空間の関連量のみをモデル化することを奨励する。 提案手法は,目標条件付きシーンの関連部分を効果的にモデル化し,その結果,標準タスク非依存のダイナミックスモデルやモデルレス強化学習より優れていることがわかった。
  論文  参考訳（メタデータ） (2020-07-14T16:42:59Z)
• Expert Training: Task Hardness Aware Meta-Learning for Few-Shot Classification [62.10696018098057]
  そこで本研究では,訓練課題を適切に整理するためのメタトレーニング戦略を提案する。 タスクの難易度を推定する訓練手順にタスク難易度認識モジュールを設計して統合する。 miniImageNet と tieredImageNetSketch のデータセットによる実験結果から,メタラーナーは専門家のトレーニング戦略によりより良い結果が得られることが示された。
  論文  参考訳（メタデータ） (2020-07-13T08:49:00Z)
• A Survey on Self-supervised Pre-training for Sequential Transfer Learning in Neural Networks [1.1802674324027231]
  移動学習のための自己教師付き事前学習は、ラベルのないデータを用いて最先端の結果を改善する技術として、ますます人気が高まっている。 本稿では,自己指導型学習と伝達学習の分類学の概要を述べるとともに,各領域にまたがる事前学習タスクを設計するためのいくつかの顕著な手法を強調した。
  論文  参考訳（メタデータ） (2020-07-01T22:55:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。