論文の概要: Spatial Transformer Networks for Curriculum Learning

• arxiv url: http://arxiv.org/abs/2108.09696v1
• Date: Sun, 22 Aug 2021 12:04:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-25 02:59:18.645327
• Title: Spatial Transformer Networks for Curriculum Learning
• Title（参考訳）: カリキュラム学習のための空間トランスフォーマーネットワーク
• Authors: Fatemeh Azimi, Jean-Francois Jacques Nicolas Nies, Sebastian Palacio, Federico Raue, J\"orn Hees, Andreas Dengel
• Abstract要約: 我々は,Spatial Transformer Networks (STNs) からインスピレーションを得て,容易にハードなカリキュラムを構築する。 乱雑なMNISTとFashion-MNISTデータセットについて様々な実験を行った。
• 参考スコア（独自算出の注目度）: 6.107943372244105
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Curriculum learning is a bio-inspired training technique that is widely adopted to machine learning for improved optimization and better training of neural networks regarding the convergence rate or obtained accuracy. The main concept in curriculum learning is to start the training with simpler tasks and gradually increase the level of difficulty. Therefore, a natural question is how to determine or generate these simpler tasks. In this work, we take inspiration from Spatial Transformer Networks (STNs) in order to form an easy-to-hard curriculum. As STNs have been proven to be capable of removing the clutter from the input images and obtaining higher accuracy in image classification tasks, we hypothesize that images processed by STNs can be seen as easier tasks and utilized in the interest of curriculum learning. To this end, we study multiple strategies developed for shaping the training curriculum, using the data generated by STNs. We perform various experiments on cluttered MNIST and Fashion-MNIST datasets, where on the former, we obtain an improvement of $3.8$pp in classification accuracy compared to the baseline.
• Abstract（参考訳）: カリキュラム学習はバイオインスパイアされたトレーニング技術であり、機械学習に広く採用され、収束率や得られた精度に関するニューラルネットワークの最適化とトレーニングを改善する。 カリキュラム学習の主なコンセプトは、より単純なタスクでトレーニングを開始し、徐々に難易度を高めることである。 したがって、自然な質問は、これらの単純なタスクをどうやって決定または生成するかである。 本研究では,Spatial Transformer Networks (STN) からインスピレーションを得て,簡単なカリキュラムを作成する。 STNは入力画像から乱れを取り除き、画像分類タスクの精度を高めることができることが証明されているので、STNによって処理された画像は容易なタスクと見なされ、カリキュラム学習の利益に活用できるという仮説を立てる。 そこで本研究では,STNが生成したデータを用いて,学習カリキュラム形成のための複数の戦略について検討する。 乱雑なMNISTデータセットとFashion-MNISTデータセットについて様々な実験を行い、前者はベースラインと比較して分類精度が3.8$pp向上した。

関連論文リスト

• EfficientTrain++: Generalized Curriculum Learning for Efficient Visual Backbone Training [79.96741042766524]
  訓練カリキュラムをソフトセレクション機能として再構築する。 自然画像の内容の露光は,データ拡張の強度によって容易に達成できることを示す。 結果のメソッドであるEfficientTrain++は単純で汎用的だが驚くほど効果的である。
  論文  参考訳（メタデータ） (2024-05-14T17:00:43Z)
• EfficientTrain: Exploring Generalized Curriculum Learning for Training Visual Backbones [80.662250618795]
  本稿では視覚バックボーン(例えば視覚変換器)の効率的なトレーニングのための新しいカリキュラム学習手法を提案する。 オフザシェルフ方式として、様々な人気モデルのウォールタイムトレーニングコストを、精度を犠牲にすることなく、ImageNet-1K/22Kで1.5倍に削減する。
  論文  参考訳（メタデータ） (2022-11-17T17:38:55Z)
• Pre-Train Your Loss: Easy Bayesian Transfer Learning with Informative Priors [59.93972277761501]
  我々は,教師付きあるいは自己指導型アプローチにより,ソースタスクから高い情報的後部を学習できることを実証した。 このシンプルなモジュラーアプローチは、様々な下流の分類とセグメンテーションタスクにおいて、大幅なパフォーマンス向上と、よりデータ効率のよい学習を可能にする。
  論文  参考訳（メタデータ） (2022-05-20T16:19:30Z)
• Friendly Training: Neural Networks Can Adapt Data To Make Learning Easier [23.886422706697882]
  フレンドリートレーニング(Friendly Training)と呼ばれる新しいトレーニング手順を提案する。 フレンドリートレーニングは、情報サブ選択とランダム選択に関して改善をもたらすことを示す。 その結果,入力データへの適応は学習を安定させ,ネットワークのスキル一般化を改善するための有効な方法であることが示唆された。
  論文  参考訳（メタデータ） (2021-06-21T10:50:34Z)
• Rectification-based Knowledge Retention for Continual Learning [49.1447478254131]
  ディープラーニングモデルは、インクリメンタルな学習環境で訓練されたときに壊滅的な忘れに苦しむ。 タスクインクリメンタル学習問題に対処するための新しいアプローチを提案する。これは、インクリメンタルに到着する新しいタスクに関するモデルをトレーニングすることを含む。 私たちのアプローチは、ゼロショットと非ゼロショットタスクインクリメンタルラーニング設定の両方で使用できます。
  論文  参考訳（メタデータ） (2021-03-30T18:11:30Z)
• Statistical Measures For Defining Curriculum Scoring Function [5.328970912536596]
  実画像データセット上での畳み込みニューラルネットワークとフルコネクテッドニューラルネットワークの性能向上を示します。 暗黙のカリキュラム順序からの洞察に動機づけられ,簡単なカリキュラム学習戦略を導入する。 また,動的カリキュラム学習アルゴリズムの性能について提案・検討する。
  論文  参考訳（メタデータ） (2021-02-27T07:25:49Z)
• Expert Training: Task Hardness Aware Meta-Learning for Few-Shot Classification [62.10696018098057]
  そこで本研究では,訓練課題を適切に整理するためのメタトレーニング戦略を提案する。 タスクの難易度を推定する訓練手順にタスク難易度認識モジュールを設計して統合する。 miniImageNet と tieredImageNetSketch のデータセットによる実験結果から,メタラーナーは専門家のトレーニング戦略によりより良い結果が得られることが示された。
  論文  参考訳（メタデータ） (2020-07-13T08:49:00Z)
• Few Is Enough: Task-Augmented Active Meta-Learning for Brain Cell Classification [8.998976678920236]
  本稿では,Deep Neural Networks を新しいタスクに効率的に適応する tAsk-auGmented actIve meta-LEarning (AGILE) 手法を提案する。 AGILEはメタ学習アルゴリズムと,初期適応モデルを生成するための新しいタスク拡張手法を組み合わせる。 提案するタスク強化メタラーニングフレームワークは,1段階の段階を経て,新たな細胞タイプを分類することができることを示す。
  論文  参考訳（メタデータ） (2020-07-09T18:03:12Z)
• Curriculum By Smoothing [52.08553521577014]
  畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。 アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。 トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
  論文  参考訳（メタデータ） (2020-03-03T07:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。