論文の概要: Statistical Measures For Defining Curriculum Scoring Function

• arxiv url: http://arxiv.org/abs/2103.00147v1
• Date: Sat, 27 Feb 2021 07:25:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-03 16:22:10.970280
• Title: Statistical Measures For Defining Curriculum Scoring Function
• Title（参考訳）: カリキュラムスコーリング関数の定義のための統計的措置
• Authors: Vinu Sankar Sadasivan, Anirban Dasgupta
• Abstract要約: 実画像データセット上での畳み込みニューラルネットワークとフルコネクテッドニューラルネットワークの性能向上を示します。 暗黙のカリキュラム順序からの洞察に動機づけられ,簡単なカリキュラム学習戦略を導入する。 また,動的カリキュラム学習アルゴリズムの性能について提案・検討する。
• 参考スコア（独自算出の注目度）: 5.328970912536596
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Curriculum learning is a training strategy that sorts the training examples by some measure of their difficulty and gradually exposes them to the learner to improve the network performance. In this work, we propose two novel curriculum learning algorithms, and empirically show their improvements in performance with convolutional and fully-connected neural networks on multiple real image datasets. Motivated by our insights from implicit curriculum ordering, we introduce a simple curriculum learning strategy that uses statistical measures such as standard deviation and entropy values to score the difficulty of data points for real image classification tasks. We also propose and study the performance of a dynamic curriculum learning algorithm. Our dynamic curriculum algorithm tries to reduce the distance between the network weight and an optimal weight at any training step by greedily sampling examples with gradients that are directed towards the optimal weight. Further, we also use our algorithms to discuss why curriculum learning is helpful.
• Abstract（参考訳）: カリキュラム学習は、トレーニングの例をある程度の難易度で分類し、徐々に学習者に公開してネットワークパフォーマンスを向上させるトレーニング戦略である。 本研究では,2つの新しいカリキュラム学習アルゴリズムを提案し,複数の実画像データセット上で畳み込みニューラルネットワークとフルコネクテッドニューラルネットワークによる性能向上を実証的に示す。 暗黙的なカリキュラムオーダからの洞察に動機づけられ,実際の画像分類タスクにおけるデータポイントの難易度を評価するために,標準偏差やエントロピー値などの統計的尺度を用いた単純なカリキュラム学習戦略を提案する。 また,動的カリキュラム学習アルゴリズムの性能について提案・検討する。 動的カリキュラムアルゴリズムは,任意のトレーニングステップにおけるネットワークウェイトと最適なウェイトとの間の距離を,最適なウェイトに向けられた勾配でサンプルをゆるやかにサンプリングすることで低減しようとする。 さらに,カリキュラム学習が役に立つ理由をアルゴリズムを用いて議論する。

関連論文リスト

• EfficientTrain++: Generalized Curriculum Learning for Efficient Visual Backbone Training [79.96741042766524]
  訓練カリキュラムをソフトセレクション機能として再構築する。 自然画像の内容の露光は,データ拡張の強度によって容易に達成できることを示す。 結果のメソッドであるEfficientTrain++は単純で汎用的だが驚くほど効果的である。
  論文  参考訳（メタデータ） (2024-05-14T17:00:43Z)
• Dynamic Task and Weight Prioritization Curriculum Learning for Multimodal Imagery [0.5439020425819]
  本稿では,カリキュラム学習法を訓練したマルチモーダル深層学習モデルを用いたディザスタ後の分析について検討する。 カリキュラム学習は、ますます複雑なデータに基づいてディープラーニングモデルを訓練することにより、人間の教育における進歩的な学習シーケンスをエミュレートする。
  論文  参考訳（メタデータ） (2023-10-29T18:46:33Z)
• Curriculum Learning for Graph Neural Networks: A Multiview Competence-based Approach [12.335698325757491]
  本稿では,グラフ複雑性形式に基づく新しいアプローチを導入することで,カリキュラム学習の新しい視点を提案する。 提案手法は,グラフの難易度基準のきめ細かいスペクトルを組み込んだグラフニューラルネットワークのカリキュラム学習において,既存の研究を推し進めるものである。
  論文  参考訳（メタデータ） (2023-07-17T21:33:35Z)
• Online Network Source Optimization with Graph-Kernel MAB [62.6067511147939]
  大規模ネットワークにおける最適なソース配置をオンラインで学習するためのグラフカーネルマルチアームバンディットアルゴリズムであるGrab-UCBを提案する。 適応グラフ辞書モデルを用いて,ネットワークプロセスを記述する。 我々は、ネットワークパラメータに依存する性能保証を導出し、シーケンシャルな意思決定戦略の学習曲線にさらに影響を及ぼす。
  論文  参考訳（メタデータ） (2023-07-07T15:03:42Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• EfficientTrain: Exploring Generalized Curriculum Learning for Training Visual Backbones [80.662250618795]
  本稿では視覚バックボーン(例えば視覚変換器)の効率的なトレーニングのための新しいカリキュラム学習手法を提案する。 オフザシェルフ方式として、様々な人気モデルのウォールタイムトレーニングコストを、精度を犠牲にすることなく、ImageNet-1K/22Kで1.5倍に削減する。
  論文  参考訳（メタデータ） (2022-11-17T17:38:55Z)
• Budget-aware Few-shot Learning via Graph Convolutional Network [56.41899553037247]
  本稿では,いくつかの例から新しい視覚概念を学習することを目的とした,数ショット学習の課題に取り組む。 数ショット分類における一般的な問題設定は、データラベルの取得においてランダムサンプリング戦略を前提としている。 そこで我々は,新しい対象カテゴリーの学習を目的とした,予算に配慮した数発の学習問題を新たに導入する。
  論文  参考訳（メタデータ） (2022-01-07T02:46:35Z)
• Curriculum Meta-Learning for Few-shot Classification [1.5039745292757671]
  本稿では,最新のメタ学習技術に適用可能なカリキュラム学習フレームワークの適応性を提案する。 数発の画像分類タスクにおけるMAMLアルゴリズムによる実験は,カリキュラムの学習フレームワークにおいて有意な効果を示した。
  論文  参考訳（メタデータ） (2021-12-06T10:29:23Z)
• Spatial Transformer Networks for Curriculum Learning [6.107943372244105]
  我々は,Spatial Transformer Networks (STNs) からインスピレーションを得て,容易にハードなカリキュラムを構築する。 乱雑なMNISTとFashion-MNISTデータセットについて様々な実験を行った。
  論文  参考訳（メタデータ） (2021-08-22T12:04:55Z)
• Curriculum Learning: A Survey [65.31516318260759]
  カリキュラム学習戦略は、機械学習のあらゆる分野で成功している。 我々は,様々な分類基準を考慮して,カリキュラム学習アプローチの分類を手作業で構築する。 集約型クラスタリングアルゴリズムを用いて,カリキュラム学習手法の階層木を構築する。
  論文  参考訳（メタデータ） (2021-01-25T20:08:32Z)
• Curriculum Learning with Diversity for Supervised Computer Vision Tasks [1.5229257192293197]
  本稿では,学習データの多様性と入力の難しさを考慮に入れた,新たなカリキュラムサンプリング戦略を提案する。 我々は、我々の戦略が不均衡なデータセットに対して非常に効率的であることを証明し、より高速な収束とより正確な結果をもたらす。
  論文  参考訳（メタデータ） (2020-09-22T15:32:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。