論文の概要: Analyzing Curriculum Learning for Sentiment Analysis along Task Difficulty, Pacing and Visualization Axes

• arxiv url: http://arxiv.org/abs/2102.09990v1
• Date: Fri, 19 Feb 2021 15:42:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-22 22:54:47.747772
• Title: Analyzing Curriculum Learning for Sentiment Analysis along Task Difficulty, Pacing and Visualization Axes
• Title（参考訳）: タスク難易度, ペーシング, 可視化軸を用いた感情分析のためのカリキュラム学習の分析
• Authors: Anvesh Rao Vijjini, Kaveri Anuranjana, Radhika Mamidi
• Abstract要約: 複数の軸に沿った感情分析でカリキュラム学習を分析する。 カリキュラム学習は難しいタスクに最適であり、カリキュラム学習なしで高いパフォーマンスを持つタスクのパフォーマンスの低下につながる可能性がある。
• 参考スコア（独自算出の注目度）: 7.817598216459955
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: While Curriculum learning (CL) has recently gained traction in Natural language Processing Tasks, it still isn't being analyzed adequately. Previous works only show their effectiveness but fail short to fully explain and interpret the internal workings. In this paper, we analyze curriculum learning in sentiment analysis along multiple axes. Some of these axes have been proposed by earlier works that need deeper study. Such analysis requires understanding where curriculum learning works and where it doesn't. Our axes of analysis include Task difficulty on CL, comparing CL pacing techniques, and qualitative analysis by visualizing the movement of attention scores in the model as curriculum phases progress. We find that curriculum learning works best for difficult tasks and may even lead to a decrement in performance for tasks that have higher performance without curriculum learning. Within curriculum pacing, we see that One-Pass curriculum strategies suffer from catastrophic forgetting and attention movement visualization shows that curriculum learning breaks down the main task into easier sub-tasks which the model solves easily.
• Abstract（参考訳）: カリキュラム学習(CL)は、最近自然言語処理タスクで注目を集めているが、それでも十分に分析されていない。 以前の作品は、その効果を示すだけでなく、内部動作の完全な説明と解釈に失敗している。 本稿では,複数の軸に沿った感情分析におけるカリキュラム学習を解析する。 これらの軸のいくつかは、より深い研究を必要とする初期の研究によって提案されている。 このような分析には、カリキュラム学習の仕組みとそうでない場所を理解する必要があります。 分析の軸はclにおける課題難易度,clペーシング手法の比較,およびカリキュラム段階としてモデルの注意点の移動を可視化することで定性解析を行う。 カリキュラム学習は難しいタスクに最適であり、カリキュラム学習なしで高いパフォーマンスを持つタスクのパフォーマンスの低下につながる可能性がある。 カリキュラムペーシングでは、ワンパスのカリキュラム戦略が破滅的な忘れと注意運動の可視化に苦しめられ、カリキュラム学習がメインタスクを分割し、モデルの解き易いサブタスクに分解する。

関連論文リスト

• CLIMB: Curriculum Learning for Infant-inspired Model Building [6.4766496232839685]
  本稿では,BabyLM ChallengeのSTRICT-SMALLトラックへのチームの貢献について述べる。 課題は、1000万ワードの比較的小さなトレーニングデータセットを使用して、言語モデルをゼロからトレーニングすることである。 認知に動機づけられたカリキュラム学習の3つの変種を実験し,そのモデルの性能に及ぼす影響を解析した。
  論文  参考訳（メタデータ） (2023-11-15T11:48:16Z)
• Dynamic Task and Weight Prioritization Curriculum Learning for Multimodal Imagery [0.5439020425819]
  本稿では,カリキュラム学習法を訓練したマルチモーダル深層学習モデルを用いたディザスタ後の分析について検討する。 カリキュラム学習は、ますます複雑なデータに基づいてディープラーニングモデルを訓練することにより、人間の教育における進歩的な学習シーケンスをエミュレートする。
  論文  参考訳（メタデータ） (2023-10-29T18:46:33Z)
• Unsupervised Task Graph Generation from Instructional Video Transcripts [53.54435048879365]
  本研究では,実世界の活動を行う指導ビデオのテキスト書き起こしを提供する環境について考察する。 目標は、これらの重要なステップ間の依存関係関係と同様に、タスクに関連する重要なステップを特定することです。 本稿では,命令調整言語モデルの推論能力とクラスタリングとランキングコンポーネントを組み合わせたタスクグラフ生成手法を提案する。
  論文  参考訳（メタデータ） (2023-02-17T22:50:08Z)
• What Makes Good Contrastive Learning on Small-Scale Wearable-based Tasks? [59.51457877578138]
  本研究では,ウェアラブル型行動認識タスクにおけるコントラスト学習について検討する。 本稿では,PyTorchライブラリのtextttCL-HAR について述べる。
  論文  参考訳（メタデータ） (2022-02-12T06:10:15Z)
• An Analytical Theory of Curriculum Learning in Teacher-Student Networks [10.303947049948107]
  人間や動物では、カリキュラム学習は迅速な学習と効果的な教育に不可欠である。 機械学習では、キュリキュラは広く使われておらず、経験的には適度な利益しか得られない。
  論文  参考訳（メタデータ） (2021-06-15T11:48:52Z)
• Distribution Matching for Heterogeneous Multi-Task Learning: a Large-scale Face Study [75.42182503265056]
  マルチタスク学習は、共有学習アルゴリズムによって複数のタスクを共同で学習する方法論として登場した。 我々は異種mtlに対処し,検出,分類,回帰問題を同時に解決する。 大規模な顔分析のための最初のフレームワークであるFaceBehaviorNetを構築し、すべての顔行動タスクを共同で学習する。
  論文  参考訳（メタデータ） (2021-05-08T22:26:52Z)
• Statistical Measures For Defining Curriculum Scoring Function [5.328970912536596]
  実画像データセット上での畳み込みニューラルネットワークとフルコネクテッドニューラルネットワークの性能向上を示します。 暗黙のカリキュラム順序からの洞察に動機づけられ,簡単なカリキュラム学習戦略を導入する。 また,動的カリキュラム学習アルゴリズムの性能について提案・検討する。
  論文  参考訳（メタデータ） (2021-02-27T07:25:49Z)
• Curriculum Learning: A Survey [65.31516318260759]
  カリキュラム学習戦略は、機械学習のあらゆる分野で成功している。 我々は,様々な分類基準を考慮して,カリキュラム学習アプローチの分類を手作業で構築する。 集約型クラスタリングアルゴリズムを用いて,カリキュラム学習手法の階層木を構築する。
  論文  参考訳（メタデータ） (2021-01-25T20:08:32Z)
• When Do Curricula Work? [26.072472732516335]
  規則学習はI. I. I. D. トレーニングの改善として提案されている。 我々は、カリキュラム、反カリキュラム、ランダムカリキュラムの3種類の学習にまたがる何千もの注文実験を行った。 キュリキュラは限界的な利点しか持たず、ランダムに順序づけられたサンプルはキュリキュラや反キュリキュラと同等以上の性能を示す。
  論文  参考訳（メタデータ） (2020-12-05T19:41:30Z)
• Pre-training Text Representations as Meta Learning [113.3361289756749]
  本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。 マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
  論文  参考訳（メタデータ） (2020-04-12T09:05:47Z)
• Curriculum Learning for Reinforcement Learning Domains: A Framework and Survey [53.73359052511171]
  強化学習(Reinforcement Learning, RL)は、エージェントが限られた環境フィードバックしか持たないシーケンシャルな意思決定タスクに対処するための一般的なパラダイムである。 本稿では、RLにおけるカリキュラム学習(CL)の枠組みを提案し、既存のCLメソッドを仮定、能力、目標の観点から調査・分類する。
  論文  参考訳（メタデータ） (2020-03-10T20:41:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。