論文の概要: Comparison and Analysis of New Curriculum Criteria for End-to-End ASR
- arxiv url: http://arxiv.org/abs/2208.05782v1
- Date: Wed, 10 Aug 2022 06:56:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-12 12:59:27.530981
- Title: Comparison and Analysis of New Curriculum Criteria for End-to-End ASR
- Title（参考訳）: エンド・ツー・エンドASRの新しいカリキュラム基準の比較と解析
- Authors: Georgios Karakasidis, Tam\'as Gr\'osz, Mikko Kurimo
- Abstract要約: カリキュラム学習は、知識の組織的で構造化された同化が、より速いトレーニングとより良い理解を可能にする能力を持つという観察に基づいて構築される。
我々は,自動音声認識の文脈でカリキュラム学習を採用する。
トレーニングセットに構造を付加するため、外部ニューラルネットワークからのフィードバックを利用するか、モデル自体からのフィードバックを取り入れる複数のスコアリング関数を探索した。
- 参考スコア（独自算出の注目度）: 10.698093106994804
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: It is common knowledge that the quantity and quality of the training data
play a significant role in the creation of a good machine learning model. In
this paper, we take it one step further and demonstrate that the way the
training examples are arranged is also of crucial importance. Curriculum
Learning is built on the observation that organized and structured assimilation
of knowledge has the ability to enable faster training and better
comprehension. When humans learn to speak, they first try to utter basic phones
and then gradually move towards more complex structures such as words and
sentences. This methodology is known as Curriculum Learning, and we employ it
in the context of Automatic Speech Recognition. We hypothesize that end-to-end
models can achieve better performance when provided with an organized training
set consisting of examples that exhibit an increasing level of difficulty (i.e.
a curriculum). To impose structure on the training set and to define the notion
of an easy example, we explored multiple scoring functions that either use
feedback from an external neural network or incorporate feedback from the model
itself. Empirical results show that with different curriculums we can balance
the training times and the network's performance.
- Abstract（参考訳）: トレーニングデータの量と品質が優れた機械学習モデルの作成に重要な役割を果たすことは、一般的な知識である。
本稿では,さらに一歩進めて,トレーニング例の配置方法も重要であることを実証する。
カリキュラム学習は、知識の組織化され構造化された同化が、より高速なトレーニングとより良い理解を可能にする能力を持つ観察に基づいて構築される。
人間が話すことを覚えると、まず基本的な電話を鳴らして、言葉や文のようなより複雑な構造に向かっていく。
この手法はカリキュラム学習(Curriculum Learning)と呼ばれ,音声認識の文脈で採用する。
我々は、難易度(すなわちカリキュラム)が増大する例からなる組織化されたトレーニングセットを提供することで、エンドツーエンドモデルがより良いパフォーマンスを達成することができると仮定する。
トレーニングセットに構造を課し,簡単な例の概念を定義するために,外部ニューラルネットワークからのフィードバックを使用したり,モデル自体からのフィードバックを取り入れたりする,複数のスコアリング関数について検討した。
実証的な結果は、異なるカリキュラムでトレーニング時間とネットワークのパフォーマンスのバランスをとることができることを示している。
関連論文リスト
- Dynamic Skill Adaptation for Large Language Models [78.31322532135272]
動的スキル適応(Dynamic Skill Adaptation, DSA)は, 言語モデル(LLM)に新しい複雑なスキルを適応させる適応的かつ動的フレームワークである。
各スキルに対して,学習前スキルの詳細な記述を含む教科書的データと,学習前スキルの具体的活用を目標とした演習的データの両方を生成する。
LLAMA や Mistral のような大規模言語モデルを用いた実験は,提案手法が数学推論スキルや社会学習スキルに適応する上で有効であることを示す。
論文 参考訳（メタデータ） (2024-12-26T22:04:23Z) - Punctuation Restoration Improves Structure Understanding without
Supervision [6.4736137270915215]
学習目的としての句読点復元は,構造関連タスクにおける内外分布性能を向上させることを示す。
句読解は、構造理解を改善し、自然言語のより堅牢な構造認識表現を得ることができる効果的な学習目的である。
論文 参考訳（メタデータ） (2024-02-13T11:22:52Z) - A Quantitative Approach to Predicting Representational Learning and
Performance in Neural Networks [5.544128024203989]
ニューラルネットワークの主な特性は、タスクを解決するために入力情報の表現と操作を学ぶ方法である。
本稿では,学習した表現を分析し,予測するための擬似カーネルツールを提案する。
論文 参考訳（メタデータ） (2023-07-14T18:39:04Z) - The Learnability of In-Context Learning [16.182561312622315]
そこで本研究では,文脈内学習のための初歩的なPACベースのフレームワークを提案する。
本フレームワークは,事前学習に適合する初期事前学習フェーズを含む。
文脈内学習は、タスクを学習することよりも、タスクを特定することにあることを示す。
論文 参考訳（メタデータ） (2023-03-14T13:28:39Z) - An Analytical Theory of Curriculum Learning in Teacher-Student Networks [10.303947049948107]
人間や動物では、カリキュラム学習は迅速な学習と効果的な教育に不可欠である。
機械学習では、キュリキュラは広く使われておらず、経験的には適度な利益しか得られない。
論文 参考訳（メタデータ） (2021-06-15T11:48:52Z) - Curriculum Learning: A Survey [65.31516318260759]
カリキュラム学習戦略は、機械学習のあらゆる分野で成功している。
我々は,様々な分類基準を考慮して,カリキュラム学習アプローチの分類を手作業で構築する。
集約型クラスタリングアルゴリズムを用いて,カリキュラム学習手法の階層木を構築する。
論文 参考訳（メタデータ） (2021-01-25T20:08:32Z) - Concept Learners for Few-Shot Learning [76.08585517480807]
本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。
我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
論文 参考訳（メタデータ） (2020-07-14T22:04:17Z) - A Competence-aware Curriculum for Visual Concepts Learning via Question
Answering [95.35905804211698]
本稿では,視覚概念学習のための質問応答型カリキュラムを提案する。
視覚概念を学習するためのニューラルシンボリックな概念学習者と学習プロセスを導くための多次元項目応答理論(mIRT)モデルを設計する。
CLEVRの実験結果から,コンピテンスを意識したカリキュラムにより,提案手法は最先端のパフォーマンスを実現することが示された。
論文 参考訳（メタデータ） (2020-07-03T05:08:09Z) - Instance-Based Learning of Span Representations: A Case Study through
Named Entity Recognition [48.06319154279427]
本研究では,スパン間の類似性を学習するインスタンスベースの学習手法を提案する。
本手法では,性能を犠牲にすることなく高い解釈性を持つモデルを構築することができる。
論文 参考訳（メタデータ） (2020-04-29T23:32:42Z) - Revisiting Meta-Learning as Supervised Learning [69.2067288158133]
メタラーニングと従来の教師付き学習の関連性を再考し,強化することで,原則的,統一的なフレームワークの提供を目指す。
タスク固有のデータセットとターゲットモデルを(機能、ラベル)サンプルとして扱うことで、多くのメタ学習アルゴリズムを教師付き学習のインスタンスに還元することができる。
この視点は、メタラーニングを直感的で実践的なフレームワークに統一するだけでなく、教師付き学習から直接洞察を伝達してメタラーニングを改善することができる。
論文 参考訳（メタデータ） (2020-02-03T06:13:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。