論文の概要: Learning to Read through Machine Teaching
- arxiv url: http://arxiv.org/abs/2006.16470v2
- Date: Thu, 2 Jul 2020 17:09:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 04:17:43.746572
- Title: Learning to Read through Machine Teaching
- Title(参考訳): 機械教育を通して読むことを学ぶ
- Authors: Ayon Sen, Christopher R. Cox, Matthew Cooper Borkenhagen, Mark S.
Seidenberg and Xiaojin Zhu
- Abstract要約: 単語を声で読むことを学ぶことは、読者になるための大きなステップである。
多くの子供たちは、英語の綴りと音の対応の不整合のために、このタスクに苦労しています。
我々は、認知的に興味深いニューラルネットワークアーキテクチャを使用して、学習を容易にするために学習試験のシーケンスを構造化できるかどうかを調べました。
- 参考スコア(独自算出の注目度): 11.544322492772618
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning to read words aloud is a major step towards becoming a reader. Many
children struggle with the task because of the inconsistencies of English
spelling-sound correspondences. Curricula vary enormously in how these patterns
are taught. Children are nonetheless expected to master the system in limited
time (by grade 4). We used a cognitively interesting neural network
architecture to examine whether the sequence of learning trials could be
structured to facilitate learning. This is a hard combinatorial optimization
problem even for a modest number of learning trials (e.g., 10K). We show how
this sequence optimization problem can be posed as optimizing over a time
varying distribution i.e., defining probability distributions over words at
different steps in training. We then use stochastic gradient descent to find an
optimal time-varying distribution and a corresponding optimal training
sequence. We observed significant improvement on generalization accuracy
compared to baseline conditions (random sequences; sequences biased by word
frequency). These findings suggest an approach to improving learning outcomes
in domains where performance depends on ability to generalize beyond limited
training experience.
- Abstract(参考訳): 単語を読むことを学ぶことは、読者になるための大きな一歩だ。
多くの子供たちは、英語の綴りと音の対応の不一致のためにこの課題に苦しむ。
カリキュラムは、これらのパターンの教え方によって大きく異なる。
それにもかかわらず、子どもたちは限られた時間(4年生)でシステムをマスターすることが期待されている。
認知的に興味深いニューラルネットワークアーキテクチャを用いて、学習試行のシーケンスが学習を容易にするために構成されるかどうかを検証した。
これはわずかな数(例えば10k)の学習試行でも難しい組合せ最適化問題である。
本稿では,この系列最適化問題を,時間変化分布の最適化,すなわち,異なるステップにおける単語に対する確率分布の定義として提案する。
次に、確率勾配降下法を用いて最適な時間変化分布と対応する最適トレーニングシーケンスを求める。
基本条件 (ランダムシーケンス, 単語頻度に偏ったシーケンス) と比較して, 一般化精度は有意に向上した。
これらの結果は,限られた学習経験を超えて,パフォーマンスが一般化する能力に依存する領域における学習成果の改善へのアプローチを示唆している。
関連論文リスト
- When, Why and How Much? Adaptive Learning Rate Scheduling by Refinement [51.12097770185634]
実際に使用される学習率のスケジュールは、理論によって推奨されるものとはほとんど似ていない。
我々はこの理論と実践的ギャップの多くを閉じ、その結果、新しい問題適応型学習率スケジュールを導き出すことができる。
論文 参考訳(メタデータ) (2023-10-11T19:16:35Z) - Learning to Optimize for Reinforcement Learning [79.03249959636776]
ゼロから強化学習を行うエージェントを学習することは可能であることを示す。
おもちゃのタスクでしか訓練されないが、我々の学習はブラックスの複雑なタスクに一般化することができる。
論文 参考訳(メタデータ) (2023-02-03T00:11:02Z) - Alleviate Exposure Bias in Sequence Prediction \\ with Recurrent Neural
Networks [47.52214243454995]
繰り返しニューラルネットワーク(RNN)を訓練する一般的な戦略は、各ステップで入力として地上の真実を取ることです。
本稿では,RNNの長期的依存関係をよりよく把握するための,完全微分可能なトレーニングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-03-22T06:15:22Z) - Contrastive learning of strong-mixing continuous-time stochastic
processes [53.82893653745542]
コントラスト学習(Contrastive Learning)は、ラベルのないデータから構築された分類タスクを解決するためにモデルを訓練する自己指導型の手法のファミリーである。
拡散の場合,小~中距離間隔の遷移カーネルを適切に構築したコントラスト学習タスクを用いて推定できることが示される。
論文 参考訳(メタデータ) (2021-03-03T23:06:47Z) - $k$-Neighbor Based Curriculum Sampling for Sequence Prediction [22.631763991832862]
言語モデルにおける多段階予測は、トレーニングとテスト時間プロセスの相違により困難である。
教師方針を段階的に変更するカリキュラム学習に基づく手法であるtextitNearest-Neighbor Replacement Samplingを提案する。
本研究では, 2つの言語モデリングベンチマークについて報告し, スケジュールされたサンプリングと併用することで, 性能をさらに向上させる方法を提案する。
論文 参考訳(メタデータ) (2021-01-22T20:07:29Z) - Tasks, stability, architecture, and compute: Training more effective
learned optimizers, and using them to train themselves [53.37905268850274]
我々は、自動正規化を実現するために、バリデーション損失などの追加機能にアクセス可能な、階層的で階層的なニューラルネットワークパラメータ化を導入した。
ほとんどの学習は単一のタスク、あるいは少数のタスクでトレーニングされています。
何千ものタスクをトレーニングし、桁違いに計算量を増やし、その結果、目に見えないタスクよりも優れたパフォーマンスの一般化を実現します。
論文 参考訳(メタデータ) (2020-09-23T16:35:09Z) - Temporally Correlated Task Scheduling for Sequence Learning [143.70523777803723]
多くのアプリケーションにおいて、シーケンス学習タスクは通常、複数の時間的に相関した補助タスクと関連付けられている。
シーケンス学習に学習可能なスケジューラを導入し、トレーニングのための補助的なタスクを適応的に選択できる。
本手法は,同時翻訳とストックトレンド予測の性能を著しく向上させる。
論文 参考訳(メタデータ) (2020-07-10T10:28:54Z) - Bayesian Meta-Prior Learning Using Empirical Bayes [3.666114237131823]
本稿では,情報的事前の欠如とパラメータ学習率の制御能力に対処する階層的経験ベイズ手法を提案する。
本手法は,データ自体から経験的メタプライヤを学習し,その学習率を1次および2次の特徴の分離に利用する。
スパースデータの最適化は、しばしば課題となるため、私たちの発見は有望です。
論文 参考訳(メタデータ) (2020-02-04T05:08:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。