論文の概要: Learning to Read through Machine Teaching

• arxiv url: http://arxiv.org/abs/2006.16470v2
• Date: Thu, 2 Jul 2020 17:09:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 04:17:43.746572
• Title: Learning to Read through Machine Teaching
• Title（参考訳）: 機械教育を通して読むことを学ぶ
• Authors: Ayon Sen, Christopher R. Cox, Matthew Cooper Borkenhagen, Mark S. Seidenberg and Xiaojin Zhu
• Abstract要約: 単語を声で読むことを学ぶことは、読者になるための大きなステップである。 多くの子供たちは、英語の綴りと音の対応の不整合のために、このタスクに苦労しています。 我々は、認知的に興味深いニューラルネットワークアーキテクチャを使用して、学習を容易にするために学習試験のシーケンスを構造化できるかどうかを調べました。
• 参考スコア（独自算出の注目度）: 11.544322492772618
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning to read words aloud is a major step towards becoming a reader. Many children struggle with the task because of the inconsistencies of English spelling-sound correspondences. Curricula vary enormously in how these patterns are taught. Children are nonetheless expected to master the system in limited time (by grade 4). We used a cognitively interesting neural network architecture to examine whether the sequence of learning trials could be structured to facilitate learning. This is a hard combinatorial optimization problem even for a modest number of learning trials (e.g., 10K). We show how this sequence optimization problem can be posed as optimizing over a time varying distribution i.e., defining probability distributions over words at different steps in training. We then use stochastic gradient descent to find an optimal time-varying distribution and a corresponding optimal training sequence. We observed significant improvement on generalization accuracy compared to baseline conditions (random sequences; sequences biased by word frequency). These findings suggest an approach to improving learning outcomes in domains where performance depends on ability to generalize beyond limited training experience.
• Abstract（参考訳）: 単語を読むことを学ぶことは、読者になるための大きな一歩だ。 多くの子供たちは、英語の綴りと音の対応の不一致のためにこの課題に苦しむ。 カリキュラムは、これらのパターンの教え方によって大きく異なる。 それにもかかわらず、子どもたちは限られた時間(4年生)でシステムをマスターすることが期待されている。 認知的に興味深いニューラルネットワークアーキテクチャを用いて、学習試行のシーケンスが学習を容易にするために構成されるかどうかを検証した。 これはわずかな数(例えば10k)の学習試行でも難しい組合せ最適化問題である。 本稿では,この系列最適化問題を,時間変化分布の最適化,すなわち,異なるステップにおける単語に対する確率分布の定義として提案する。 次に、確率勾配降下法を用いて最適な時間変化分布と対応する最適トレーニングシーケンスを求める。 基本条件 (ランダムシーケンス, 単語頻度に偏ったシーケンス) と比較して, 一般化精度は有意に向上した。 これらの結果は,限られた学習経験を超えて,パフォーマンスが一般化する能力に依存する領域における学習成果の改善へのアプローチを示唆している。

関連論文リスト

• Extrinsicaly Rewarded Soft Q Imitation Learning with Discriminator [0.0]
  行動クローンのような教師付き学習手法はサンプリングデータを必要としないが、通常は分散シフトに悩まされる。 ソフトQ模倣学習(SQIL)はこの問題に対処し,行動クローンとソフトQ学習を一定の報酬と組み合わせることで効率よく学習できることを示した。
  論文  参考訳（メタデータ） (2024-01-30T06:22:19Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• Alleviate Exposure Bias in Sequence Prediction \\ with Recurrent Neural Networks [47.52214243454995]
  繰り返しニューラルネットワーク(RNN)を訓練する一般的な戦略は、各ステップで入力として地上の真実を取ることです。 本稿では,RNNの長期的依存関係をよりよく把握するための,完全微分可能なトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-22T06:15:22Z)
• Contrastive learning of strong-mixing continuous-time stochastic processes [53.82893653745542]
  コントラスト学習(Contrastive Learning)は、ラベルのないデータから構築された分類タスクを解決するためにモデルを訓練する自己指導型の手法のファミリーである。 拡散の場合,小～中距離間隔の遷移カーネルを適切に構築したコントラスト学習タスクを用いて推定できることが示される。
  論文  参考訳（メタデータ） (2021-03-03T23:06:47Z)
• $k$-Neighbor Based Curriculum Sampling for Sequence Prediction [22.631763991832862]
  言語モデルにおける多段階予測は、トレーニングとテスト時間プロセスの相違により困難である。 教師方針を段階的に変更するカリキュラム学習に基づく手法であるtextitNearest-Neighbor Replacement Samplingを提案する。 本研究では, 2つの言語モデリングベンチマークについて報告し, スケジュールされたサンプリングと併用することで, 性能をさらに向上させる方法を提案する。
  論文  参考訳（メタデータ） (2021-01-22T20:07:29Z)
• Tasks, stability, architecture, and compute: Training more effective learned optimizers, and using them to train themselves [53.37905268850274]
  我々は、自動正規化を実現するために、バリデーション損失などの追加機能にアクセス可能な、階層的で階層的なニューラルネットワークパラメータ化を導入した。 ほとんどの学習は単一のタスク、あるいは少数のタスクでトレーニングされています。 何千ものタスクをトレーニングし、桁違いに計算量を増やし、その結果、目に見えないタスクよりも優れたパフォーマンスの一般化を実現します。
  論文  参考訳（メタデータ） (2020-09-23T16:35:09Z)
• Temporally Correlated Task Scheduling for Sequence Learning [143.70523777803723]
  多くのアプリケーションにおいて、シーケンス学習タスクは通常、複数の時間的に相関した補助タスクと関連付けられている。 シーケンス学習に学習可能なスケジューラを導入し、トレーニングのための補助的なタスクを適応的に選択できる。 本手法は,同時翻訳とストックトレンド予測の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2020-07-10T10:28:54Z)
• Learning with Differentiable Perturbed Optimizers [54.351317101356614]
  本稿では,操作を微分可能で局所的に一定ではない操作に変換する手法を提案する。 提案手法は摂動に依拠し,既存の解法とともに容易に利用することができる。 本稿では,この枠組みが,構造化予測において発達した損失の族とどのように結びつくかを示し,学習課題におけるそれらの使用に関する理論的保証を与える。
  論文  参考訳（メタデータ） (2020-02-20T11:11:32Z)
• Bayesian Meta-Prior Learning Using Empirical Bayes [3.666114237131823]
  本稿では,情報的事前の欠如とパラメータ学習率の制御能力に対処する階層的経験ベイズ手法を提案する。 本手法は,データ自体から経験的メタプライヤを学習し,その学習率を1次および2次の特徴の分離に利用する。 スパースデータの最適化は、しばしば課題となるため、私たちの発見は有望です。
  論文  参考訳（メタデータ） (2020-02-04T05:08:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。