論文の概要: Implicit assessment of language learning during practice as accurate as explicit testing
- arxiv url: http://arxiv.org/abs/2409.16133v1
- Date: Tue, 24 Sep 2024 14:40:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-26 05:36:51.229277
- Title: Implicit assessment of language learning during practice as accurate as explicit testing
- Title（参考訳）: 明示的テストと同じくらいの精度で実践した言語学習の意図的評価
- Authors: Jue Hou, Anisia Katinskaia, Anh-Duc Vu, Roman Yangarber,
- Abstract要約: コンピュータ支援型言語学習において,2つの文脈における学生の能力評価に項目応答理論(IRT)を用いる。
まず、効率は良いが正確な適応テストで徹底的なテストを置き換えることを目的としている。
第2に,エクササイズによる実践の文脈から直接,テストなしで学習者の能力を正確に推定できるかどうかを検討する。
- 参考スコア（独自算出の注目度）: 0.5749787074942512
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Assessment of proficiency of the learner is an essential part of Intelligent Tutoring Systems (ITS). We use Item Response Theory (IRT) in computer-aided language learning for assessment of student ability in two contexts: in test sessions, and in exercises during practice sessions. Exhaustive testing across a wide range of skills can provide a detailed picture of proficiency, but may be undesirable for a number of reasons. Therefore, we first aim to replace exhaustive tests with efficient but accurate adaptive tests. We use learner data collected from exhaustive tests under imperfect conditions, to train an IRT model to guide adaptive tests. Simulations and experiments with real learner data confirm that this approach is efficient and accurate. Second, we explore whether we can accurately estimate learner ability directly from the context of practice with exercises, without testing. We transform learner data collected from exercise sessions into a form that can be used for IRT modeling. This is done by linking the exercises to {\em linguistic constructs}; the constructs are then treated as "items" within IRT. We present results from large-scale studies with thousands of learners. Using teacher assessments of student ability as "ground truth," we compare the estimates obtained from tests vs. those from exercises. The experiments confirm that the IRT models can produce accurate ability estimation based on exercises.
- Abstract（参考訳）: 学習者の習熟度の評価は知能学習システム(ITS)の不可欠な部分である。
本研究では,コンピュータ支援言語学習における項目応答理論(IRT)を用いて,テストセッションと実践セッションにおける演習の2つの文脈における学生の能力の評価を行う。
幅広いスキルにわたるエクササイズテストは、熟練度の詳細図を提供することができるが、いくつかの理由から望ましくないかもしれない。
そこで本研究では,まず,効率は良いが正確な適応テストに置き換える。
我々は、不完全な条件下での徹底的なテストから収集した学習者データを用いて、適応テストの指導のためにIRTモデルを訓練する。
実学習者データを用いたシミュレーションと実験により,このアプローチが効率的かつ正確であることが確認された。
第2に,エクササイズによる実践の文脈から直接,テストなしで学習者の能力を正確に推定できるかどうかを検討する。
我々は,演習セッションから収集した学習データをIRTモデリングに使用可能な形式に変換する。
これはエクササイズを {\em Language constructs} にリンクすることで行われ、そのコンストラクトはIRT内で"items"として扱われる。
何千人もの学習者による大規模研究の結果を提示する。
学生の能力の教師評価を「地上の真実」として,テストから得られた評価値と演習から得られた評価値を比較した。
実験により、IRTモデルがエクササイズに基づいて正確な能力推定を実現できることが確認された。
関連論文リスト
- BoostAdapter: Improving Vision-Language Test-Time Adaptation via Regional Bootstrapping [64.8477128397529]
本稿では,テスト時間適応フレームワークを提案する。
我々は、インスタンスに依存しない履歴サンプルとインスタンスを意識したブースティングサンプルから特徴を検索するための軽量なキー値メモリを維持している。
理論的には,本手法の背後にある合理性を正当化し,アウト・オブ・ディストリビューションとクロスドメイン・データセットの両方において,その有効性を実証的に検証する。
論文 参考訳（メタデータ） (2024-10-20T15:58:43Z) - Training on the Test Task Confounds Evaluation and Emergence [16.32378359459614]
テストタスクのトレーニングは、相対モデル評価と創発的能力に関するクレームの両方に矛盾があることを示します。
評価前のタスク関連データと比較し,各モデルを微調整することにより,テストタスクのトレーニングを効果的に調整する手法を提案する。
論文 参考訳（メタデータ） (2024-07-10T17:57:58Z) - Natural Language Processing Through Transfer Learning: A Case Study on
Sentiment Analysis [1.14219428942199]
本稿では,感情分析を中心に自然言語処理における伝達学習の可能性について考察する。
その主張は、スクラッチからのトレーニングモデルと比較して、事前訓練されたBERTモデルを使用したトランスファーラーニングは、感情分類の精度を向上できるというものである。
論文 参考訳（メタデータ） (2023-11-28T17:12:06Z) - Making Pre-trained Language Models both Task-solvers and
Self-calibrators [52.98858650625623]
プレトレーニング言語モデル(PLM)は、様々な現実世界のシステムのバックボーンとして機能する。
以前の研究は、余分なキャリブレーションタスクを導入することでこの問題を緩和できることを示している。
課題に対処するためのトレーニングアルゴリズムLM-TOASTを提案する。
論文 参考訳（メタデータ） (2023-07-21T02:51:41Z) - Amortised Design Optimization for Item Response Theory [5.076871870091048]
教育における項目応答理論(IRT)は、学生の反応から学生の能力とテスト項目の特徴を推定するために用いられる。
そこで本研究では、IRTにアモートされた実験設計を取り入れることを提案する。
計算コストは、Deep Reinforcement Learning (DRL)エージェントを合成データでトレーニングすることにより、事前計算フェーズに移行する。
論文 参考訳（メタデータ） (2023-07-19T10:42:56Z) - Learning to be a Statistician: Learned Estimator for Number of Distinct
Values [54.629042119819744]
列内の異なる値の数(NDV)を推定することは、データベースシステムにおける多くのタスクに有用である。
本研究では、ランダム(オンライン/オフライン)サンプルから正確なNDV推定を導出する方法に焦点を当てる。
教師付き学習フレームワークにおいて,NDV推定タスクを定式化し,モデルを推定対象として学習することを提案する。
論文 参考訳（メタデータ） (2022-02-06T15:42:04Z) - Sequence-level self-learning with multiple hypotheses [53.04725240411895]
我々は、自動音声認識(ASR)のためのアテンションベースシーケンス・ツー・シーケンス(seq2seq)モデルを用いた新しい自己学習手法を開発した。
従来の教師なし学習手法とは対照的に,我々はEmphmulti-task Learning(MTL)フレームワークを採用する。
実験の結果,本手法は,英語データのみを用いてトレーニングしたベースラインモデルと比較して,英文音声データのWERを14.55%から10.36%に削減できることがわかった。
論文 参考訳（メタデータ） (2021-12-10T20:47:58Z) - BERT Fine-Tuning for Sentiment Analysis on Indonesian Mobile Apps
Reviews [1.5749416770494706]
本研究では,2種類の事前学習モデルを用いた感情分析における細調整BERTの有効性について検討した。
使用されるデータセットは、インドネシアのGoogle Playサイトで2020年のトップ10アプリのユーザーレビューである。
また,2つのトレーニングデータラベリング手法を用いて,スコアベースとレキシコンベースのモデルの有効性を検証した。
論文 参考訳（メタデータ） (2021-07-14T16:00:15Z) - ALT-MAS: A Data-Efficient Framework for Active Testing of Machine
Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。
ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文 参考訳（メタデータ） (2021-04-11T12:14:04Z) - Learning by Passing Tests, with Application to Neural Architecture
Search [19.33620150924791]
そこで我々は,受験による学習という新しい学習手法を提案する。
テスターモデルは、学習者モデルを評価するために、ますます難しいテストを生成します。
学習者は、継続的に学習能力を改善して、テスターが作成した難しいテストに合格できるようにしようとする。
論文 参考訳（メタデータ） (2020-11-30T18:33:34Z) - Fine-Tuning Pretrained Language Models: Weight Initializations, Data
Orders, and Early Stopping [62.78338049381917]
教師付き下流タスクのための微調整済み文脈単語埋め込みモデルは、自然言語処理において一般的なものとなっている。
GLUEベンチマークから得られた4つのデータセットを実験し、無作為な種だけを変えながら、それぞれに数百回微調整されたBERTを実験した。
これまでに報告した結果と比較すると,性能が大幅に向上し,微調整試行回数の関数としてベストファウンドモデルの性能がどう変化するかが定量化される。
論文 参考訳（メタデータ） (2020-02-15T02:40:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。