論文の概要: Monotonicity in practice of adaptive testing

• arxiv url: http://arxiv.org/abs/2009.06981v1
• Date: Tue, 15 Sep 2020 10:55:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 06:16:22.462403
• Title: Monotonicity in practice of adaptive testing
• Title（参考訳）: 適応テストの実践における単調性
• Authors: Martin Plajner and Ji\v{r}\'i Vomlel
• Abstract要約: 本稿では,最近提案された単調性勾配アルゴリズムを用いて学習した適応テストのためのベイジアンネットワークモデルについて検討する。 手法の質は、チェコ国立数学試験の大規模なデータセットで実証的に評価される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In our previous work we have shown how Bayesian networks can be used for adaptive testing of student skills. Later, we have taken the advantage of monotonicity restrictions in order to learn models fitting data better. This article provides a synergy between these two phases as it evaluates Bayesian network models used for computerized adaptive testing and learned with a recently proposed monotonicity gradient algorithm. This learning method is compared with another monotone method, the isotonic regression EM algorithm. The quality of methods is empirically evaluated on a large data set of the Czech National Mathematics Exam. Besides advantages of adaptive testing approach we observed also advantageous behavior of monotonic methods, especially for small learning data set sizes. Another novelty of this work is the use of the reliability interval of the score distribution, which is used to predict student's final score and grade. In the experiments we have clearly shown we can shorten the test while keeping its reliability. We have also shown that the monotonicity increases the prediction quality with limited training data sets. The monotone model learned by the gradient method has a lower question prediction quality than unrestricted models but it is better in the main target of this application, which is the student score prediction. It is an important observation that a mere optimization of the model likelihood or the prediction accuracy do not necessarily lead to a model that describes best the student.
• Abstract（参考訳）: これまでの研究では,ベイジアンネットワークが学生のスキルの適応テストにどのように利用できるかを示した。 その後,データに適合するモデルをよりよく学習するために,単調性制限の利点を生かした。 本稿では,この2つの相間の相乗効果について,計算機適応テストに使用されるベイズネットワークモデルを評価し,最近提案する単調性勾配アルゴリズムを用いて学習する。 この学習法は他のモノトーン法である等調回帰EMアルゴリズムと比較する。 方法の質は、チェコ国立数学試験の大規模なデータセットで実証的に評価される。 適応テストアプローチの利点に加えて、特に学習データセットのサイズが小さい場合、単調手法の有利な振る舞いも観察した。 この研究のもう1つの目新しさは、学生の最終スコアと成績を予測するために使用されるスコア分布の信頼性区間の使用である。 実験では、信頼性を維持しながらテストを短縮できることを明確に示しました。 また,単調性はトレーニングデータセットに制限を加えて予測品質を向上することを示した。 グラデーション法で学習した単音モデルは,制約のないモデルよりも質問予測品質が低いが,本アプリケーションの主な目標である学生スコア予測の方が優れている。 モデルの可能性や予測精度の最適化が必ずしも生徒のベストを記述したモデルに繋がるとは限らないことは重要な観察である。

関連論文リスト

• ASPEST: Bridging the Gap Between Active Learning and Selective Prediction [56.001808843574395]
  選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。 アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。 本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
  論文  参考訳（メタデータ） (2023-04-07T23:51:07Z)
• Learning to Increase the Power of Conditional Randomization Tests [8.883733362171032]
  モデル-X条件ランダム化テストは、条件独立性テストのための一般的なフレームワークである。 本稿では,モデルXテストのパワー向上を目的とした新しいモデル適合方式を提案する。
  論文  参考訳（メタデータ） (2022-07-03T12:29:25Z)
• Uncertainty Estimation for Language Reward Models [5.33024001730262]
  言語モデルは、テキストコーパスの教師なしトレーニングからさまざまな能力を学ぶことができる。 人間がラベル付きデータを提供するよりも選択肢を選択する方が簡単であり、事前の作業はそのような選好比較から報酬モデルをトレーニングすることで最先端のパフォーマンスを達成した。 能動的学習とリスク-逆強化学習を用いてサンプル効率とロバスト性を向上させる不確実性推定によるこれらの問題に対処することを模索する。
  論文  参考訳（メタデータ） (2022-03-14T20:13:21Z)
• Conformal prediction for the design problem [72.14982816083297]
  機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。 このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。 このような環境で予測の不確実性を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-08T02:59:12Z)
• MEMO: Test Time Robustness via Adaptation and Augmentation [131.28104376280197]
  テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。 最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。 モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
  論文  参考訳（メタデータ） (2021-10-18T17:55:11Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)
• Model adaptation and unsupervised learning with non-stationary batch data under smooth concept drift [8.068725688880772]
  ほとんどの予測モデルは、トレーニングとテストデータは定常的なプロセスから生成されると仮定する。 我々は、データソースの非定常性に起因する段階的な概念の漂流のシナリオを考察する。 予測モデルの教師なし適応のための新しい反復アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-10T21:29:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。