論文の概要: BOBCAT: Bilevel Optimization-Based Computerized Adaptive Testing
- arxiv url: http://arxiv.org/abs/2108.07386v1
- Date: Tue, 17 Aug 2021 00:40:23 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-18 13:26:55.260481
- Title: BOBCAT: Bilevel Optimization-Based Computerized Adaptive Testing
- Title(参考訳): BOBCAT: 双方向最適化に基づくコンピュータ適応テスト
- Authors: Aritra Ghosh, Andrew Lan
- Abstract要約: コンピュータ適応テスト (Computerized Adaptive Testing, CAT) は、学生/試験受験者全員にパーソナライズされたテストの一種である。
我々は、データ駆動型質問選択アルゴリズムをトレーニングデータから直接学習するための、双方向最適化ベースのCATフレームワークであるBOBCATを提案する。
- 参考スコア(独自算出の注目度): 3.756550107432323
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Computerized adaptive testing (CAT) refers to a form of tests that are
personalized to every student/test taker. CAT methods adaptively select the
next most informative question/item for each student given their responses to
previous questions, effectively reducing test length. Existing CAT methods use
item response theory (IRT) models to relate student ability to their responses
to questions and static question selection algorithms designed to reduce the
ability estimation error as quickly as possible; therefore, these algorithms
cannot improve by learning from large-scale student response data. In this
paper, we propose BOBCAT, a Bilevel Optimization-Based framework for CAT to
directly learn a data-driven question selection algorithm from training data.
BOBCAT is agnostic to the underlying student response model and is
computationally efficient during the adaptive testing process. Through
extensive experiments on five real-world student response datasets, we show
that BOBCAT outperforms existing CAT methods (sometimes significantly) at
reducing test length.
- Abstract(参考訳): コンピュータ適応テスト (Computerized Adaptive Testing, CAT) は、学生/試験受験者全員にパーソナライズされたテストの一種である。
CAT手法は、各学生が以前の質問に対して回答した次の最も情報に富む質問/項目を適応的に選択し、テスト長を効果的に削減する。
既存のcat手法では,質問応答に対する学生の能力に関連づける項目応答理論(irt)モデルと,能力推定誤差をできるだけ早く低減するように設計された静的質問選択アルゴリズムを用いるため,大規模学生応答データから学習しても改善できない。
本稿では,データ駆動型質問選択アルゴリズムをトレーニングデータから直接学習する,双方向最適化ベースのCATフレームワークであるBOBCATを提案する。
BOBCATは、基礎となる学生反応モデルに非依存であり、適応テストプロセスにおいて計算的に効率的である。
5つの実世界の学生反応データセットに関する広範な実験を通して、BOBCATはテスト長を減らすために既存のCATメソッド(時には顕著に)より優れていることを示す。
関連論文リスト
- Critical Learning Periods: Leveraging Early Training Dynamics for Efficient Data Pruning [9.106234291496884]
CAT(Checkpoints Across Time)と呼ばれる新しいデータ解析手法を提案する。
我々は、COMET-QE、LASER、LaBSEなど、いくつかのデータプルーニング技術に対してCATをベンチマークする。
英語-ドイツ語、英語-フランス語、英語-スワヒリ翻訳タスクに適用すると、CATは完全なデータセットと同等のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-05-29T19:21:49Z) - Switchable Decision: Dynamic Neural Generation Networks [98.61113699324429]
本稿では,各データインスタンスのリソースを動的に割り当てることで,推論を高速化するスイッチブルな決定を提案する。
提案手法は, 同一の精度を維持しながら, 推論時のコスト低減に有効である。
論文 参考訳(メタデータ) (2024-05-07T17:44:54Z) - Survey of Computerized Adaptive Testing: A Machine Learning Perspective [66.26687542572974]
コンピュータ適応テスト (Computerized Adaptive Testing, CAT) は、試験の熟練度を評価するための効率的で調整された方法である。
本稿では,この適応テスト手法に対する新たな視点を提示し,機械学習に着目したCATに関する調査を行うことを目的とする。
論文 参考訳(メタデータ) (2024-03-31T15:09:47Z) - A Novel ML-driven Test Case Selection Approach for Enhancing the
Performance of Grammatical Evolution [0.07499722271664144]
テストケースの最適化により適合度評価時間を短縮する,機械学習駆動距離ベース選択(DBS)アルゴリズムを提案する。
我々は,Symbolic Regression(SR)とDigital Circuit Domainの24のベンチマーク問題に適用し,次に文法進化(GE)を用いて,削減されたデータセットを用いてモデルをトレーニングすることによって,アルゴリズムを検証した。
DBSを用いて選択したトレーニングデータのカバレッジ、すなわちサブセットがデータセット全体の統計特性とどの程度うまく一致しているかを測定するため、従来のトレーニング手法と比較して、ソリューションの品質をテストして比較する。
論文 参考訳(メタデータ) (2023-12-21T22:21:02Z) - Addressing Selection Bias in Computerized Adaptive Testing: A User-Wise
Aggregate Influence Function Approach [14.175555669521987]
本稿では,選択バイアス問題に対処するユーザ・ワイド・アグリゲート・インフルエンス関数法を提案する。
私たちの直感は、レスポンスデータが集約的に大きく偏っているユーザをフィルタリングすることです。
論文 参考訳(メタデータ) (2023-08-23T04:57:21Z) - Balancing Test Accuracy and Security in Computerized Adaptive Testing [18.121437613260618]
双方向最適化ベースのCAT(BOBCAT)は、データ駆動型質問選択アルゴリズムを学習するフレームワークである。
高い質問の露出とテストの重複率に悩まされ、テストのセキュリティに影響を及ぼす可能性がある。
C-BOBCATは、2つの実世界のアダルトテストデータセットに対する広範な実験を通じて有効であることを示す。
論文 参考訳(メタデータ) (2023-05-18T18:32:51Z) - A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts [143.14128737978342]
新たなパラダイムであるテスト時適応は、事前トレーニングされたモデルをテスト中にラベルのないデータに適用し、予測を行う可能性がある。
このパラダイムの最近の進歩は、推論に先立って自己適応モデルのトレーニングにラベルのないデータを活用するという大きな利点を浮き彫りにしている。
論文 参考訳(メタデータ) (2023-03-27T16:32:21Z) - DELTA: degradation-free fully test-time adaptation [59.74287982885375]
テスト時間バッチ正規化(BN)や自己学習といった,一般的な適応手法では,2つの好ましくない欠陥が隠されていることがわかった。
まず、テスト時間BNにおける正規化統計は、現在受信されているテストサンプルに完全に影響され、その結果、不正確な推定結果が得られることを明らかにする。
第二に、テスト時間適応中にパラメータ更新が支配的なクラスに偏っていることを示す。
論文 参考訳(メタデータ) (2023-01-30T15:54:00Z) - Quality meets Diversity: A Model-Agnostic Framework for Computerized
Adaptive Testing [60.38182654847399]
コンピュータ適応テスト(CAT)は多くのシナリオで有望なテストアプリケーションとして現れています。
CAT ソリューションのための新しいフレームワークである Model-Agnostic Adaptive Testing (MAAT) を提案する。
論文 参考訳(メタデータ) (2021-01-15T06:48:50Z) - CAT: Customized Adversarial Training for Improved Robustness [142.3480998034692]
そこで我々は,各トレーニングサンプルに対して,摂動レベルと対応するラベルを適応的にカスタマイズする,Customized Adversarial Training (CAT) という新しいアルゴリズムを提案する。
提案アルゴリズムは,従来の逆行訓練法よりもクリーンでロバストな精度が得られることを示す。
論文 参考訳(メタデータ) (2020-02-17T06:13:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。