論文の概要: BOBCAT: Bilevel Optimization-Based Computerized Adaptive Testing
- arxiv url: http://arxiv.org/abs/2108.07386v1
- Date: Tue, 17 Aug 2021 00:40:23 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-18 13:26:55.260481
- Title: BOBCAT: Bilevel Optimization-Based Computerized Adaptive Testing
- Title(参考訳): BOBCAT: 双方向最適化に基づくコンピュータ適応テスト
- Authors: Aritra Ghosh, Andrew Lan
- Abstract要約: コンピュータ適応テスト (Computerized Adaptive Testing, CAT) は、学生/試験受験者全員にパーソナライズされたテストの一種である。
我々は、データ駆動型質問選択アルゴリズムをトレーニングデータから直接学習するための、双方向最適化ベースのCATフレームワークであるBOBCATを提案する。
- 参考スコア(独自算出の注目度): 3.756550107432323
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Computerized adaptive testing (CAT) refers to a form of tests that are
personalized to every student/test taker. CAT methods adaptively select the
next most informative question/item for each student given their responses to
previous questions, effectively reducing test length. Existing CAT methods use
item response theory (IRT) models to relate student ability to their responses
to questions and static question selection algorithms designed to reduce the
ability estimation error as quickly as possible; therefore, these algorithms
cannot improve by learning from large-scale student response data. In this
paper, we propose BOBCAT, a Bilevel Optimization-Based framework for CAT to
directly learn a data-driven question selection algorithm from training data.
BOBCAT is agnostic to the underlying student response model and is
computationally efficient during the adaptive testing process. Through
extensive experiments on five real-world student response datasets, we show
that BOBCAT outperforms existing CAT methods (sometimes significantly) at
reducing test length.
- Abstract(参考訳): コンピュータ適応テスト (Computerized Adaptive Testing, CAT) は、学生/試験受験者全員にパーソナライズされたテストの一種である。
CAT手法は、各学生が以前の質問に対して回答した次の最も情報に富む質問/項目を適応的に選択し、テスト長を効果的に削減する。
既存のcat手法では,質問応答に対する学生の能力に関連づける項目応答理論(irt)モデルと,能力推定誤差をできるだけ早く低減するように設計された静的質問選択アルゴリズムを用いるため,大規模学生応答データから学習しても改善できない。
本稿では,データ駆動型質問選択アルゴリズムをトレーニングデータから直接学習する,双方向最適化ベースのCATフレームワークであるBOBCATを提案する。
BOBCATは、基礎となる学生反応モデルに非依存であり、適応テストプロセスにおいて計算的に効率的である。
5つの実世界の学生反応データセットに関する広範な実験を通して、BOBCATはテスト長を減らすために既存のCATメソッド(時には顕著に)より優れていることを示す。
関連論文リスト
- A Novel ML-driven Test Case Selection Approach for Enhancing the
Performance of Grammatical Evolution [0.07499722271664144]
テストケースの最適化により適合度評価時間を短縮する,機械学習駆動距離ベース選択(DBS)アルゴリズムを提案する。
我々は,Symbolic Regression(SR)とDigital Circuit Domainの24のベンチマーク問題に適用し,次に文法進化(GE)を用いて,削減されたデータセットを用いてモデルをトレーニングすることによって,アルゴリズムを検証した。
DBSを用いて選択したトレーニングデータのカバレッジ、すなわちサブセットがデータセット全体の統計特性とどの程度うまく一致しているかを測定するため、従来のトレーニング手法と比較して、ソリューションの品質をテストして比較する。
論文 参考訳(メタデータ) (2023-12-21T22:21:02Z) - Addressing Selection Bias in Computerized Adaptive Testing: A User-Wise
Aggregate Influence Function Approach [14.175555669521987]
本稿では,選択バイアス問題に対処するユーザ・ワイド・アグリゲート・インフルエンス関数法を提案する。
私たちの直感は、レスポンスデータが集約的に大きく偏っているユーザをフィルタリングすることです。
論文 参考訳(メタデータ) (2023-08-23T04:57:21Z) - Amortised Design Optimization for Item Response Theory [5.076871870091048]
教育における項目応答理論(IRT)は、学生の反応から学生の能力とテスト項目の特徴を推定するために用いられる。
そこで本研究では、IRTにアモートされた実験設計を取り入れることを提案する。
計算コストは、Deep Reinforcement Learning (DRL)エージェントを合成データでトレーニングすることにより、事前計算フェーズに移行する。
論文 参考訳(メタデータ) (2023-07-19T10:42:56Z) - Efficiently Measuring the Cognitive Ability of LLMs: An Adaptive Testing
Perspective [63.92197404447808]
大きな言語モデル(LLM)は、人間のような認知能力を示している。
LLM評価のための適応テストフレームワークを提案する。
このアプローチは、モデルの性能に基づいて、難易度などのテスト問題の特徴を動的に調整する。
論文 参考訳(メタデータ) (2023-06-18T09:54:33Z) - Balancing Test Accuracy and Security in Computerized Adaptive Testing [18.121437613260618]
双方向最適化ベースのCAT(BOBCAT)は、データ駆動型質問選択アルゴリズムを学習するフレームワークである。
高い質問の露出とテストの重複率に悩まされ、テストのセキュリティに影響を及ぼす可能性がある。
C-BOBCATは、2つの実世界のアダルトテストデータセットに対する広範な実験を通じて有効であることを示す。
論文 参考訳(メタデータ) (2023-05-18T18:32:51Z) - A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts [143.14128737978342]
新たなパラダイムであるテスト時適応は、事前トレーニングされたモデルをテスト中にラベルのないデータに適用し、予測を行う可能性がある。
このパラダイムの最近の進歩は、推論に先立って自己適応モデルのトレーニングにラベルのないデータを活用するという大きな利点を浮き彫りにしている。
論文 参考訳(メタデータ) (2023-03-27T16:32:21Z) - DELTA: degradation-free fully test-time adaptation [59.74287982885375]
テスト時間バッチ正規化(BN)や自己学習といった,一般的な適応手法では,2つの好ましくない欠陥が隠されていることがわかった。
まず、テスト時間BNにおける正規化統計は、現在受信されているテストサンプルに完全に影響され、その結果、不正確な推定結果が得られることを明らかにする。
第二に、テスト時間適応中にパラメータ更新が支配的なクラスに偏っていることを示す。
論文 参考訳(メタデータ) (2023-01-30T15:54:00Z) - Lexicase Selection at Scale [5.4968949435821735]
語彙選択(Lexicase selection)は、ランダムにシャッフルされたデータストリームで個々のテストケースを評価する意味認識親選択法である。
語彙選択とそのバリエーションの潜在的な欠点の1つは、選択手順が単一のデータストリームでトレーニングケースを評価する必要があることである。
そこで本研究では,レキシケース選択と重み付きシャッフルを組み合わせた高速レキシケース選択法を提案する。
論文 参考訳(メタデータ) (2022-08-23T03:58:47Z) - CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。
本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
論文 参考訳(メタデータ) (2022-06-01T03:02:07Z) - Quality meets Diversity: A Model-Agnostic Framework for Computerized
Adaptive Testing [60.38182654847399]
コンピュータ適応テスト(CAT)は多くのシナリオで有望なテストアプリケーションとして現れています。
CAT ソリューションのための新しいフレームワークである Model-Agnostic Adaptive Testing (MAAT) を提案する。
論文 参考訳(メタデータ) (2021-01-15T06:48:50Z) - CAT: Customized Adversarial Training for Improved Robustness [142.3480998034692]
そこで我々は,各トレーニングサンプルに対して,摂動レベルと対応するラベルを適応的にカスタマイズする,Customized Adversarial Training (CAT) という新しいアルゴリズムを提案する。
提案アルゴリズムは,従来の逆行訓練法よりもクリーンでロバストな精度が得られることを示す。
論文 参考訳(メタデータ) (2020-02-17T06:13:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。