論文の概要: Quality meets Diversity: A Model-Agnostic Framework for Computerized
Adaptive Testing
- arxiv url: http://arxiv.org/abs/2101.05986v1
- Date: Fri, 15 Jan 2021 06:48:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-28 11:23:20.288393
- Title: Quality meets Diversity: A Model-Agnostic Framework for Computerized
Adaptive Testing
- Title(参考訳): 品質が多様性を満たす - コンピュータによる適応テストのためのモデル非依存フレームワーク
- Authors: Haoyang Bi, Haiping Ma, Zhenya Huang, Yu Yin, Qi Liu, Enhong Chen, Yu
Su, Shijin Wang
- Abstract要約: コンピュータ適応テスト(CAT)は多くのシナリオで有望なテストアプリケーションとして現れています。
CAT ソリューションのための新しいフレームワークである Model-Agnostic Adaptive Testing (MAAT) を提案する。
- 参考スコア(独自算出の注目度): 60.38182654847399
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Computerized Adaptive Testing (CAT) is emerging as a promising testing
application in many scenarios, such as education, game and recruitment, which
targets at diagnosing the knowledge mastery levels of examinees on required
concepts. It shows the advantage of tailoring a personalized testing procedure
for each examinee, which selects questions step by step, depending on her
performance. While there are many efforts on developing CAT systems, existing
solutions generally follow an inflexible model-specific fashion. That is, they
need to observe a specific cognitive model which can estimate examinee's
knowledge levels and design the selection strategy according to the model
estimation. In this paper, we study a novel model-agnostic CAT problem, where
we aim to propose a flexible framework that can adapt to different cognitive
models. Meanwhile, this work also figures out CAT solution with addressing the
problem of how to generate both high-quality and diverse questions
simultaneously, which can give a comprehensive knowledge diagnosis for each
examinee. Inspired by Active Learning, we propose a novel framework, namely
Model-Agnostic Adaptive Testing (MAAT) for CAT solution, where we design three
sophisticated modules including Quality Module, Diversity Module and Importance
Module. Extensive experimental results on two real-world datasets clearly
demonstrate that our MAAT can support CAT with guaranteeing both quality and
diversity perspectives.
- Abstract(参考訳): コンピュータ適応テスト(Computerized Adaptive Testing, CAT)は、教育、ゲーム、採用など多くのシナリオにおいて有望なテストアプリケーションとして登場している。
それぞれの検査に対してパーソナライズされたテスト手順を調整し、パフォーマンスに応じて質問をステップごとに選択する利点を示す。
CATシステムの開発には多くの取り組みがあるが、既存のソリューションは通常、柔軟性のないモデル固有の方法に従う。
すなわち、被験者の知識レベルを推定できる特定の認知モデルを観察し、モデル推定に従って選択戦略を設計する必要がある。
本稿では,異なる認知モデルに適応可能な柔軟なフレームワークを提案する。
一方,本研究では,質の高い質問と多様な質問を同時に生成する方法という課題に対処し,各受験者に包括的知識診断を提供する。
そこで我々は,猫ソリューションのためのモデル非依存適応テスト(maat)という新しいフレームワークを提案し,品質モジュール,多様性モジュール,重要モジュールという3つの高度なモジュールを設計した。
2つの実世界のデータセットに対する大規模な実験結果から、MAATが品質と多様性の両方の観点でCATをサポートできることが明らかになりました。
関連論文リスト
- SAPT: A Shared Attention Framework for Parameter-Efficient Continual
Learning of Large Language Models [74.48765681246947]
大規模言語モデル(LLM)を動的世界に展開するには,継続的な学習(CL)能力が不可欠である。
既存の方法は、パラメータ効率チューニング(PET)ブロックを用いてタスク固有の知識を取得するための学習モジュールと、テスト入力に対して対応するものを選択するための選択モジュールを考案する。
本稿では,共有注意学習と選択モジュールを通じてPET学習と選択を調整するための新しい共有注意フレームワーク(SAPT)を提案する。
論文 参考訳(メタデータ) (2024-01-16T11:45:03Z) - Designing Novel Cognitive Diagnosis Models via Evolutionary
Multi-Objective Neural Architecture Search [13.9289351255891]
進化的多目的ニューラルアーキテクチャサーチ(NAS)による新しい認知診断モデルの自動設計を提案する。
2つの実世界のデータセットに対する実験により、提案手法によって探索された認知診断モデルは、既存のモデルよりもはるかに優れた性能を示し、人間設計モデルと同じくらい優れた解釈性を有することが示された。
論文 参考訳(メタデータ) (2023-07-10T09:09:26Z) - Efficiently Measuring the Cognitive Ability of LLMs: An Adaptive Testing
Perspective [63.92197404447808]
大きな言語モデル(LLM)は、人間のような認知能力を示している。
LLM評価のための適応テストフレームワークを提案する。
このアプローチは、モデルの性能に基づいて、難易度などのテスト問題の特徴を動的に調整する。
論文 参考訳(メタデータ) (2023-06-18T09:54:33Z) - Zero-shot Model Diagnosis [80.36063332820568]
ディープラーニングモデルを評価するための一般的なアプローチは、興味のある属性を持つラベル付きテストセットを構築し、そのパフォーマンスを評価することである。
本稿では,ゼロショットモデル診断(ZOOM)がテストセットやラベル付けを必要とせずに可能であることを論じる。
論文 参考訳(メタデータ) (2023-03-27T17:59:33Z) - Online simulator-based experimental design for cognitive model selection [74.76661199843284]
本稿では,抽出可能な確率を伴わない計算モデルを選択する実験設計手法BOSMOSを提案する。
シミュレーション実験では,提案手法により,既存のLFI手法に比べて最大2桁の精度でモデルを選択することができることを示した。
論文 参考訳(メタデータ) (2023-03-03T21:41:01Z) - Reinforcement Learning Guided Multi-Objective Exam Paper Generation [21.945655389912112]
そこで本研究では,MOEPGと呼ばれる多目的文書生成フレームワークを提案する。
難易度、試験スコアの配分、スキルカバレッジを含む3つの試験領域固有の目的を同時に最適化する。
試験用紙生成シナリオの多重ジレンマにMOEPGが適用可能であることを示す。
論文 参考訳(メタデータ) (2023-03-02T07:55:52Z) - Scalable Online Disease Diagnosis via Multi-Model-Fused Actor-Critic
Reinforcement Learning [9.274138493400436]
医療のアドバイスをオンラインで求めている人にとっては、患者と対話して自動的に疾患を診断できるAIベースの対話エージェントが有効な選択肢だ。
これは、強化学習(RL)アプローチを自然解として提案した逐次的特徴(症状)選択と分類の問題として定式化することができる。
生成的アクターネットワークと診断批評家ネットワークから構成されるMMF-AC(Multi-Model-Fused Actor-Critic)フレームワークを提案する。
論文 参考訳(メタデータ) (2022-06-08T03:06:16Z) - MetaQA: Combining Expert Agents for Multi-Skill Question Answering [49.35261724460689]
マルチデータセットモデルの有望な結果にもかかわらず、いくつかのドメインやQAフォーマットは特定のアーキテクチャを必要とするかもしれません。
本稿では,専門家エージェントと,質問,回答予測,回答予測信頼度スコアを考慮した,新しい,柔軟な,学習効率の高いアーキテクチャを組み合わせることを提案する。
論文 参考訳(メタデータ) (2021-12-03T14:05:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。