論文の概要: Quality meets Diversity: A Model-Agnostic Framework for Computerized Adaptive Testing

• arxiv url: http://arxiv.org/abs/2101.05986v1
• Date: Fri, 15 Jan 2021 06:48:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-28 11:23:20.288393
• Title: Quality meets Diversity: A Model-Agnostic Framework for Computerized Adaptive Testing
• Title（参考訳）: 品質が多様性を満たす - コンピュータによる適応テストのためのモデル非依存フレームワーク
• Authors: Haoyang Bi, Haiping Ma, Zhenya Huang, Yu Yin, Qi Liu, Enhong Chen, Yu Su, Shijin Wang
• Abstract要約: コンピュータ適応テスト(CAT)は多くのシナリオで有望なテストアプリケーションとして現れています。 CAT ソリューションのための新しいフレームワークである Model-Agnostic Adaptive Testing (MAAT) を提案する。
• 参考スコア（独自算出の注目度）: 60.38182654847399
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Computerized Adaptive Testing (CAT) is emerging as a promising testing application in many scenarios, such as education, game and recruitment, which targets at diagnosing the knowledge mastery levels of examinees on required concepts. It shows the advantage of tailoring a personalized testing procedure for each examinee, which selects questions step by step, depending on her performance. While there are many efforts on developing CAT systems, existing solutions generally follow an inflexible model-specific fashion. That is, they need to observe a specific cognitive model which can estimate examinee's knowledge levels and design the selection strategy according to the model estimation. In this paper, we study a novel model-agnostic CAT problem, where we aim to propose a flexible framework that can adapt to different cognitive models. Meanwhile, this work also figures out CAT solution with addressing the problem of how to generate both high-quality and diverse questions simultaneously, which can give a comprehensive knowledge diagnosis for each examinee. Inspired by Active Learning, we propose a novel framework, namely Model-Agnostic Adaptive Testing (MAAT) for CAT solution, where we design three sophisticated modules including Quality Module, Diversity Module and Importance Module. Extensive experimental results on two real-world datasets clearly demonstrate that our MAAT can support CAT with guaranteeing both quality and diversity perspectives.
• Abstract（参考訳）: コンピュータ適応テスト(Computerized Adaptive Testing, CAT)は、教育、ゲーム、採用など多くのシナリオにおいて有望なテストアプリケーションとして登場している。 それぞれの検査に対してパーソナライズされたテスト手順を調整し、パフォーマンスに応じて質問をステップごとに選択する利点を示す。 CATシステムの開発には多くの取り組みがあるが、既存のソリューションは通常、柔軟性のないモデル固有の方法に従う。 すなわち、被験者の知識レベルを推定できる特定の認知モデルを観察し、モデル推定に従って選択戦略を設計する必要がある。 本稿では,異なる認知モデルに適応可能な柔軟なフレームワークを提案する。 一方,本研究では,質の高い質問と多様な質問を同時に生成する方法という課題に対処し,各受験者に包括的知識診断を提供する。 そこで我々は,猫ソリューションのためのモデル非依存適応テスト(maat)という新しいフレームワークを提案し,品質モジュール,多様性モジュール,重要モジュールという3つの高度なモジュールを設計した。 2つの実世界のデータセットに対する大規模な実験結果から、MAATが品質と多様性の両方の観点でCATをサポートできることが明らかになりました。

関連論文リスト

• UKTF: Unified Knowledge Tracing Framework for Subjective and Objective Assessments [3.378008889662775]
  知識追跡技術は、学習者の過去の回答データに基づいて知識状態モデルを確立することができる。 本研究は,主観的および主観的なテスト質問を統合した統合的知識追跡モデルを提案する。
  論文  参考訳（メタデータ） (2024-11-08T04:58:19Z)
• A Survey of Models for Cognitive Diagnosis: New Developments and Future Directions [66.40362209055023]
  本研究の目的は,認知診断の現在のモデルについて,機械学習を用いた新たな展開に注目した調査を行うことである。 モデル構造,パラメータ推定アルゴリズム,モデル評価方法,適用例を比較して,認知診断モデルの最近の傾向を概観する。
  論文  参考訳（メタデータ） (2024-07-07T18:02:00Z)
• Survey of Computerized Adaptive Testing: A Machine Learning Perspective [66.26687542572974]
  コンピュータ適応テスト (Computerized Adaptive Testing, CAT) は、試験の熟練度を評価するための効率的で調整された方法である。 本稿では,この適応テスト手法に対する新たな視点を提示し,機械学習に着目したCATに関する調査を行うことを目的とする。
  論文  参考訳（メタデータ） (2024-03-31T15:09:47Z)
• Testing for Fault Diversity in Reinforcement Learning [13.133263651395865]
  ポリシテストは可能な限り多くの障害(例えば、同様の自動車事故を引き起こすインプット)を見つけるのではなく、モデルで可能な限り情報的かつ多様な障害を明らかにすることを目的としている、と私たちは主張する。 QDの最適化は概念的には単純であり、一般的に適用可能であるが、決定モデルにおいてより多様な欠点を効果的に発見できることが示される。
  論文  参考訳（メタデータ） (2024-03-22T09:46:30Z)
• SAPT: A Shared Attention Framework for Parameter-Efficient Continual Learning of Large Language Models [71.78800549517298]
  大規模言語モデル(LLM)を動的世界に展開するには,継続的な学習(CL)能力が不可欠である。 既存の方法は、パラメータ効率チューニング(PET)ブロックを用いてタスク固有の知識を取得するための学習モジュールと、テスト入力に対して対応するものを選択するための選択モジュールを考案する。 本稿では,共有注意学習と選択モジュールを通じてPET学習と選択を調整するための新しい共有注意フレームワーク(SAPT)を提案する。
  論文  参考訳（メタデータ） (2024-01-16T11:45:03Z)
• Designing Novel Cognitive Diagnosis Models via Evolutionary Multi-Objective Neural Architecture Search [13.9289351255891]
  進化的多目的ニューラルアーキテクチャサーチ(NAS)による新しい認知診断モデルの自動設計を提案する。 2つの実世界のデータセットに対する実験により、提案手法によって探索された認知診断モデルは、既存のモデルよりもはるかに優れた性能を示し、人間設計モデルと同じくらい優れた解釈性を有することが示された。
  論文  参考訳（メタデータ） (2023-07-10T09:09:26Z)
• Zero-shot Model Diagnosis [80.36063332820568]
  ディープラーニングモデルを評価するための一般的なアプローチは、興味のある属性を持つラベル付きテストセットを構築し、そのパフォーマンスを評価することである。 本稿では,ゼロショットモデル診断(ZOOM)がテストセットやラベル付けを必要とせずに可能であることを論じる。
  論文  参考訳（メタデータ） (2023-03-27T17:59:33Z)
• MetaQA: Combining Expert Agents for Multi-Skill Question Answering [49.35261724460689]
  マルチデータセットモデルの有望な結果にもかかわらず、いくつかのドメインやQAフォーマットは特定のアーキテクチャを必要とするかもしれません。 本稿では,専門家エージェントと,質問,回答予測,回答予測信頼度スコアを考慮した,新しい,柔軟な,学習効率の高いアーキテクチャを組み合わせることを提案する。
  論文  参考訳（メタデータ） (2021-12-03T14:05:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。