論文の概要: AgentCAT: Simulating Computerized Adaptive Testing via Multi-Agent Large Language Models
- arxiv url: http://arxiv.org/abs/2606.21832v1
- Date: Sat, 20 Jun 2026 01:55:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 02:52:03.720863
- Title: AgentCAT: Simulating Computerized Adaptive Testing via Multi-Agent Large Language Models
- Title（参考訳）: AgentCAT: マルチエージェント大規模言語モデルによるコンピュータ適応テストのシミュレーション
- Authors: Weiyuan Zhou, Haiping Ma, Xiaoshan Yu, Changqian Wang, Shangshang Yang, Xingyi Zhang,
- Abstract要約: 本稿では,動的テストのための大規模言語モデルに基づくマルチエージェントシミュレーションシステムであるAgentCATを提案する。
本フレームワークは,(1)記憶検索と連鎖推論を伴う検査エージェントが認知的プロファイルに基づいて応答をシミュレートし,(2)局所的難易度とグローバルなカバレッジのバランスをとるために粗いバケットと知識グラフ探索を用い,(3)監督エージェントが二重監査と堅牢な更新を用いて収束と妥当性を保証している,という3つのモジュールから構成される。
- 参考スコア（独自算出の注目度）: 19.853943355530017
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Computerized Adaptive Testing (CAT), as a key technology for personalized education, aims to accurately assess examinee proficiency by retrieving exercises dynamically matching current ability estimates. However, existing CAT research is constrained by limitations of static offline data and isolated component optimization. Restricted by partial labels in offline logs, researchers degrade the dynamic assessment process into static sequence prediction. Current research focuses on isolated perspectives, e.g., selection or diagnosis, neglecting the overall CAT interaction process. To address this, we propose AgentCAT, a Large Language Model-based multi-agent simulation system, to construct a high-fidelity benchmarking environment for dynamic testing. This framework comprises three modules: (1) The examinee agent with memory retrieval and Chain-of-Thought reasoning simulates responses based on cognitive profiles; (2) The selection agent uses coarse-to-fine bucketing and knowledge graph exploration to balance local difficulty and global coverage; (3) The supervisor uses dual-auditing and robust update to ensure convergence and validity. To validate the framework, we evaluated on two real-world datasets across three dimensions: macro-level ability convergence, micro-level interaction logic, and data sparsity resilience. Results show AgentCAT achieves effective ability estimation, and its selection strategy balances difficulty adaptation and instructional coherence, aligning with human pedagogical intuition.
- Abstract（参考訳）: コンピュータ適応テスト(Computerized Adaptive Testing, CAT)は、個人化教育の鍵となる技術であり、現在の能力推定と動的に一致するエクササイズを取得することで、熟練度を正確に評価することを目的としている。
しかし、既存のCAT研究は、静的オフラインデータの制限と独立したコンポーネント最適化によって制限されている。
オフラインログの部分的なラベルによって制限され、研究者は動的アセスメントプロセスを静的シーケンス予測に分解した。
現在の研究は、孤立した視点(例えば、選択または診断)に焦点を当て、全体的なCAT相互作用プロセスを無視している。
そこで我々は,大規模言語モデルに基づくマルチエージェントシミュレーションシステムであるAgentCATを提案し,動的テストのための高忠実度ベンチマーク環境を構築する。
本フレームワークは3つのモジュールから構成される。(1) 記憶検索とChain-of-Thought推論を用いた検査エージェントは認知的プロファイルに基づいて応答をシミュレートし,(2) 選択エージェントは局所的難易度とグローバルなカバレッジのバランスをとるために粗粒度バケットと知識グラフ探索を使用し,(3) 監督エージェントは二重監査と堅牢な更新を用いて収束と妥当性を確保する。
このフレームワークを検証するために、マクロレベルの能力収束、マイクロレベルの相互作用ロジック、データ空間のレジリエンスの3次元にわたる2つの実世界のデータセットを評価した。
その結果、AgentCATは効果的な能力推定を達成し、その選択戦略は難易度適応と指導的一貫性のバランスを保ち、人間の教育的直感と整合することを示した。
関連論文リスト
- From Static Benchmarks to Dynamic Protocol: Agent-Centric Text Anomaly Detection for Evaluating LLM Reasoning [12.024430772980502]
本稿では,大規模言語モデル評価のためのエージェント中心ベンチマークパラダイムを提案する。
教師エージェントは、候補問題を生成し、オーケストレータエージェントは、その妥当性を厳格に検証し、敵攻撃に対するガードを行う。
生徒がその問題を正しく解いた場合、オーケストレータは教師にもっと難しい変奏曲を生成するよう促す。
論文 参考訳（メタデータ） (2026-02-27T06:54:32Z) - gencat: Generative computerized adaptive testing [1.0162911785128765]
本稿では,知識推定と質問選択に大規模言語モデルを活用する新しいCATフレームワークであるgenCATを提案する。
まず、学生のオープンな回答から学生の知識を推定し、目に見えない質問に対する反応を予測するための生成項目応答理論(GIRT)モデルを開発する。
第2に、不確実性、言語的多様性、およびサンプリングされた学生の反応情報に基づいて、GIRTモデルの生成能力を利用する3つの質問選択アルゴリズムを導入する。
論文 参考訳（メタデータ） (2026-02-23T16:28:46Z) - Adaptive Causal Coordination Detection for Social Media: A Memory-Guided Framework with Semi-Supervised Learning [1.5683405037750644]
ACCDは3段階のプログレッシブアーキテクチャを採用し、メモリ誘導適応機構を利用して最適な検出設定を学習し維持する。
Twitter IRAデータセット、Redditのコーディネーショントレース、および広く採用されているボット検出ベンチマークなど、実世界のデータセットを使用して包括的な評価を行う。
ACCDのF1スコアは87.3%で、最強のベースラインよりも15.2%向上している。
論文 参考訳（メタデータ） (2026-01-01T17:27:52Z) - AgenticIQA: An Agentic Framework for Adaptive and Interpretable Image Quality Assessment [69.06977852423564]
画像品質評価(IQA)は、人間の視覚系に根ざした知覚品質の定量化と解釈の両方を反映している。
AgenticIQAは、IQAを歪み検出、歪み解析、ツール選択、ツール実行の4つのサブタスクに分解する。
本稿では,IQAエージェントに適した大規模命令データセットであるAgenticIQA-200Kと,VLMベースのIQAエージェントの計画,実行,要約機能を評価するための最初のベンチマークであるAgenticIQA-Evalを紹介する。
論文 参考訳（メタデータ） (2025-09-30T09:37:01Z) - Creative Adversarial Testing (CAT): A Novel Framework for Evaluating Goal-Oriented Agentic AI Systems [0.0]
CAT(Creative Adversarial Testing)は、エージェントAIタスクとシステムの意図する目的との間の複雑な関係をキャプチャして分析するために設計された、新しいアプローチである。
我々は、Alexa+オーディオサービスに倣った合成相互作用データを用いて、CATフレームワークを広範囲にシミュレーションすることで検証する。
我々の結果は、CATフレームワークが目標とタスクのアライメントに関する前例のない洞察を提供し、エージェントAIシステムのより効率的な最適化と開発を可能にしていることを実証している。
論文 参考訳（メタデータ） (2025-09-26T23:52:20Z) - Towards Interactive Lesion Segmentation in Whole-Body PET/CT with Promptable Models [9.254535645473311]
われわれはAutoPET/CT IVチャレンジに応募する。
我々は、ユーザが提供するフォアグラウンドとバックグラウンドクリックを追加入力チャネルとしてエンコードすることで、迅速な機能でフレームワークを拡張します。
外部データおよび非外部データでトレーニングされたEDTベースのモデルのアンサンブルは、最強のクロスバリデーション性能を達成する。
論文 参考訳（メタデータ） (2025-08-29T14:49:58Z) - Survey of Computerized Adaptive Testing: A Machine Learning Perspective [66.26687542572974]
コンピュータ適応テスト (Computerized Adaptive Testing, CAT) は、試験の熟練度を評価するための効率的で調整された方法である。
本稿では,この適応テスト手法に対する新たな視点を提示し,機械学習に着目したCATに関する調査を行うことを目的とする。
論文 参考訳（メタデータ） (2024-03-31T15:09:47Z) - Position: AI Evaluation Should Learn from How We Test Humans [65.36614996495983]
人間の評価のための20世紀起源の理論である心理測定は、今日のAI評価における課題に対する強力な解決策になり得る、と我々は主張する。
論文 参考訳（メタデータ） (2023-06-18T09:54:33Z) - Quality meets Diversity: A Model-Agnostic Framework for Computerized
Adaptive Testing [60.38182654847399]
コンピュータ適応テスト(CAT)は多くのシナリオで有望なテストアプリケーションとして現れています。
CAT ソリューションのための新しいフレームワークである Model-Agnostic Adaptive Testing (MAAT) を提案する。
論文 参考訳（メタデータ） (2021-01-15T06:48:50Z) - Dynamic Federated Learning [57.14673504239551]
フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。
我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。
集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
論文 参考訳（メタデータ） (2020-02-20T15:00:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。