論文の概要: MARS: A Momentum-Aware Adaptive Rating System for Personalized Assessment
- arxiv url: http://arxiv.org/abs/2610.21685v1
- Date: Thu, 15 Oct 2026 11:09:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 06:09:33.047535
- Title: MARS: A Momentum-Aware Adaptive Rating System for Personalized Assessment
- Title(参考訳): MARS:パーソナライズドアセスメントのためのモーメントアウェア適応型レーティングシステム
- Abstract要約: 本稿では,適応評価を解釈可能なモメンタム・アウェア・アダプティブ・レーティング・システムを提案する。
Marsは質問バンクを重み付けされた知識グラフとして表現し、動的評価感度、応答品質、モーメント対応学習者速度を用いて学習者の習熟度を更新する。
- 参考スコア(独自算出の注目度): 0.6040904021861969
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adaptive assessment systems personalize learning by estimating learner proficiency and recommending suitable questions. However, many existing approaches rely on fixed difficulty labels, static rating updates, or black-box prediction models that provide limited control over rating stability, interpretability, and time-constrained routing. This paper proposes MARS, a Momentum-Aware Adaptive Rating System for interpretable adaptive assessment. MARS represents the question bank as a directed weighted knowledge graph and updates learner proficiency using dynamic rating sensitivity, response quality, and momentum-aware learner velocity. We also formulate a time-budgeted mark-maximization objective in which the policy selects questions within a fixed test duration under negative marking. Experiments on ASSISTments 2009 and MARS-SimExam evaluate MARS for prediction, rating stability, and adaptive routing. Results show that MARS provides smoother rating updates than Fixed Elo and achieves the highest score under time-budgeted negative-marking routing, improving the total score by 8.09 over the strongest baseline and reducing overtime violations from 50% to 5.6%. These results suggest that MARS is suitable for real-time, interpretable, and deployment-friendly adaptive assessment.
- Abstract(参考訳): 適応的アセスメントシステムは、学習者の習熟度を推定し、適切な質問を推薦することで学習をパーソナライズする。
しかし、既存の多くのアプローチは、固定困難ラベル、静的評価更新、ブラックボックス予測モデルに依存しており、レーティング安定性、解釈可能性、時間制約のあるルーティングを限定的に制御している。
本稿では,適応性評価のためのモメンタム・アウェア適応型レーティングシステムMARSを提案する。
MARSは,質問バンクを有向重み付き知識グラフとして表現し,動的評価感度,応答品質,モーメント対応学習者速度を用いて学習者の習熟度を更新する。
また,政策が負のマーキングの下で一定の試験期間内に質問を選定する,時間予算のマーク最大化目標を定式化する。
ASSISTments 2009とMARS-SimExamの実験は、予測、評価安定性、適応ルーティングのためのMARSを評価する。
その結果、MARSは固定Eloよりもスムーズな評価更新を提供し、時間予算の負のマーキングルーティングで最高スコアを達成し、最強のベースラインよりも8.09ポイント改善し、オーバータイム違反を50%から5.6%に削減した。
これらの結果から,MARSはリアルタイム,解釈可能,適応的評価に適していることが示唆された。
関連論文リスト
- Semifactual Credit-Augmented Policy Optimization [26.851464193164947]
検証可能な報酬付き強化学習(RLVR)は、大規模言語モデルの推論能力を改善した。
本研究は,基礎となる問題とその答えを保存するための半実的な介入を通して,この感度について検討する。
トークンレベルの信用代入に半実的安定性を組み込んだ半実的信用増資政策最適化(SCAPO)を導入する。
論文 参考訳(メタデータ) (2026-09-30T17:59:56Z) - Adaptive Doubly Robust Off-Policy Evaluation for Ranking Policies under Diverse User Behavior [0.7161783472741748]
Inverse Propensity Scoring (IPS) は過度な分散を持つ。
IPS と Reward Interaction IPS (RIPS) は、ユーザーがランキングを閲覧する方法に関する仮定を定め、ばらつきを減らす。
本稿では適応重み付けと再帰回帰を組み合わせた適応二重ロバスト(ADR)を提案する。
論文 参考訳(メタデータ) (2026-08-30T06:43:36Z) - SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute [62.3458279176813]
自己検証リファインメント(Self-Verifying Refinement)は、オラクルフリーのマルチターン強化学習フレームワークである。
自己検証を計算制御ポリシとして使用することを学ぶ。
マクロ平均精度は0.563で、平均で2.99回しか推測できない。
論文 参考訳(メタデータ) (2026-07-30T16:20:58Z) - On the Stability of Prompt Ranking in Large Language Model Evaluation [9.718200364661675]
本稿では,ランダムシードや限定評価サブセットなど,変数の共通源下でのランク付け安定性について系統的に検討する。
全体的なランク相関は、しばしば適度に高いが、トップパフォーマンスのアイデンティティは頻繁に変化し、信頼性の低い選択決定につながる。
本稿では,性能と分散性の両方を考慮し,信頼度を低くした簡易な安定性を考慮した選択戦略を提案する。
論文 参考訳(メタデータ) (2026-06-23T10:13:47Z) - Robust Checkpoint Selection for Multimodal LLMs via Agentic Evaluation and Stability-Aware Ranking [0.4562811934651716]
評価の不確実性の下では、チェックポイントの選択を堅牢な決定問題として定式化する。
実世界のキュレートされたデータ、構造化LCMに基づく判断、および多段階ランキングプロトコルを統合する多段階フレームワークを提案する。
我々は、データ品質、特にOCR可読性は、評価の妥当性の重要な決定要因であることを示した。
論文 参考訳(メタデータ) (2026-05-13T12:18:32Z) - Navigating the Sea of LLM Evaluation: Investigating Bias in Toxicity Benchmarks [0.36748639131154315]
本研究は、確立されたベンチマーク設定の堅牢性を調査し、本質的なバイアスを測定する方法を検討する。
本実験では,評価設定が変更された場合のベンチマーク動作に有意な差がみられた。
モデル固有の不安定性を観察し、より堅牢で包括的な安全性評価フレームワークの必要性を明確に示す。
論文 参考訳(メタデータ) (2026-05-11T14:27:39Z) - Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。
次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。
ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
論文 参考訳(メタデータ) (2025-09-29T12:15:52Z) - Aurora: Are Android Malware Classifiers Reliable and Stable under Distribution Shift? [51.12297424766236]
AURORAは、その信頼性と運用上のレジリエンスに基づいて、マルウェア分類器を評価するためのフレームワークである。
AURORAは、ポイント・イン・タイムのパフォーマンスを超えるように設計されたメトリクスのセットによって補完される。
さまざまなドリフトのデータセットにわたるSOTAフレームワークの脆弱性は、ホワイトボードへの復帰の必要性を示唆している。
論文 参考訳(メタデータ) (2025-05-28T20:22:43Z) - Position: AI Evaluation Should Learn from How We Test Humans [65.36614996495983]
人間の評価のための20世紀起源の理論である心理測定は、今日のAI評価における課題に対する強力な解決策になり得る、と我々は主張する。
論文 参考訳(メタデータ) (2023-06-18T09:54:33Z) - Uncertainty-Driven Action Quality Assessment [11.958132175629368]
本稿では,複数の判定スコアの多様性を捉えるために,不確実性駆動型AQA (UD-AQA) という新しい確率モデルを提案する。
我々は,AQA回帰損失の再重み付けに使用される各予測の不確かさを推定する。
提案手法は,オリンピックイベントMTL-AQAとFineDivingの3つのベンチマークと,手術スキルJIGSAWSデータセットの3つのベンチマークで比較結果を得た。
論文 参考訳(メタデータ) (2022-07-29T07:21:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。