論文の概要: An Information-Theoretic Evaluation Framework for Benchmark and Model Diagnosis in Knowledge Tracing

• arxiv url: http://arxiv.org/abs/2610.06988v1
• Date: Sun, 04 Oct 2026 07:06:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.496134
• Title: An Information-Theoretic Evaluation Framework for Benchmark and Model Diagnosis in Knowledge Tracing
• Title（参考訳）: 知識追跡におけるベンチマークとモデル診断のための情報理論評価フレームワーク
• Abstract要約: KTベンチマーク診断のための情報理論評価フレームワークを提案する。 項目応答履歴や電流-itemクエリにコンテキストツリー重み付け(CTW)を操作因果不確実性座標として使用する。 我々は,グローバルレベルだけではなく,異なるエントロピー帯域間でのモデル性能向上を評価する。
• 参考スコア（独自算出の注目度）: 17.57749426252314
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge tracing (KT) models are predominantly evaluated using aggregate metrics such as area under the curve (AUC) and accuracy. However, these global scores obscure where the remaining errors originate and fail to indicate whether a benchmark is approaching saturation. While estimating a global theoretical performance limit is challenging in realistic KT settings, it is possible to quantify local predictability. To address this, we propose an information-theoretic evaluation framework for KT benchmark diagnosis. We use Context Tree Weighting (CTW) on item-response histories and current-item queries as an operational causal uncertainty coordinate, while distinguishing it from the unobserved Local Irreducible Uncertainty (LIU) under the full KT information set. By projecting predictions onto this shared uncertainty coordinate, we evaluate model performance gains across distinct entropy bands rather than only at the global level. Comprehensive evaluations on NIPS Task 3/4 and Algebra 2005 reveal that model improvements are highly non-uniform. Modern KT models show substantial gains in high-entropy regions, and additional item-aware references, log-loss, and equal-frequency analyses support this localization. The framework also flags regions where apparent gains require checks for noise-sensitive behavior. By surfacing these local modeling failures alongside genuine gains, this approach provides a diagnostic tool for studying both residual predictive structure and the limitations of current KT benchmarks and models.
• Abstract（参考訳）: 知識追跡(KT)モデルは、曲線下面積(AUC)や精度などの集計指標を用いて、主に評価される。 しかし、これらのグローバルスコアは、残りのエラーがどこから発生し、ベンチマークが飽和に近づいているかを示すのに失敗する。 リアルなKT設定では、グローバルな理論的性能限界を推定することは難しいが、局所的な予測可能性の定量化は可能である。 そこで本研究では,KTベンチマーク診断のための情報理論評価フレームワークを提案する。 我々は、項目応答履歴とカレントイテムクエリにContext Tree Weighting (CTW) を運用因果不確実性座標として使用し、かつ、完全なKT情報セットの下で、観測されていない局所不確かさ(LIU)と区別する。 この共有不確実性座標に予測を投影することにより,グローバルレベルだけではなく,異なるエントロピー帯域間でのモデル性能向上を評価する。 NIPS Task 3/4 と Algebra 2005 の総合的な評価によると、モデルの改善は非一様である。 現代のKTモデルは、高エントロピー領域において顕著な利得を示し、追加の項目対応参照、ログロス、等周波数解析がこのローカライゼーションをサポートする。 このフレームワークは、ノイズに敏感な振る舞いのチェックが必要な領域もフラグ付けする。 これらの局所的なモデリングの失敗を真のゲインと共に克服することにより、現在のKTベンチマークやモデルの残差予測構造と制限の両方を研究するための診断ツールを提供する。

関連論文リスト

• FMMO: Detecting the Divergence Between Local Attribution and Global Drift [2.007262412327553]
  デプロイ後のドリフトは、アルゴリズム的な説明責任に重大なリスクをもたらす。 モデル信頼性が低下しても, 局所帰属法が誤導安定性を示すことを示す。 本研究では,局所的な説明安定とグローバルな分布シフトの相違を明らかにするために,FMMO(Model Monitoring and Observability)フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-09-05T16:25:59Z)
• Latent Performance Profiling of Large Language Models [47.009623327601226]
  隠れたアクティベーションと出力分布からタスクに依存しない診断を導出するフレームワークであるLatent Performance Profiling(LPP)を紹介する。 静的精度スコアとは異なり、LPPは同様のサイズのモデル間で安定でアーキテクチャに敏感なシグネチャを提供する。 類似のベンチマークスコアを持つモデルは、エントロピーや適応性の違いなど、対照的なプロファイルを示すことができることを示す。
  論文  参考訳（メタデータ） (2026-05-28T14:41:26Z)
• Holistic Evaluation and Failure Diagnosis of AI Agents [0.2922148761619506]
  本稿では,トップダウン診断とボトムアップスパンレベル評価を組み合わせた総合的エージェント評価フレームワークを提案する。 この分解は任意の長さのトレースにスケールし、各評定に対してスパンレベルの有理数を生成する。 TRAILベンチマークでは、我々のフレームワークはすべてのメトリクスで最先端の結果を得る。
  論文  参考訳（メタデータ） (2026-05-14T14:12:39Z)
• Glocal Information Bottleneck for Time Series Imputation [70.41814118117311]
  Time Series Imputationは、時間データの欠落した値を復元することを目的としている。 既存のモデルは、通常、数値(ローカル情報)の回復に焦点をあてて、ポイントワイズ復元損失を最適化する。 我々はGlocal Information Bottleneck(Glocal-IB)という新たなトレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2025-10-06T15:24:44Z)
• Revisiting Multivariate Time Series Forecasting with Missing Values [65.30332997607141]
  現実の時系列では欠落値が一般的である。 現在のアプローチでは、計算モジュールを使用して、不足した値を補う、計算済みの予測フレームワークが開発されている。 このフレームワークは、致命的な問題を見落としている: 欠落した値に対して基礎的な真理は存在せず、予測精度を劣化させる可能性のあるエラーの影響を受けやすいようにしている。 本稿では,Information Bottleneck原則に基づく新しいフレームワークであるConsistency-Regularized Information Bottleneck(CRIB)を紹介する。
  論文  参考訳（メタデータ） (2025-09-27T20:57:48Z)
• On Large-scale Evaluation of Embedding Models for Knowledge Graph Completion [1.2703808802607108]
  知識グラフ埋め込み(KGE)モデルは知識グラフ補完のために広く研究されている。 標準的な評価基準は、欠落した三重項を正確に予測するためのモデルを罰するクローズドワールドの仮定に依存している。 本稿では,大規模データセットFB-CVT-REVとFB+CVT-REVの4つの代表的なKGEモデルを包括的に評価する。
  論文  参考訳（メタデータ） (2025-04-11T20:49:02Z)
• GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
  GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。 我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。 GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
  論文  参考訳（メタデータ） (2023-04-19T14:58:27Z)
• Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing [72.14557106085284]
  スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。 本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。 評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
  論文  参考訳（メタデータ） (2022-11-08T19:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。