論文の概要: Limited Structural Reliability in Public Educational Prediction Benchmarks: A Four-Dimension Audit of Seven Datasets

• arxiv url: http://arxiv.org/abs/2609.29625v1
• Date: Fri, 28 Aug 2026 15:31:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:56.087342
• Title: Limited Structural Reliability in Public Educational Prediction Benchmarks: A Four-Dimension Audit of Seven Datasets
• Title（参考訳）: 公立教育予測ベンチマークにおける限定的構造信頼性:7つのデータセットの4次元監査
• Abstract要約: 1つのデータセットは最初、失敗と分類されたが、ホールドアウト行列からグループ識別機能を除外して修正された。 主な障害モードは、Iid性能の弱さではなく、グループ間の脆弱さであった。 アンサンブルモデルは構造的に健全なデータセットを改善したが、不安定性を増幅したり、脆弱なデータセットに対するグループホールドアウトで失敗した。
• 参考スコア（独自算出の注目度）: 7.105430294335961
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Across seven public educational prediction datasets, three passed all four pre-modeling reliability checks; the remaining four either failed group-aware generalization tests or lacked the provenance metadata needed to run them. One dataset was initially classified as failing but corrected after excluding group-identifier features from the holdout matrix, demonstrating that the audit can distinguish genuine cross-group confounding from feature-encoding artifacts. Each dataset was audited before model optimization using four checks: baseline gap, split instability, null separation, and metadata adequacy under group-aware holdout. The dominant failure mode was not weak iid performance alone but cross-group fragility: in the clearest case, UCI Student declined from iid R-squared 0.242 to group-holdout R-squared -0.097, while Higher Ed collapsed from 0.041 to -8.79. Increasing model complexity did not remove this pattern: ensemble models improved structurally sound datasets but amplified instability or failed under group holdout on fragile ones. An exploratory cross-dataset comparison further showed that stronger profiles clustered in larger, richer-grouped, performance-proximal datasets, while random-split performance severely overstated deployable signal in fragile datasets. Classification-metric sensitivity analyses reached the same substantive conclusions. The results show that benchmark reliability in educational AI is constrained less by algorithm choice than by data structure, group heterogeneity, and evaluation design. A reusable pre-modeling audit offers a minimum quality gate before public educational datasets support strong benchmark or deployment claims.
• Abstract（参考訳）: 7つの公開教育予測データセットのうち、3つは4つの事前モデル化された信頼性チェックをすべてパスした。 1つのデータセットは、最初は失敗と分類されたが、ホールトアウトマトリックスからグループ識別機能を除外して修正され、監査が特徴エンコードアーティファクトから真のクロスグループを区別できることが証明された。 各データセットは、ベースラインギャップ、スプリット不安定、ヌル分離、グループ対応のホールアウト時のメタデータの妥当性の4つのチェックを使用して、モデルの最適化前に監査された。 最も明確な場合、UCI学生はiid R-squared 0.242からグループホールドアウトR-squared -0.097に減少し、Higher Edは0.041から-8.79に崩壊した。 アンサンブルモデルは構造的に健全なデータセットを改善したが、不安定さを増幅したり、脆弱なデータセットに対するグループホールトアウトで失敗したりした。 さらに、探索的なクロスデータセット比較では、より大きく、よりリッチなグループ化されたパフォーマンス確率データセットに、より強力なプロファイルがクラスタ化され、一方、ランダムスプリットのパフォーマンスは脆弱なデータセットにデプロイ可能なシグナルを過度に過大に上回っていた。 分類基準感度分析は同じ実体的結論に達した。 その結果,教育用AIにおけるベンチマーク信頼性は,データ構造やグループ不均一性,評価設計などよりもアルゴリズムの選択による制約が少なくなった。 再利用可能な事前モデリング監査は、公開教育データセットが強力なベンチマークやデプロイメントクレームをサポートする前に、最小限の品質ゲートを提供する。

関連論文リスト

• TS-Fault: Benchmarking Time Series Forecasters Against Structural Faults [22.88447833683736]
  時系列予測(TSF)は、エネルギー、輸送、金融、医療の連続的な決定を支えている。 TSFモデルは、デプロイされた信頼性を予測するという暗黙の仮定の下で、クリーンなホールトアウトデータ上の1つの数でほぼ普遍的にランク付けされる。 TS-Faultは、制御可能な意味的難易度を持つ明示的でパラメータ化された障害シナリオの下で予測モデルを評価するベンチマークである。
  論文  参考訳（メタデータ） (2026-06-16T23:15:20Z)
• When Metrics Disagree: A Meta-Analysis of Knowledge-Graph-Completion Model Benchmarking [0.0]
  本稿では, 整合性, クロスデータセット安定性, 距離独立性, 雑音下での頑健性, 一般化性という, 5つのテストにまたがる7つのアグリゲータのメタ分析について述べる。 Across tail $(h,r,?)$ and relation $(h,?,t)$ prediction, Z-score is the most balanced aggregator, which rank of DualE highest for tail prediction, FMS highest for relation prediction。 このフレームワークは、評価の不整合を解消し、KGCにおけるアグリゲータの選択とモデルベンチマークのためのエビデンスベースのガイダンスを提供する。
  論文  参考訳（メタデータ） (2026-06-09T01:20:43Z)
• STaR-DRO: Stateful Tsallis Reweighting for Group-Robust Structured Prediction [0.20165644958637055]
  制御可能な推論と堅牢な微調整のための2部フレームワークを提案する。 まず、フォーマットのドリフト、ラベルの曖昧さ、エビデンス幻覚、メタデータ条件の混乱に対処するためのタスクに依存しないプロンプト戦略を導入する。 第2に,グループ不均一性のステートフルなロバスト最適化手法STaR-DROを導入する。
  論文  参考訳（メタデータ） (2026-04-09T21:58:42Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• OpenDataArena: A Fair and Open Arena for Benchmarking Post-Training Dataset Value [74.80873109856563]
  OpenDataArena(ODA)は、トレーニング後のデータの本質的な価値をベンチマークするために設計された、総合的でオープンなプラットフォームである。 ODAは4つの主要な柱からなる包括的なエコシステムを確立している。 (i) 多様なモデル間で公平でオープンな比較を保証する統一的なトレーニング評価パイプライン、 (ii) 異なる軸数に沿ってデータ品質をプロファイリングする多次元スコアリングフレームワーク、 (iii) データセットの系図を視覚化してコンポーネントソースを識別するインタラクティブなデータ系統探索である。
  論文  参考訳（メタデータ） (2025-12-16T03:33:24Z)
• Trained Models Tell Us How to Make Them Robust to Spurious Correlation without Group Annotation [3.894771553698554]
  経験的リスク最小化(ERM)モデルは、ターゲットと高い刺激的な相関を持つ属性に依存する傾向がある。 これにより、これらの属性を欠いた未表現(または'マイナー')グループのパフォーマンスを低下させることができる。 本稿では,環境に基づく検証と損失に基づくサンプリング(EVaLS)を提案する。
  論文  参考訳（メタデータ） (2024-10-07T08:17:44Z)
• Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
  機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。 本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:05:36Z)
• Take One Gram of Neural Features, Get Enhanced Group Robustness [23.541213868620837]
  経験的リスク最小化で訓練された機械学習モデルの予測性能は、分散シフト下で大幅に低下する可能性がある。 本稿では,識別モデルの抽出した特徴の文法行列に基づいて,トレーニングデータセットをグループに分割する。 このアプローチは、ERMに対するグループロバスト性を向上するだけでなく、最近のすべてのベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-08-26T12:34:55Z)
• Towards Group Robustness in the presence of Partial Group Labels [61.33713547766866]
  入力サンプルとターゲットラベルの間に 急激な相関関係がある ニューラルネットワークの予測を誤った方向に導く 本稿では,制約セットから最悪のグループ割り当てを最適化するアルゴリズムを提案する。 グループ間で総合的な集計精度を維持しつつ,少数集団のパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2022-01-10T22:04:48Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)
• Causal Feature Selection for Algorithmic Fairness [61.767399505764736]
  データ管理の統合コンポーネントにおける公平性について検討する。 本稿では,データセットの公平性を保証する特徴のサブコレクションを同定する手法を提案する。
  論文  参考訳（メタデータ） (2020-06-10T20:20:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。