論文の概要: When Can We Trust Early Warnings? Leakage-Excluded Early Outcome Prediction from LMS Interaction Logs

• arxiv url: http://arxiv.org/abs/2605.25794v1
• Date: Mon, 25 May 2026 12:41:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:20.047503
• Title: When Can We Trust Early Warnings? Leakage-Excluded Early Outcome Prediction from LMS Interaction Logs
• Title（参考訳）: 早期警戒はいつ信頼できるか? LMSインタラクションログから漏洩した早期アウトカム予測
• Authors: Ngoc Luyen Le, Marie-Hélène Abel, Bertrand Laforge,
• Abstract要約: 我々は、時間的可用性制約の下で、カットオフに基づく早期結果予測を形式化し、LEAPを導入する。 LEAPは、結合と集約の前にカットオフファーストの停止を強制し、ポストカット後のエビデンスがベンチマークに入るのを防ぐために、機能証明を特徴とする。 結果は、観察ウィンドウが拡大するにつれてパフォーマンスが向上し、約3週間で顕著に上昇した。
• 参考スコア（独自算出の注目度）: 26.702635306128865
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Early-warning models built from Learning Management System (LMS) logs aim to predict end-of-course outcomes early enough to enable timely learner support. However, reported "early" performance is often inflated by temporal leakage. This occurs when the pipeline uses information that would not yet be available at the time of prediction. We formalize cutoff-based early outcome prediction under a temporal availability constraint and introduce LEAP (Leakage-Excluded Early-Availability Protocol), which enforces cutoff-first truncation prior to joins and aggregation and audits feature provenance to prevent post-cutoff evidence from entering the benchmark. We instantiate LEAP on the public Open University Learning Analytics Dataset (OULAD) as a multi-step protocol for leakage-controlled evaluation across weekly cutoffs. Using several standard learning methods, we evaluate performance using ROC-AUC, PR-AUC, Brier score, and F1@0.5. Results show improving performance as the observation window expands, with a marked gain around week~3; Random Forest performs best at the earliest cutoffs, while Gradient Boosting dominates thereafter. Leakage ablations further show that temporal violations, especially through assessment information, can inflate apparent "early" performance.
• Abstract（参考訳）: 学習管理システム(LMS)ログから構築された早期警戒モデルは、学習者のタイムリーなサポートを可能にするのに十分な早期の学習結果を予測することを目的としている。 しかし、報告された「早期」のパフォーマンスは、しばしば時間的リークによって膨らませられる。 これは、パイプラインが予測時にまだ利用できない情報を使用する場合に発生する。 我々は、時間的アベイラビリティ制約の下で、カットオフに基づく早期結果予測を形式化し、結合前にカットオフファーストのトランケーションを強制するLEAP(Leakage-Excluded Early-Availability Protocol)を導入し、ポストカット後の証拠がベンチマークに入らないよう特徴的証明を監査する。 オープン大学ラーニングアナリティクスデータセット(OULAD)上のLEAPを、週ごとのカットオフにおけるリーク制御評価のためのマルチステッププロトコルとしてインスタンス化する。 いくつかの標準学習手法を用いて,ROC-AUC,PR-AUC,ブライアスコア,F1@0.5を用いて評価を行った。 その結果、観測窓が拡大するにつれて性能が向上し、1週間～3週間で顕著に上昇し、ランダムフォレストは最初期のカットオフで、その後はグラディエント・ブースティングが優勢となった。 漏洩は、特に評価情報を通じて、時間的違反が明らかな「早期」のパフォーマンスを低下させることを示している。

関連論文リスト

• Forecasting Supply Chain Disruptions with Foresight Learning [0.0]
  実効的な破壊結果を監督として利用して,LCMを校正した確率予測を生成するためのエンドツーエンドフレームワークを導入する。 結果として得られるモデルは、精度、校正、精度において、強いベースラインを大幅に上回る。 その結果,決定可能な信号を生成する領域固有の予測モデルをトレーニングするための一般的な経路が示唆された。
  論文  参考訳（メタデータ） (2026-04-01T18:04:34Z)
• Long-Term Outlier Prediction Through Outlier Score Modeling [11.050517940486857]
  本研究は,時間系列外乱検出において,新たな問題設定である長期外乱予測を提案することにより,重要なギャップを解消するものである。 従来の手法は主に、通常のパターンから逸脱を特定することによって、即時検出に焦点を当てていた。 特定のモデルに依存しない単純で教師なしの2層手法を提案する。
  論文  参考訳（メタデータ） (2026-03-22T00:24:42Z)
• Forecasting Anomaly Precursors via Uncertainty-Aware Time-Series Ensembles [9.53248032827498]
  FATE(Forecasting Anomalies with Time-Series Ensembles)を提案する。 FATEは将来の値を予測し、アンサンブルの不一致を利用して、推論時にターゲット値にアクセスすることなく、潜在的な異常の早期兆候を示す。 5つの実世界のベンチマークデータセットの実験により、FATEはPTaPR AUCの19.9ポイント、早期検出のF1スコアの20.02ポイントの平均的な改善を達成している。
  論文  参考訳（メタデータ） (2026-02-19T02:48:09Z)
• Can Prompts Rewind Time for LLMs? Evaluating the Effectiveness of Prompted Knowledge Cutoffs [31.64130018833542]
  大規模言語モデル(LLM)は時間的予測に広く用いられているが、事前学習データへの依存は汚染の懸念を引き起こす。 LLMにおける初期の知識遮断をシミュレートする能力について検討する。 以上の結果から, 即時的知識カットオフは, その日以降の情報を直接クエリした場合の有効性を示すが, 忘れた内容が直接問い合わせられるのではなく, 慎重にクエリに関連付けられている場合, 忘れることの誘発に苦慮していることが示された。
  論文  参考訳（メタデータ） (2025-09-26T20:37:44Z)
• Mitigating Spurious Correlations in LLMs via Causality-Aware Post-Training [57.03005244917803]
  大規模言語モデル (LLMs) は、事前学習中に得られた素早い相関関係により、アウト・オブ・ディストリビューション (OOD) のサンプルで失敗することが多い。 ここでは、因果認識後学習(CAPT)を通して、このような素因的相関を緩和することを目的とする。 公式因果推論ベンチマークCLadderと論理推論データセットPrOntoQAの実験により、CAPTで微調整された3Bスケールの言語モデルでは、従来のSFTおよびより大きなLLMを分散処理(ID)およびOODタスクで上回る結果が得られた。
  論文  参考訳（メタデータ） (2025-06-11T06:30:28Z)
• Improving Prediction Certainty Estimation for Reliable Early Exiting via Null Space Projection [16.838728310658105]
  本稿では,Certainty-Aware Probability (CAP)スコアに基づく新しい早期退避手法を提案する。 本研究では,各タスクの平均高速化率は2.19倍であり,性能劣化は無視できることを示す。
  論文  参考訳（メタデータ） (2025-06-08T05:08:34Z)
• Rethinking Metrics and Benchmarks of Video Anomaly Detection [58.37571339811799]
  ビデオ異常検出(VAD)は、期待から外れた異常を検出することを目的としている。 既存のVADメトリクスは、単一のアノテーションバイアスの影響を受けます。 既存のベンチマークには、完全に/弱い教師付きアルゴリズムのシーンオーバーフィットを評価する能力がない。
  論文  参考訳（メタデータ） (2025-05-25T08:09:42Z)
• The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
  大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。 UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。 実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2025-03-04T18:56:03Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• Improving Event Duration Prediction via Time-aware Pre-training [90.74988936678723]
  持続時間予測に有効な2つのモデルを提案する。 1つのモデルは、期間値が該当する範囲/単位を予測し(R−pred)、もう1つのモデルは正確な期間値E−predを予測する。 我々の最良のモデル -- E-pred は、以前の作業よりも大幅に優れ、R-pred よりも正確に持続時間情報をキャプチャします。
  論文  参考訳（メタデータ） (2020-11-05T01:52:11Z)
• Predicting MOOCs Dropout Using Only Two Easily Obtainable Features from the First Week's Activities [56.1344233010643]
  いくつかの特徴は、学習者の誘惑や興味の欠如に寄与すると考えられており、そのことが解脱や総減退につながる可能性がある。 この研究は、いくつかの機械学習アプローチを比較して、最初の1週間から早期のドロップアウトを予測することを目的としている。
  論文  参考訳（メタデータ） (2020-08-12T10:44:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。