論文の概要: Counterfactual learning of new adaptive instructional policies using logged data

• arxiv url: http://arxiv.org/abs/2606.23015v1
• Date: Mon, 22 Jun 2026 08:28:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 02:51:19.234748
• Title: Counterfactual learning of new adaptive instructional policies using logged data
• Title（参考訳）: ログデータを用いた新しい適応型指導方針の実証学習
• Authors: Samuel Girard, Sein Minn, Amel Bouzeghoub, Jill-Jênn Vie,
• Abstract要約: 本稿では、ログ化されたインタラクションデータから直接、新しい適応ポリシーを学習するオフラインコンテキスト帯域幅フレームワークを提案する。 本稿では,効率的な指導方針を数秒以内で学習し,視覚化できることを述べる。
• 参考スコア（独自算出の注目度）: 1.0534609884264237
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optimizing instructional policies in Intelligent Tutoring Systems (ITS) typically requires costly online experimentation or student simulators that may fail to capture real-world dynamics. This paper introduces an offline contextual bandit framework that learns new adaptive policies directly from logged interaction data. By mapping student-item interactions onto a continuous latent proficiency-difficulty scale using a Rasch model, we cast the tutoring process as a continuous stochastic bandit problem. We propose a novel reward function designed to optimize ''flow'' by balancing task challenge with student success. Our approach includes a round-specific behavior policy estimation that serves as both a propensity model for off-policy evaluation and a diagnostic tool for ITS adaptivity. We demonstrate the efficacy of this framework across four large-scale real-world datasets, achieving consistent policy improvements over the logged behavior policy. The results show that effective instructional policies can be learned and visualized within seconds of computation, providing a scalable path for improving adaptive learning systems without further data collection.
• Abstract（参考訳）: Intelligent Tutoring Systems (ITS) における教育ポリシーの最適化には、高コストのオンライン実験や、現実世界のダイナミクスを捉えるのに失敗する学生シミュレータが必要となるのが一般的である。 本稿では、ログ化されたインタラクションデータから直接、新しい適応ポリシーを学習するオフラインコンテキスト帯域幅フレームワークを提案する。 ラッシュモデルを用いて,学生と学生の相互作用を連続的な潜伏習熟度差尺度にマッピングすることにより,学習過程を連続確率的バンディット問題として捉えた。 本稿では,課題課題と学生の成功のバランスをとることで,「フロー」を最適化する新たな報酬関数を提案する。 本手法は,非政治評価のための妥当性モデルとITS適応性のための診断ツールの両方を兼ね備えたラウンド固有行動ポリシー推定を含む。 4つの大規模実世界のデータセットでこのフレームワークの有効性を実証し、ログ化された行動ポリシーに対して一貫したポリシー改善を実現する。 その結果、効率的な指導方針を数秒で学習・視覚化し、さらなるデータ収集を行なわずに適応学習システムを改善するためのスケーラブルな経路を提供することができた。

関連論文リスト

• Model Predictive Control with Differentiable World Models for Offline Reinforcement Learning [17.293286354647716]
  モデル予測制御(MPC)にインスパイアされた推論時間適応フレームワークを提案する。 ポリシーパラメータを最適化するために推定時情報を利用すると、強いオフラインRLベースラインよりも一貫した利得が得られることを示す。
  論文  参考訳（メタデータ） (2026-03-23T18:05:29Z)
• Relative Entropy Pathwise Policy Optimization [66.03329137921949]
  そこで本稿では,Q値モデルをオンライントラジェクトリから純粋に訓練するオンラインアルゴリズムを提案する。 安定トレーニングのための制約付き更新と探索のためのポリシを組み合わせる方法を示し、価値関数学習を安定化させる重要なアーキテクチャコンポーネントを評価する。
  論文  参考訳（メタデータ） (2025-07-15T06:24:07Z)
• Efficient Imitation Learning with Conservative World Models [54.52140201148341]
  報酬機能のない専門家によるデモンストレーションから政策学習の課題に取り組む。 純粋な強化学習ではなく、微調整問題として模倣学習を再構成する。
  論文  参考訳（メタデータ） (2024-05-21T20:53:18Z)
• Statistically Efficient Variance Reduction with Double Policy Estimation for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
  本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。 D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
  論文  参考訳（メタデータ） (2023-08-28T20:46:07Z)
• Robust Task Representations for Offline Meta-Reinforcement Learning via Contrastive Learning [21.59254848913971]
  オフラインメタ強化学習は、オフラインデータから学習して新しいタスクに適応する強化学習パラダイムである。 本稿では,学習・テストにおける行動方針の分布に頑健なタスク表現のための対照的な学習フレームワークを提案する。 様々なオフラインメタ強化学習ベンチマークの実験は,従来の手法よりも提案手法の利点を実証している。
  論文  参考訳（メタデータ） (2022-06-21T14:46:47Z)
• A Regularized Implicit Policy for Offline Reinforcement Learning [54.7427227775581]
  オフラインの強化学習は、環境とのさらなるインタラクションなしに、固定データセットから学習を可能にする。 フレキシブルだが十分に調整された完全実装ポリシーの学習を支援するフレームワークを提案する。 D4RLデータセットの実験とアブレーション研究により、我々のフレームワークとアルゴリズム設計の有効性が検証された。
  論文  参考訳（メタデータ） (2022-02-19T20:22:04Z)
• Doubly Robust Interval Estimation for Optimal Policy Evaluation in Online Learning [8.736154600219685]
  オンライン学習における政策評価が注目を集めている。 しかし、オンライン環境で生成された依存データのため、このような問題は特に困難である。 本研究では,オンライン学習における最適ポリシーに基づいて,2倍頑健区間推定法(DREAM)を開発した。
  論文  参考訳（メタデータ） (2021-10-29T02:38:54Z)
• Offline Reinforcement Learning with Implicit Q-Learning [85.62618088890787]
  現行のオフライン強化学習手法では、トレーニング中に見つからない行動の価値を問い合わせて、ポリシーを改善する必要がある。 本稿では,データセット外の動作を評価する必要のないオフラインRL手法を提案する。 この方法により、学習したポリシーは、一般化によってデータの最良の振る舞いを大幅に改善することができる。
  論文  参考訳（メタデータ） (2021-10-12T17:05:05Z)
• PLAS: Latent Action Space for Offline Reinforcement Learning [18.63424441772675]
  オフライン強化学習の目標は、環境とのさらなる相互作用なしに、固定データセットからポリシーを学ぶことである。 既存のオフプライシアルゴリズムでは、アウト・オブ・ディストリビューションアクションによる外挿エラーによる静的データセットのパフォーマンスが制限されている。 提案手法は,各種の連続制御タスクと異なる種類のデータセットに対して,一貫して競合性能を提供することを示す。
  論文  参考訳（メタデータ） (2020-11-14T03:38:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。