論文の概要: Offline Apprenticeship Learning for Human-Centric Environments

• arxiv url: http://arxiv.org/abs/2610.28716v1
• Date: Tue, 20 Oct 2026 17:56:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 09:50:43.210506
• Title: Offline Apprenticeship Learning for Human-Centric Environments
• Title（参考訳）: 人中心環境におけるオフライン適応学習
• Abstract要約: Apprenticeship Learningは、専門家によるデモンストレーションから直接ポリシーを推論する。 この論文では、報酬モデリングとデモ品質という2つの課題に関して、オフラインALフレームワークの進歩が展開されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Effective decision-making in human-centric environments such as Intelligent Tutoring Systems (ITSs) and clinical healthcare requires policies that are adaptive, data-efficient, and ethically deployable. Apprenticeship Learning (AL) infers policies directly from expert demonstrations by recovering the underlying reward structure, enabling strictly offline learning without environment interaction. This dissertation develops a progression of offline AL frameworks organized around two challenges: reward modeling and demonstration quality. For reward modeling, EM-EDM clusters demonstrations by latent reward functions and induces cluster-specific policies, and THEMES partitions trajectories into temporally coherent sub-trajectories guided by a hierarchically learned reward regulator; across one educational and three clinical datasets, THEMES outperforms flat and hierarchical AL baselines. For demonstration quality, HALIDE integrates continuous quality signals into hierarchical policy induction, enabling principled reuse of mixed-quality data under distribution shift. CCHAL further attributes quality to individual decisions via Bayesian credit assignment, dual-arm criticality scoring that contrasts expert and non-expert behavior, and a Bradley-Terry contrastive IRL objective over failure trajectories, outperforming baselines including HALIDE on three clinical EHR datasets and an ITS dataset. Finally, a real-world classroom evaluation of StuEDM, an EDM-induced policy that preserves student agency and intervenes only on disagreement, shows significant learning gains over an Expert baseline and a higher pretest-adjusted posttest score than a CQL policy trained on a far larger corpus, while overriding students less than half as often. Together, this work establishes offline AL as a practical, data-efficient, and ethically viable paradigm for human-centric environments.
• Abstract（参考訳）: インテリジェント・チュータリング・システム(ITS)や臨床医療のような人間中心の環境における効果的な意思決定には、適応性、データ効率、倫理的に展開可能なポリシーが必要である。 Apprenticeship Learning (AL)は、基礎となる報酬構造を復元することで、専門家によるデモンストレーションから直接ポリシーを推測する。 この論文では、報酬モデリングとデモ品質という2つの課題を中心に組織されたオフラインALフレームワークの進歩が展開されている。 報酬モデリングのために、EM-EDMクラスタは潜在報酬関数によるデモンストレーションを行い、クラスタ固有のポリシーを誘導し、TheeMESパーティショニングは階層的に学習された報酬レギュレーションによって導かれる時間的に一貫性のあるサブトラジェクトリに軌道を分割する。 デモ品質のために、HALIDEは継続的品質信号を階層的なポリシー誘導に統合し、分散シフト下での混合品質データの原則的再利用を可能にする。 さらにCCHALは、ベイズクレジットの割り当て、専門家と非専門家の行動を対比するデュアルアームクリティカルスコア、失敗軌道に対するBradley-Terryの対照的なIRL目標、HALIDEを含む3つの臨床EHRデータセットとITSデータセットによるベースラインのパフォーマンスなど、個々の決定に品質を割り当てている。 最後に,学生エージェンシーを保護し,不一致にのみ介入するEDMによる授業評価であるStuEDMを,より大規模なコーパスで訓練されたCQLポリシーよりも,エキスパートベースラインと事前調整後のスコアよりも高い学習率を示すとともに,学生の半数以下をオーバーライドする。 この研究は、人間中心の環境において、オフラインALを実践的で、データ効率が高く、倫理的に実行可能なパラダイムとして確立している。

関連論文リスト

• UniER: A Unified Benchmark for Item-level and Path-level Exercise Recommendation [53.62147575168325]
  We present a Unified Benchmark for Exercise Recommendation (UniER) UniERは、ILERとPLERを統合する包括的な評価フレームワークである。 本研究は, pleRの系統的優位性を明らかにするとともに, ILERのフラグメントドレコメンデーションの教育的失敗を明らかにするものである。
  論文  参考訳（メタデータ） (2026-05-16T02:07:58Z)
• DISCO-TAB: A Hierarchical Reinforcement Learning Framework for Privacy-Preserving Synthesis of Complex Clinical Data [2.3915781021862332]
  DISCO-TABは、Reinforcement Learningによって最適化された多目的識別器システムを用いて、微調整LDMをオーケストレーションする新しいフレームワークである。 私たちは、高次元の小さな医療データセットを含むさまざまなベンチマークで、私たちのフレームワークを厳格に検証しています。 以上の結果から, 階層的フィードバックは最先端の成果をもたらすことが示され, 下流の臨床的有用性は最大38.2%向上した。
  論文  参考訳（メタデータ） (2026-04-01T23:37:58Z)
• Benchmarking Offline Multi-Objective Reinforcement Learning in Critical Care [0.07161783472741748]
  批判的なケア環境では、臨床医は競合する目標のバランスをとることの難しさに直面し、主に患者の生存を最大化し、資源利用を最小化する。 単目的強化学習のアプローチは通常、固定されたスカラー化された報酬関数を最適化することでこの問題に対処する。 本稿では,MIMIC-IVデータセット上の3つの単目的ベースラインに対して,3つのオフラインMORLアルゴリズムをベンチマークする。
  論文  参考訳（メタデータ） (2025-12-08T20:09:15Z)
• Multidimensional Rubric-oriented Reward Model Learning via Geometric Projection Reference Constraints [4.79357178898034]
  GPRC(Geometric Projection Reference Constraints)を用いたMR-RML(Multidimensional-oriented Reward Model Learning)を導入する。 提案手法は,(1)訓練パイプライン全体にドメイン固有のガイドラインを組み込んだ医療標準システム,(2)評価基準を分解する独立した多次元報酬モデル,(3)臨床認知論理を数学的正則化に変換する予測基準制約,の3つの重要なイノベーションを紹介する。 本手法はQwen-32Bモデルの性能を大幅に向上させ,完全部分集合では45%,ハード部分集合では85%向上させた。
  論文  参考訳（メタデータ） (2025-11-20T08:26:16Z)
• AdaSwitch: Adaptive Switching Generation for Knowledge Distillation [58.647880811071495]
  スモール言語モデル(SLM)は、厳密な待ち時間と計算制約のあるアプリケーションには不可欠である。 トークンレベルでのオン・ポリティクスとオフ・ポリティクス・ジェネレーションを組み合わせた新しいアプローチであるAdaSwitchを提案する。 AdaSwitchは一貫して精度を向上し、SLMを蒸留するための実用的で効果的な方法を提供し、追加のオーバーヘッドを許容する。
  論文  参考訳（メタデータ） (2025-10-09T06:38:37Z)
• Personality as a Probe for LLM Evaluation: Method Trade-offs and Downstream Effects [0.6087817758152709]
  本稿では,ビッグファイブ特性を用いたパーソナリティコントロールの体系的研究について述べる。 トラトレベルの分析では、オープン性はICLに最も耐性のある、独特な挑戦であり、同意性を示している。 Gemma-2-2B-ITとLLaMA-3-8B-Instructの実験により明らかなトレードオフが明らかになった。
  論文  参考訳（メタデータ） (2025-09-05T04:19:15Z)
• Q-Learning with Clustered-SMART (cSMART) Data: Examining Moderators in the Construction of Clustered Adaptive Interventions [3.9650359172757743]
  クラスタ適応介入(cAI)は、結果を改善するためにクラスタレベルの介入をどのように調整するかを実践者の指導する一連の決定ルールである。 M-out-of-N Cluster Bootstrapを用いたクラスタ型Qラーニングフレームワークを導入し、最適なcAIを定義する上で、候補の調整変数のセットが有用かどうかを評価する。
  論文  参考訳（メタデータ） (2025-05-01T19:24:39Z)
• When Demonstrations Meet Generative World Models: A Maximum Likelihood Framework for Offline Inverse Reinforcement Learning [62.00672284480755]
  本稿では, 専門家エージェントから, 一定の有限個の実演において観測された動作を過小評価する報酬と環境力学の構造を復元することを目的とする。 タスクを実行するための正確な専門知識モデルは、臨床的意思決定や自律運転のような安全に敏感な応用に応用できる。
  論文  参考訳（メタデータ） (2023-02-15T04:14:20Z)
• Offline Reinforcement Learning with Instrumental Variables in Confounded Markov Decision Processes [93.61202366677526]
  未測定の共同設立者を対象にオフライン強化学習(RL)について検討した。 そこで本稿では, 最適クラスポリシーを見つけるための, 有限サンプルの準最適性を保証した多種多様なポリシー学習手法を提案する。
  論文  参考訳（メタデータ） (2022-09-18T22:03:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。