論文の概要: Opportunities for Adaptive Experiments to Enable Continuous Improvement
that Trades-off Instructor and Researcher Incentives
- arxiv url: http://arxiv.org/abs/2310.12324v1
- Date: Wed, 18 Oct 2023 20:54:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-20 17:57:37.939864
- Title: Opportunities for Adaptive Experiments to Enable Continuous Improvement
that Trades-off Instructor and Researcher Incentives
- Title（参考訳）: インセンティブとインセンティブのトレードオフによる継続的改善を可能にする適応実験の機会
- Authors: Ilya Musabirov, Angela Zavaleta-Bernuy, Pan Chen, Michael Liut and
Joseph Jay Williams
- Abstract要約: 適応的な実験が継続的なコース改善にどのように役立つかを検討する。
適応的な実験では、異なる武器や条件が学生に展開されるにつれて、データは分析され、将来の学生の体験を変えるために使用される。
これは、機械学習アルゴリズムを使用して、学生の経験や成果を改善するために、どのアクションがより有望であるかを特定することができる。
- 参考スコア（独自算出の注目度）: 8.055654065452584
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Randomized experimental comparisons of alternative pedagogical strategies
could provide useful empirical evidence in instructors' decision-making.
However, traditional experiments do not have a clear and simple pathway to
using data rapidly to try to increase the chances that students in an
experiment get the best conditions. Drawing inspiration from the use of machine
learning and experimentation in product development at leading technology
companies, we explore how adaptive experimentation might help in continuous
course improvement. In adaptive experiments, as different arms/conditions are
deployed to students, data is analyzed and used to change the experience for
future students. This can be done using machine learning algorithms to identify
which actions are more promising for improving student experience or outcomes.
This algorithm can then dynamically deploy the most effective conditions to
future students, resulting in better support for students' needs. We illustrate
the approach with a case study providing a side-by-side comparison of
traditional and adaptive experimentation of self-explanation prompts in online
homework problems in a CS1 course. This provides a first step in exploring the
future of how this methodology can be useful in bridging research and practice
in doing continuous improvement.
- Abstract（参考訳）: 代替教育戦略のランダム化実験比較は、インストラクターの意思決定において有用な実証的証拠となる。
しかし、従来の実験では、実験の学生が最良の条件を得られる可能性を高めるために、データを使用するための明確で単純な経路を持っていない。
先進技術企業における製品開発における機械学習と実験の利用からインスピレーションを得て,アダプティブ実験が継続的改善にどのように役立つかを検討する。
適応実験では、学生に異なる武器や条件が展開されるにつれて、データは分析され、将来の学生の体験を変えるために使用される。
これは、機械学習アルゴリズムを使って、学生の体験や成果を改善するための、より有望なアクションを特定することができる。
このアルゴリズムは、将来の学生に最も効果的な条件を動的に展開し、学生のニーズをより良く支援することができる。
cs1コースにおけるオンライン宿題問題における自己説明プロンプトの従来の実験と適応実験を並べて比較したケーススタディにより,本手法を述べる。
これは、この方法論が継続的な改善を行うための研究と実践を橋渡しするのにどのように役立つかの未来を探求するための第一歩となる。
関連論文リスト
- Dual Test-time Training for Out-of-distribution Recommender System [91.15209066874694]
DT3ORと呼ばれるOODレコメンデーションのための新しいDual Test-Time-Trainingフレームワークを提案する。
DT3ORでは、テスト期間中にモデル適応機構を導入し、リコメンデーションモデルを慎重に更新する。
我々の知る限りでは、テストタイムトレーニング戦略を通じてOODレコメンデーションに対処する最初の研究である。
論文 参考訳（メタデータ） (2024-07-22T13:27:51Z) - Adaptive Experimentation When You Can't Experiment [55.86593195947978]
本稿では,Emphcon founded the pure exploration transductive linear bandit (textttCPET-LB) problem。
オンラインサービスは、ユーザーを特定の治療にインセンティブを与える、適切にランダム化された励ましを利用することができる。
論文 参考訳（メタデータ） (2024-06-15T20:54:48Z) - Adaptive Instrument Design for Indirect Experiments [48.815194906471405]
RCTとは異なり、間接的な実験は条件付き機器変数を利用して治療効果を推定する。
本稿では,データ収集ポリシーを適応的に設計することで,間接実験におけるサンプル効率の向上に向けた最初のステップについて述べる。
我々の主な貢献は、影響関数を利用して最適なデータ収集ポリシーを探索する実用的な計算手順である。
論文 参考訳（メタデータ） (2023-12-05T02:38:04Z) - RLIF: Interactive Imitation Learning as Reinforcement Learning [56.997263135104504]
我々は,対話型模倣学習と類似するが,さらに実践的な仮定の下で,非政治強化学習によってパフォーマンスが向上できることを実証する。
提案手法は,ユーザ介入信号を用いた強化学習を報奨として利用する。
このことは、インタラクティブな模倣学習において介入する専門家がほぼ最適であるべきだという仮定を緩和し、アルゴリズムが潜在的に最適でない人間の専門家よりも改善される行動を学ぶことを可能にする。
論文 参考訳（メタデータ） (2023-11-21T21:05:21Z) - Conducting A/B Experiments with a Scalable Architecture [0.6990493129893112]
A/B実験は、2つの異なる実験グループにおいて1つ以上の変数を変更する効果を比較するために一般的に用いられる。
ドメインに依存しないA/B実験を支援するソフトウェアアーキテクチャを開発するための4つの基本的アプローチを提案する。
論文 参考訳（メタデータ） (2023-09-23T18:38:28Z) - Designing Optimal Behavioral Experiments Using Machine Learning [8.759299724881219]
BOEDと機械学習の最近の進歩を活用して、あらゆる種類のモデルに対して最適な実験を見つけるためのチュートリアルを提供する。
マルチアームバンディット意思決定タスクにおける探索と搾取のバランスに関する理論を考察する。
文献でよく用いられる実験的な設計と比較すると、最適な設計は個人の行動に最適なモデルのどれが最適かをより効率的に決定する。
論文 参考訳（メタデータ） (2023-05-12T18:24:30Z) - Adaptive Experimental Design and Counterfactual Inference [20.666734673282495]
本稿では, 適応型実験システムを用いた産業環境におけるナレーションの課題と落とし穴について, 教訓を共有した。
我々は,これらの経験に基づいて,対実的推論のための適応型実験設計フレームワークを開発した。
論文 参考訳（メタデータ） (2022-10-25T22:29:16Z) - Using Adaptive Experiments to Rapidly Help Students [5.446351709118483]
我々は、トンプソンサンプリングアルゴリズムを用いて適応実験を行うことで、学生の宿題メールリマインダーの効果を評価する。
適応的ランダム化実験が多かれ少なかれ有用であるような条件について、様々なオープンな疑問を提起する。
論文 参考訳（メタデータ） (2022-08-10T00:43:05Z) - Increasing Students' Engagement to Reminder Emails Through Multi-Armed
Bandits [60.4933541247257]
本稿では,学生が週毎のメールリマインダーとどのように関わり,時間管理の習慣を構築するかについて,実世界の適応実験を行った。
適応実験にマルチアーマド・バンド(MAB)アルゴリズムを用いると、より良い結果が得られる可能性が高まる。
我々は、これらの適応アルゴリズムの問題点を強調します。例えば、大きな違いがない場合の腕の活用などです。
論文 参考訳（メタデータ） (2022-08-10T00:30:52Z) - Sequential Bayesian experimental designs via reinforcement learning [0.0]
我々は,BEDを逐次的に構築するために,強化学習による逐次実験設計を提案する。
提案手法は,新たな実世界指向実験環境を提案することで,期待される情報獲得を最大化することを目的としている。
提案手法は,EIGやサンプリング効率などの指標において,既存の手法よりも優れていることを確認した。
論文 参考訳（メタデータ） (2022-02-14T04:29:04Z) - TRAIL: Near-Optimal Imitation Learning with Suboptimal Data [100.83688818427915]
オフラインデータセットを使用してファクタードトランジションモデルを学習するトレーニング目標を提案する。
我々の理論的分析は、学習された潜在行動空間が下流模倣学習のサンプル効率を高めることを示唆している。
実際に潜伏行動空間を学習するために、エネルギーベースの遷移モデルを学ぶアルゴリズムTRAIL(Transition-Reparametrized Actions for Imitation Learning)を提案する。
論文 参考訳（メタデータ） (2021-10-27T21:05:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。