論文の概要: Towards Continuous Compounding Effects and Agile Practices in
Educational Experimentation
- arxiv url: http://arxiv.org/abs/2112.01243v1
- Date: Wed, 17 Nov 2021 13:10:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-07 21:17:36.334306
- Title: Towards Continuous Compounding Effects and Agile Practices in
Educational Experimentation
- Title（参考訳）: 教育実験における継続的複合効果とアジャイル実践に向けて
- Authors: Luis M. Vaquero, Niall Twomey, Miguel Patricio Dias, Massimo Camplani,
Robert Hardman
- Abstract要約: 本稿では,異なる実験過程を分類する枠組みを定義する。
次世代の教育技術の成功は、プロセスの完全な集合を取り入れることによって後押しされる。
- 参考スコア（独自算出の注目度）: 2.7094829962573304
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Randomised control trials are currently the definitive gold standard approach
for formal educational experiments. Although conclusions from these experiments
are highly credible, their relatively slow experimentation rate, high expense
and rigid framework can be seen to limit scope on: 1. $\textit{metrics}$:
automation of the consistent rigorous computation of hundreds of metrics for
every experiment; 2. $\textit{concurrency}$: fast automated releases of
hundreds of concurrent experiments daily; and 3. $\textit{safeguards}$: safety
net tests and ramping up/rolling back treatments quickly to minimise negative
impact. This paper defines a framework for categorising different experimental
processes, and places a particular emphasis on technology readiness.
On the basis of our analysis, our thesis is that the next generation of
education technology successes will be heralded by recognising the context of
experiments and collectively embracing the full set of processes that are at
hand: from rapid ideation and prototyping produced in small scale experiments
on the one hand, to influencing recommendations of best teaching practices with
large-scale and technology-enabled online A/B testing on the other. A key
benefit of the latter is that the running costs tend towards zero (leading to
`free experimentation'). This offers low-risk opportunities to explore and
drive value though well-planned lasting campaigns that iterate quickly at a
large scale. Importantly, because these experimental platforms are so
adaptable, the cumulative effect of the experimental campaign delivers
compounding value exponentially over time even if each individual experiment
delivers a small effect.
- Abstract（参考訳）: ランダム化制御試験は現在、正式な教育実験における決定的なゴールドスタンダードのアプローチである。
これらの実験の結論は非常に信頼性が高いが、その比較的遅い実験速度、高いコスト、堅固なフレームワークは、範囲を制限することができる。
1.$\textit{metrics}$: 実験ごとに数百のメトリクスの一貫した厳密な計算の自動化。
2.$\textit{concurrency}$: 毎日何百もの同時実験の高速自動リリース。
3.$\textit{safeguards}$: 安全性ネットテストと、悪影響を最小限に抑えるために迅速なスケールアップ/ロールバック。
本稿では、異なる実験プロセスを分類するためのフレームワークを定義し、特にテクノロジーの即応性に重点を置く。
我々の分析に基づいて,次世代の教育技術の成功は,実験の文脈を認識し,手元にあるプロセスの完全なセットを総合的に受け入れることによって達成される,と結論づけた。
後者の重要な利点は、実行コストがゼロになる傾向があることである("free experimentation"に導かれる)。
これは価値を探求し推進する低リスクな機会を提供するが、計画が整った長期的キャンペーンは大規模に繰り返される。
重要なことは、これらの実験プラットフォームが非常に適応性が高いため、実験の累積効果は、個々の実験が小さな効果を与える場合でも、時間とともに指数関数的に複合価値をもたらす。
関連論文リスト
- Efficient Biological Data Acquisition through Inference Set Design [3.9633147697178996]
本研究は,システム全体としての所望の精度を実現するため,最小の候補群を選択することを目的とする。
本稿では,このメカニズムを推論セット設計と呼び,信頼性に基づくアクティブラーニングソリューションを用いて,挑戦的な事例を抽出する手法を提案する。
論文 参考訳（メタデータ） (2024-10-25T15:34:03Z) - Adaptive Experimentation When You Can't Experiment [55.86593195947978]
本稿では,Emphcon founded the pure exploration transductive linear bandit (textttCPET-LB) problem。
オンラインサービスは、ユーザーを特定の治療にインセンティブを与える、適切にランダム化された励ましを利用することができる。
論文 参考訳（メタデータ） (2024-06-15T20:54:48Z) - An Experimental Design Framework for Label-Efficient Supervised Finetuning of Large Language Models [55.01592097059969]
命令データセットの監視された微調整は、目覚ましいゼロショットの一般化能力を達成する上で重要な役割を担っている。
アクティブラーニングは、未ラベルのプールからアノテートするサンプルの有用なサブセットを特定するのに効果的である。
本研究では,能動学習の計算ボトルネックを回避するための実験設計を提案する。
論文 参考訳（メタデータ） (2024-01-12T16:56:54Z) - GFlowNets for AI-Driven Scientific Discovery [74.27219800878304]
我々はGFlowNetsと呼ばれる新しい確率論的機械学習フレームワークを提案する。
GFlowNetsは、実験科学ループのモデリング、仮説生成、実験的な設計段階に適用できる。
我々は、GFlowNetsがAIによる科学的発見の貴重なツールになり得ると論じている。
論文 参考訳（メタデータ） (2023-02-01T17:29:43Z) - Fair Effect Attribution in Parallel Online Experiments [57.13281584606437]
A/Bテストは、オンラインサービスで導入された変更の影響を確実に特定する目的で役立ちます。
オンラインプラットフォームでは,ユーザトラフィックをランダムに分割して多数の同時実験を行うのが一般的である。
異なるグループ間の完全なランダム化にもかかわらず、同時実験は互いに相互作用し、平均的な集団の結果に負の影響をもたらす。
論文 参考訳（メタデータ） (2022-10-15T17:15:51Z) - A Reinforcement Learning Approach to Estimating Long-term Treatment
Effects [13.371851720834918]
ランダム化実験による制限は、長期効果を測定するために容易に拡張できないことである。
マルコフ過程における平均報酬を推定する強化学習(RL)アプローチを採用する。
観測された状態遷移が非定常である実世界のシナリオに動機付けられ、非定常問題のクラスのための新しいアルゴリズムを開発する。
論文 参考訳（メタデータ） (2022-10-14T05:33:19Z) - Synthetically Controlled Bandits [2.8292841621378844]
本稿では, 干渉などの問題により, 実験ユニットが粗い環境において, 実験設計のための新しい動的アプローチを提案する。
SCTS(Synthetically Controlled Thompson Smpling)と呼ばれる新しいデザインは、実験に伴う後悔を最小限に抑える。
論文 参考訳（メタデータ） (2022-02-14T22:58:13Z) - Fine-Tuning Pretrained Language Models: Weight Initializations, Data
Orders, and Early Stopping [62.78338049381917]
教師付き下流タスクのための微調整済み文脈単語埋め込みモデルは、自然言語処理において一般的なものとなっている。
GLUEベンチマークから得られた4つのデータセットを実験し、無作為な種だけを変えながら、それぞれに数百回微調整されたBERTを実験した。
これまでに報告した結果と比較すると,性能が大幅に向上し,微調整試行回数の関数としてベストファウンドモデルの性能がどう変化するかが定量化される。
論文 参考訳（メタデータ） (2020-02-15T02:40:10Z) - Dynamic Causal Effects Evaluation in A/B Testing with a Reinforcement
Learning Framework [68.96770035057716]
A/Bテスト(A/B Testing)は、新しい製品を製薬、技術、伝統産業の古い製品と比較するビジネス戦略である。
本稿では,オンライン実験においてA/Bテストを実施するための強化学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-02-05T10:25:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。