論文の概要: Designing Optimal Behavioral Experiments Using Machine Learning
- arxiv url: http://arxiv.org/abs/2305.07721v2
- Date: Sun, 26 Nov 2023 19:58:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-30 16:19:20.725141
- Title: Designing Optimal Behavioral Experiments Using Machine Learning
- Title（参考訳）: 機械学習を用いた最適行動実験の設計
- Authors: Simon Valentin, Steven Kleinegesse, Neil R. Bramley, Peggy Seri\`es,
Michael U. Gutmann, Christopher G. Lucas
- Abstract要約: BOEDと機械学習の最近の進歩を活用して、あらゆる種類のモデルに対して最適な実験を見つけるためのチュートリアルを提供する。
マルチアームバンディット意思決定タスクにおける探索と搾取のバランスに関する理論を考察する。
文献でよく用いられる実験的な設計と比較すると、最適な設計は個人の行動に最適なモデルのどれが最適かをより効率的に決定する。
- 参考スコア（独自算出の注目度）: 8.759299724881219
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Computational models are powerful tools for understanding human cognition and
behavior. They let us express our theories clearly and precisely, and offer
predictions that can be subtle and often counter-intuitive. However, this same
richness and ability to surprise means our scientific intuitions and
traditional tools are ill-suited to designing experiments to test and compare
these models. To avoid these pitfalls and realize the full potential of
computational modeling, we require tools to design experiments that provide
clear answers about what models explain human behavior and the auxiliary
assumptions those models must make. Bayesian optimal experimental design (BOED)
formalizes the search for optimal experimental designs by identifying
experiments that are expected to yield informative data. In this work, we
provide a tutorial on leveraging recent advances in BOED and machine learning
to find optimal experiments for any kind of model that we can simulate data
from, and show how by-products of this procedure allow for quick and
straightforward evaluation of models and their parameters against real
experimental data. As a case study, we consider theories of how people balance
exploration and exploitation in multi-armed bandit decision-making tasks. We
validate the presented approach using simulations and a real-world experiment.
As compared to experimental designs commonly used in the literature, we show
that our optimal designs more efficiently determine which of a set of models
best account for individual human behavior, and more efficiently characterize
behavior given a preferred model. At the same time, formalizing a scientific
question such that it can be adequately addressed with BOED can be challenging
and we discuss several potential caveats and pitfalls that practitioners should
be aware of. We provide code and tutorial notebooks to replicate all analyses.
- Abstract（参考訳）: 計算モデルは人間の認知と行動を理解する強力なツールである。
彼らは我々の理論を明確かつ正確に表現し、微妙でしばしば直感に反する予測を提供する。
しかし、この豊かさと驚きの能力は、我々の科学的直観と伝統的なツールが、これらのモデルをテストし比較するための実験の設計に不適であることを意味する。
これらの落とし穴を回避し、計算モデリングの可能性を最大限に発揮するためには、モデルが人間の振る舞いを説明することや、モデルがすべき補助的な仮定について明確な答えを提供する実験をデザインするツールが必要です。
ベイズ最適実験設計(BOED)は、情報的データが得られると思われる実験を特定することにより、最適な実験設計の探索を定式化する。
本稿では,boedと機械学習の最近の進歩を活かして,データのシミュレーションが可能な任意の種類のモデルに対して最適な実験を見つけるためのチュートリアルを提供し,この手法の副産物が実際の実験データに対して,モデルとそのパラメータを迅速かつ簡単に評価できることを示す。
ケーススタディとして,マルチアームバンディット意思決定タスクにおける探索と搾取のバランスに関する理論を考察する。
提案手法をシミュレーションと実世界実験を用いて検証する。
文献で一般的に用いられる実験的な設計と比較すると,人間の行動に最も適したモデル群を最適設計がより効率的に決定し,望ましいモデルに対する行動のキャラクタリゼーションをより効率的に行うことが示される。
同時に,boedで適切に対応できるように科学的質問を形式化することは困難であり,実践者が認識すべきいくつかの潜在的な注意事項と落とし穴について議論する。
すべての分析を再現するためのコードとチュートリアルノートブックを提供します。
関連論文リスト
- Online simulator-based experimental design for cognitive model selection [74.76661199843284]
本稿では,抽出可能な確率を伴わない計算モデルを選択する実験設計手法BOSMOSを提案する。
シミュレーション実験では,提案手法により,既存のLFI手法に比べて最大2桁の精度でモデルを選択することができることを示した。
論文 参考訳（メタデータ） (2023-03-03T21:41:01Z) - GFlowNets for AI-Driven Scientific Discovery [74.27219800878304]
我々はGFlowNetsと呼ばれる新しい確率論的機械学習フレームワークを提案する。
GFlowNetsは、実験科学ループのモデリング、仮説生成、実験的な設計段階に適用できる。
我々は、GFlowNetsがAIによる科学的発見の貴重なツールになり得ると論じている。
論文 参考訳（メタデータ） (2023-02-01T17:29:43Z) - Design Amortization for Bayesian Optimal Experimental Design [70.13948372218849]
予測情報ゲイン(EIG)のバウンダリに関してパラメータ化された変分モデルを最適化する。
実験者が1つの変分モデルを最適化し、潜在的に無限に多くの設計に対してEIGを推定できる新しいニューラルアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-10-07T02:12:34Z) - Bayesian Optimal Experimental Design for Simulator Models of Cognition [14.059933880568908]
BOEDの最近の進歩と、難解モデルに対する近似推論を組み合わせ、最適な実験設計を求める。
マルチアームバンディットタスクのシミュレーション実験により,モデル判別とパラメータ推定の改善が得られた。
論文 参考訳（メタデータ） (2021-10-29T09:04:01Z) - Cognitive simulation models for inertial confinement fusion: Combining
simulation and experimental data [0.0]
研究者は、高性能な爆発を求めて設計空間を探索するためにコンピュータシミュレーションに大きく依存しています。
より効果的な設計と調査のために、シミュレーションは過去の実験データからの入力を必要とする。
本稿では,シミュレーションと実験データを共通の予測モデルに組み合わせた認知シミュレーション手法について述べる。
論文 参考訳（メタデータ） (2021-03-19T02:00:14Z) - Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual
Model-Based Reinforcement Learning [109.74041512359476]
視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。
潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。
我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
論文 参考訳（メタデータ） (2020-12-08T18:03:21Z) - Experimental Design for Overparameterized Learning with Application to
Single Shot Deep Active Learning [5.141687309207561]
現代の機械学習モデルは、大量のラベル付きデータに基づいて訓練されている。
大量のラベル付きデータへのアクセスは、しばしば制限またはコストがかかる。
トレーニングセットをキュレートするための新しい設計戦略を提案する。
論文 参考訳（メタデータ） (2020-09-27T11:27:49Z) - Predicting Performance for Natural Language Processing Tasks [128.34208911925424]
実験条件を入力として,NLP実験の評価スコアを予測する回帰モデルを構築した。
9つの異なるNLPタスクを実験した結果、予測器は目に見えない言語や異なるモデリングアーキテクチャに対して有意義な予測を生成できることがわかった。
論文 参考訳（メタデータ） (2020-05-02T16:02:18Z) - Plausible Counterfactuals: Auditing Deep Learning Classifiers with
Realistic Adversarial Examples [84.8370546614042]
ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。
GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。
その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
論文 参考訳（メタデータ） (2020-03-25T11:08:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。