論文の概要: Inverse Bayesian Optimization: Learning Human Search Strategies in a Sequential Optimization Task

• arxiv url: http://arxiv.org/abs/2104.09237v1
• Date: Fri, 16 Apr 2021 15:40:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-20 13:25:45.740859
• Title: Inverse Bayesian Optimization: Learning Human Search Strategies in a Sequential Optimization Task
• Title（参考訳）: 逆ベイズ最適化:逐次最適化タスクにおける人間の探索戦略の学習
• Authors: Nathan Sandholtz, Yohsuke Miyamoto, Luke Bornn, Maurice Smith
• Abstract要約: 本稿では,ベイズ最適化の逆問題について考察する。 観察された探索経路に基づいてエージェントの潜時獲得関数を推定する。 実験から人間の行動を解析し,その方法を説明する。
• 参考スコア（独自算出の注目度）: 0.10499611180329801
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian optimization is a popular algorithm for sequential optimization of a latent objective function when sampling from the objective is costly. The search path of the algorithm is governed by the acquisition function, which defines the agent's search strategy. Conceptually, the acquisition function characterizes how the optimizer balances exploration and exploitation when searching for the optimum of the latent objective. In this paper, we explore the inverse problem of Bayesian optimization; we seek to estimate the agent's latent acquisition function based on observed search paths. We introduce a probabilistic solution framework for the inverse problem which provides a principled framework to quantify both the variability with which the agent performs the optimization task as well as the uncertainty around their estimated acquisition function. We illustrate our methods by analyzing human behavior from an experiment which was designed to force subjects to balance exploration and exploitation in search of an invisible target location. We find that while most subjects demonstrate clear trends in their search behavior, there is significant variation around these trends from round to round. A wide range of search strategies are exhibited across the subjects in our study, but upper confidence bound acquisition functions offer the best fit for the majority of subjects. Finally, some subjects do not map well to any of the acquisition functions we initially consider; these subjects tend to exhibit exploration preferences beyond that of standard acquisition functions to capture. Guided by the model discrepancies, we augment the candidate acquisition functions to yield a superior fit to the human behavior in this task.
• Abstract（参考訳）: ベイズ最適化は、対象からサンプリングする場合の潜在目的関数の逐次最適化のための一般的なアルゴリズムである。 アルゴリズムの探索経路は、エージェントの探索戦略を定義する取得関数によって制御される。 概念的には、この取得関数は、潜伏目標の最適度を求める際に、最適化者が探索と搾取のバランスをとる方法の特徴である。 本稿では,ベイズ最適化の逆問題について検討し,観測された探索経路に基づいてエージェントの潜伏獲得関数を推定する。 本稿では,エージェントが最適化タスクを行う変数と推定取得関数に関する不確実性の両方を定量化する原理付きフレームワークを提供する逆問題に対する確率的解フレームワークを提案する。 本研究では,対象者に対して,目立たない対象場所を探索し,探索と搾取のバランスをとるよう強制する実験から,人間の行動を分析することにより,その方法を説明する。 ほとんどの被験者は、検索行動の明確な傾向を示すが、これらの傾向はラウンドからラウンドに大きく変化している。 本研究は対象者に対して幅広い探索戦略を提示するが, 高い信頼度を持つ獲得関数は, 大多数の被験者に最適である。 最後に、まず最初に検討した取得関数にうまく対応しない科目もあり、これらの科目は、取得する標準的な取得関数以上の探索的嗜好を示す傾向にある。 モデルの相違により、本課題における人間の行動に優れた適合性をもたらすために、候補獲得機能を増強する。

関連論文リスト

• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• Mastering the exploration-exploitation trade-off in Bayesian Optimization [0.2538209532048867]
  取得関数は、探索とエクスプロイトの間のバランスを評価するための次のソリューションの選択を駆動する。 本稿では,爆発的選択と搾取的選択のトレードオフを適応的に習得する,新たな獲得機能を提案する。
  論文  参考訳（メタデータ） (2023-05-15T13:19:03Z)
• DeepHive: A multi-agent reinforcement learning approach for automated discovery of swarm-based optimization policies [0.0]
  Swarm内の各エージェントの状態は、設計空間内の現在の位置と関数値として定義される。 提案手法は,様々なベンチマーク最適化関数を用いて検証し,他のグローバル最適化手法との比較を行った。
  論文  参考訳（メタデータ） (2023-03-29T18:08:08Z)
• Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
  統計的決定論の研究からシャノンエントロピーの一般化を考える。 まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。 次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
  論文  参考訳（メタデータ） (2022-10-04T04:43:58Z)
• Bayesian Optimization with Informative Covariance [13.113313427848828]
  探索空間の特定の領域の好みを符号化するために,非定常性を利用した新しい情報共分散関数を提案する。 提案した関数は,より弱い事前情報の下でも,ハイ次元でのベイズ最適化のサンプル効率を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-08-04T15:05:11Z)
• Optimizing Bayesian acquisition functions in Gaussian Processes [0.0]
  本稿では,最大改善確率や期待改善率などの異なる取得機能について分析する。 また, 時間分析とともに, 選択した初期試料の位置の重要性も示した。
  論文  参考訳（メタデータ） (2021-11-09T03:25:15Z)
• RoMA: Robust Model Adaptation for Offline Model-based Optimization [115.02677045518692]
  入力出力クエリの静的データセットからブラックボックス目的関数を最大化する入力を探索する問題を考える。 この問題を解決するための一般的なアプローチは、真の客観的関数を近似するプロキシモデルを維持することである。 ここでの大きな課題は、検索中に逆最適化された入力を避ける方法である。
  論文  参考訳（メタデータ） (2021-10-27T05:37:12Z)
• Local policy search with Bayesian optimization [73.0364959221845]
  強化学習は、環境との相互作用によって最適な政策を見つけることを目的としている。 局所探索のための政策勾配は、しばしばランダムな摂動から得られる。 目的関数の確率モデルとその勾配を用いたアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-06-22T16:07:02Z)
• Are we Forgetting about Compositional Optimisers in Bayesian Optimisation? [66.39551991177542]
  本稿では,グローバル最適化のためのサンプル手法を提案する。 この中、重要なパフォーマンス決定の自明さは、取得機能を最大化することです。 3958実験における機能最適化手法の実証的利点を強調する。
  論文  参考訳（メタデータ） (2020-12-15T12:18:38Z)
• Sequential Subspace Search for Functional Bayesian Optimization Incorporating Experimenter Intuition [63.011641517977644]
  本アルゴリズムは,実験者のガウス過程から引き出された一組の引き数で区切られた関数空間の有限次元ランダム部分空間列を生成する。 標準ベイズ最適化は各部分空間に適用され、次の部分空間の出発点(オリジン)として用いられる最良の解である。 シミュレーションおよび実世界の実験,すなわちブラインド関数マッチング,アルミニウム合金の最適析出強化関数の探索,深層ネットワークの学習速度スケジュール最適化において,本アルゴリズムを検証した。
  論文  参考訳（メタデータ） (2020-09-08T06:54:11Z)
• BOP-Elites, a Bayesian Optimisation algorithm for Quality-Diversity search [0.0]
  本稿では,エリートアルゴリズム(BOP-Elites)のベイズ最適化を提案する。 機能領域のユーザ定義領域を‘ニッチ’として考えることで、ニッチ毎に最適なソリューションを見つけることが私たちのタスクになります。 得られたアルゴリズムは、特徴空間におけるニッチに属する探索空間の部分を特定し、ニッチごとに最適な解を見つけるのに非常に効果的である。
  論文  参考訳（メタデータ） (2020-05-08T23:49:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。