Fugu-MT 論文翻訳(概要): An empirical evaluation of active inference in multi-armed bandits

論文の概要: An empirical evaluation of active inference in multi-armed bandits

arxiv url: http://arxiv.org/abs/2101.08699v2
Date: Sat, 23 Jan 2021 13:20:34 GMT
ステータス: 処理完了
システム内更新日: 2021-03-21 13:00:49.976895
Title: An empirical evaluation of active inference in multi-armed bandits
Title（参考訳）: 多腕包帯における能動推論の実証評価
Authors: Dimitrije Markovic, Hrvoje Stojic, Sarah Schwoebel, and Stefan J. Kiebel
Abstract要約: アクティブ推論フレームワークは、探索と探索のトレードオフを解決するための洗練された戦略によって区別される。効率的で近似可能なスケーラブルなアクティブ推論アルゴリズムを導き出し、2つの最先端のバンディットアルゴリズムと比較します。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: A key feature of sequential decision making under uncertainty is a need to balance between exploiting--choosing the best action according to the current knowledge, and exploring--obtaining information about values of other actions. The multi-armed bandit problem, a classical task that captures this trade-off, served as a vehicle in machine learning for developing bandit algorithms that proved to be useful in numerous industrial applications. The active inference framework, an approach to sequential decision making recently developed in neuroscience for understanding human and animal behaviour, is distinguished by its sophisticated strategy for resolving the exploration-exploitation trade-off. This makes active inference an exciting alternative to already established bandit algorithms. Here we derive an efficient and scalable approximate active inference algorithm and compare it to two state-of-the-art bandit algorithms: Bayesian upper confidence bound and optimistic Thompson sampling. This comparison is done on two types of bandit problems: a stationary and a dynamic switching bandit. Our empirical evaluation shows that the active inference algorithm does not produce efficient long-term behaviour in stationary bandits. However, in the more challenging switching bandit problem active inference performs substantially better than the two state-of-the-art bandit algorithms. The results open exciting venues for further research in theoretical and applied machine learning, as well as lend additional credibility to active inference as a general framework for studying human and animal behaviour.
Abstract（参考訳）: 不確実性の下でのシーケンシャルな意思決定の重要な特徴は、エクスプロイト — 現在の知識に従って最善の行動を選択すること、他のアクションの価値に関する情報を探索することのバランスを取る必要があることである。このトレードオフを捉えた古典的なタスクであるマルチアームバンディット問題は、多くの産業用途で有用なバンディットアルゴリズムを開発するための機械学習の手段として機能した。人間と動物の行動を理解するための神経科学で最近開発されたシーケンシャルな意思決定のアプローチであるアクティブ推論フレームワークは、探索と探索のトレードオフを解決するための洗練された戦略によって区別される。これにより、アクティブ推論は、既に確立されたbanditアルゴリズムのエキサイティングな代替手段となる。ここでは、効率的でスケーラブルな近似能動推論アルゴリズムを導出し、最先端のバンディットアルゴリズムであるベイジアン上限値と楽観的なトンプソンサンプリングと比較する。この比較は固定および動的切替バンディットの2種類のバンドイット問題に対して行われる。我々の経験的評価は,本アルゴリズムが静止帯の効率的な長期的挙動を生まないことを示している。しかし、より困難なスイッチングバンディット問題では、アクティブ推論は2つの最先端バンディットアルゴリズムよりもかなり優れている。結果は、理論と応用機械学習のさらなる研究のためのエキサイティングな会場を開き、人間と動物の行動を研究するための一般的なフレームワークとして、アクティブ推論にさらなる信頼性を与えました。