論文の概要: Modeling Boundedly Rational Agents with Latent Inference Budgets
- arxiv url: http://arxiv.org/abs/2312.04030v1
- Date: Thu, 7 Dec 2023 03:55:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-08 16:19:16.981595
- Title: Modeling Boundedly Rational Agents with Latent Inference Budgets
- Title(参考訳): 潜在推論予算を用いた有界有理エージェントのモデル化
- Authors: Athul Paul Jacob, Abhishek Gupta, Jacob Andreas
- Abstract要約: エージェントの計算制約を明示的にモデル化する潜在推論予算モデル(L-IBM)を導入する。
L-IBMは、最適なアクターの多様な集団のデータを使ってエージェントモデルを学ぶことができる。
我々は,L-IBMが不確実性の下での意思決定のボルツマンモデルに適合しているか,あるいは上回っていることを示す。
- 参考スコア(独自算出の注目度): 56.24971011281947
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the problem of modeling a population of agents pursuing unknown
goals subject to unknown computational constraints. In standard models of
bounded rationality, sub-optimal decision-making is simulated by adding
homoscedastic noise to optimal decisions rather than explicitly simulating
constrained inference. In this work, we introduce a latent inference budget
model (L-IBM) that models agents' computational constraints explicitly, via a
latent variable (inferred jointly with a model of agents' goals) that controls
the runtime of an iterative inference algorithm. L-IBMs make it possible to
learn agent models using data from diverse populations of suboptimal actors. In
three modeling tasks -- inferring navigation goals from routes, inferring
communicative intents from human utterances, and predicting next moves in human
chess games -- we show that L-IBMs match or outperform Boltzmann models of
decision-making under uncertainty. Inferred inference budgets are themselves
meaningful, efficient to compute, and correlated with measures of player skill,
partner skill and task difficulty.
- Abstract(参考訳): 本研究では,未知の目標を追求するエージェント集団のモデル化の問題について検討する。
有界合理性の標準モデルでは、制約付き推論を明示的にシミュレートするのではなく、最適な決定にホモシデスティックノイズを加えることで、準最適決定をシミュレートする。
本研究では,反復推論アルゴリズムのランタイムを制御する潜在変数(エージェントの目標のモデルと共同で推測される)を介して,エージェントの計算制約を明示的にモデル化する潜在推論予算モデル(l-ibm)を提案する。
L-IBMは、最適なアクターの多様な集団のデータを使ってエージェントモデルを学ぶことができる。
3つのモデリングタスク -- ルートからのナビゲーション目標の推測、人間の発話からのコミュニケーション意図の推測、人間のチェスゲームにおける次の動きの予測 -- では、L-IBMが不確実性の下でボルツマンの意思決定モデルにマッチするか、上回っていることを示す。
推測推論予算は、それ自体が意味があり、計算に効率的であり、プレイヤースキル、パートナースキル、タスクの難しさの尺度と相関している。
関連論文リスト
- Value-Distributional Model-Based Reinforcement Learning [63.32053223422317]
政策の長期的業績に関する不確実性の定量化は、シーケンシャルな意思決定タスクを解決するために重要である。
モデルに基づくベイズ強化学習の観点から問題を考察する。
本稿では,値分布関数を学習するモデルに基づくアルゴリズムであるEpicemic Quantile-Regression(EQR)を提案する。
論文 参考訳(メタデータ) (2023-08-12T14:59:19Z) - A Data-Driven State Aggregation Approach for Dynamic Discrete Choice
Models [7.7347261505610865]
本稿では,状態の選択と集約のためのデータ駆動型手法を提案する。
提案した2段階のアプローチは,問題次元を減らして次元の呪いを緩和する。
2つの古典的動的離散的選択推定法におけるアルゴリズムの実証的性能を実証する。
論文 参考訳(メタデータ) (2023-04-11T01:07:24Z) - Variable Importance Matching for Causal Inference [73.25504313552516]
これらの目標を達成するためのModel-to-Matchと呼ばれる一般的なフレームワークについて説明する。
Model-to-Matchは、距離メートル法を構築するために変数重要度測定を使用する。
LASSO を用いて Model-to-Match フレームワークを運用する。
論文 参考訳(メタデータ) (2023-02-23T00:43:03Z) - Deciding What to Model: Value-Equivalent Sampling for Reinforcement
Learning [21.931580762349096]
本稿では,エージェントが真のモデルの代わりにターゲットにできるような,ほぼ等価でロッキーな環境圧縮を計算するアルゴリズムを提案する。
有限水平, エピソディックな逐次決定問題を解くアルゴリズムに対して, 情報理論的, ベイズ的後悔を証明した。
論文 参考訳(メタデータ) (2022-06-04T23:36:38Z) - Reinforcement Learning with a Terminator [80.34572413850186]
我々は, TerMDP のパラメータを学習し, 推定問題の構造を活用し, 状態ワイドな信頼境界を提供する。
我々はこれらを用いて証明可能な効率のよいアルゴリズムを構築し、終端を考慮し、その後悔を抑える。
論文 参考訳(メタデータ) (2022-05-30T18:40:28Z) - Sample Complexity of Robust Reinforcement Learning with a Generative
Model [0.0]
本稿では,モデルに基づく強化学習(RL)アルゴリズムを提案する。
我々は,全変動距離,カイ二乗発散,KL発散の3種類の不確実性集合を考察した。
この結果に加えて,ロバストポリシの利点に関する公式な分析的議論も提示する。
論文 参考訳(メタデータ) (2021-12-02T18:55:51Z) - An exact counterfactual-example-based approach to tree-ensemble models
interpretability [0.0]
高性能モデルは、決定を完全に理解するために必要な透明性を示さない。
多次元間隔の集まりの形で、決定領域の正確な幾何学的特徴付けを導出できる。
回帰問題に対する推論への適応も考えられている。
論文 参考訳(メタデータ) (2021-05-31T09:32:46Z) - Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。
このアプローチは多くの実装と最適化の課題をもたらします。
提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
論文 参考訳(メタデータ) (2021-03-18T14:26:26Z) - MASSIVE: Tractable and Robust Bayesian Learning of Many-Dimensional
Instrumental Variable Models [8.271859911016719]
モデル不確実性を考慮した汎用的かつ効率的な因果推論アルゴリズムを提案する。
いくつかの候補が(近い)有効である限り、どの候補が先験的かを知ることなく、それらの集団が目標との相互作用に十分な制限を課し、信頼できる因果効果の推定を得る。
論文 参考訳(メタデータ) (2020-12-18T10:06:55Z) - Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文 参考訳(メタデータ) (2020-07-07T18:25:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。