論文の概要: Understanding the origin of information-seeking exploration in probabilistic objectives for control

• arxiv url: http://arxiv.org/abs/2103.06859v2
• Date: Sun, 14 Mar 2021 14:31:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-16 11:55:54.408828
• Title: Understanding the origin of information-seeking exploration in probabilistic objectives for control
• Title（参考訳）: 確率的制御目的における情報探索の起源の理解
• Authors: Beren Millidge, Alexander Tschantz, Anil Seth, Christopher Buckley
• Abstract要約: 探索と探索のトレードオフは適応行動の記述の中心である。 このトレードオフを解決する1つのアプローチは、エージェントが固有の「探索駆動」を持っていることを装備または提案することであった。 汎用的最大化と情報参照行動の組み合わせは, 目的の全く異なる分類の最小化から生じることを示す。
• 参考スコア（独自算出の注目度）: 62.997667081978825
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The exploration-exploitation trade-off is central to the description of adaptive behaviour in fields ranging from machine learning, to biology, to economics. While many approaches have been taken, one approach to solving this trade-off has been to equip or propose that agents possess an intrinsic 'exploratory drive' which is often implemented in terms of maximizing the agents information gain about the world -- an approach which has been widely studied in machine learning and cognitive science. In this paper we mathematically investigate the nature and meaning of such approaches and demonstrate that this combination of utility maximizing and information-seeking behaviour arises from the minimization of an entirely difference class of objectives we call divergence objectives. We propose a dichotomy in the objective functions underlying adaptive behaviour between \emph{evidence} objectives, which correspond to well-known reward or utility maximizing objectives in the literature, and \emph{divergence} objectives which instead seek to minimize the divergence between the agent's expected and desired futures, and argue that this new class of divergence objectives could form the mathematical foundation for a much richer understanding of the exploratory components of adaptive and intelligent action, beyond simply greedy utility maximization.
• Abstract（参考訳）: 探索と探索のトレードオフは、機械学習から生物学、経済学まで幅広い分野における適応行動の記述の中心である。 多くのアプローチが取られているが、このトレードオフを解決するための1つのアプローチは、エージェントが固有の「探索駆動」を持っていること、すなわち、世界のエージェント情報獲得を最大化すること、すなわち機械学習や認知科学で広く研究されているアプローチである。 本稿では,このような手法の性質と意味を数学的に検討し,このユーティリティの最大化と情報探索の組合せが,分散目的と呼ぶ目的の完全差分クラスを最小化することから生じることを実証する。 We propose a dichotomy in the objective functions underlying adaptive behaviour between \emph{evidence} objectives, which correspond to well-known reward or utility maximizing objectives in the literature, and \emph{divergence} objectives which instead seek to minimize the divergence between the agent's expected and desired futures, and argue that this new class of divergence objectives could form the mathematical foundation for a much richer understanding of the exploratory components of adaptive and intelligent action, beyond simply greedy utility maximization.

関連論文リスト

• Generative Intrinsic Optimization: Intrinsic Control with Model Learning [5.439020425819001]
  将来のシーケンスは、環境へのアクションの実行後の結果を表す。 明示的な成果は、クレジットの割り当てや模倣学習などの異なる目的のために、州、返却、軌跡によって異なりうる。 本稿では、相互情報をシームレスに組み込んだ政策スキームを提案し、最適な政策への収束を確保する。
  論文  参考訳（メタデータ） (2023-10-12T07:50:37Z)
• Generative multitask learning mitigates target-causing confounding [61.21582323566118]
  マルチタスク学習のための因果表現学習のためのシンプルでスケーラブルなアプローチを提案する。 改善は、目標を狙うが入力はしない、観測されていない共同ファウンダーを緩和することによる。 人の属性とタスクノミーのデータセットに対する我々の結果は、事前の確率シフトに対するロバストネスの概念的改善を反映している。
  論文  参考訳（メタデータ） (2022-02-08T20:42:14Z)
• Information is Power: Intrinsic Control via Information Capture [110.3143711650806]
  我々は,潜時状態空間モデルを用いて推定したエージェントの状態訪問のエントロピーを最小化する,コンパクトで汎用的な学習目的を論じる。 この目的は、不確実性の低減に対応する環境情報収集と、将来の世界状態の予測不可能性の低減に対応する環境制御の両方をエージェントに誘導する。
  論文  参考訳（メタデータ） (2021-12-07T18:50:42Z)
• The Value of Information When Deciding What to Learn [21.945359614094503]
  本研究は情報指向サンプリングの設計原理に基づく(Russo & Van Roy, 2014)。 我々は,学習内容を決定する際の情報の価値を確認する実証的な結果に目を向ける前に,学習目標に関する文献からの新たな知見を提示する。
  論文  参考訳（メタデータ） (2021-10-26T19:23:12Z)
• Goal-Aware Cross-Entropy for Multi-Target Reinforcement Learning [15.33496710690063]
  本稿では,目標認識型クロスエントロピー(GACE)ロスを提案する。 次に、目標関連情報を利用して与えられた指示に集中する目標識別型注意ネットワーク(GDAN)を考案する。
  論文  参考訳（メタデータ） (2021-10-25T14:24:39Z)
• Action and Perception as Divergence Minimization [43.75550755678525]
  アクションパーセプション・ディバージェンス(Action Perception Divergence)は、エンボディエージェントの可能な目的関数の空間を分類するためのアプローチである。 狭い目的から一般的な目的に到達するスペクトルを示す。 これらのエージェントは、彼らの信念を世界と整合させるのに知覚を使い、行動を使って世界と信念を整合させる。
  論文  参考訳（メタデータ） (2020-09-03T16:52:46Z)
• Automatic Curriculum Learning through Value Disagreement [95.19299356298876]
  新しい未解決タスクを継続的に解決することが、多様な行動を学ぶための鍵です。 エージェントが複数の目標を達成する必要があるマルチタスク領域では、トレーニング目標の選択はサンプル効率に大きな影響を与える可能性がある。 そこで我々は,エージェントが解決すべき目標のための自動カリキュラムを作成することを提案する。 提案手法は,13のマルチゴールロボットタスクと5つのナビゲーションタスクにまたがって評価し,現在の最先端手法よりも高い性能を示す。
  論文  参考訳（メタデータ） (2020-06-17T03:58:25Z)
• Mutual Information-based State-Control for Intrinsically Motivated Reinforcement Learning [102.05692309417047]
  強化学習において、エージェントは、外部報酬信号を用いて一連の目標に到達することを学習する。 自然界では、知的生物は内部の駆動から学習し、外部の信号を必要としない。 目的状態と制御可能な状態の間の相互情報として本質的な目的を定式化する。
  論文  参考訳（メタデータ） (2020-02-05T19:21:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。