論文の概要: Intrinsic Motivation in Dynamical Control Systems
- arxiv url: http://arxiv.org/abs/2301.00005v1
- Date: Thu, 29 Dec 2022 05:20:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-03 14:27:11.283832
- Title: Intrinsic Motivation in Dynamical Control Systems
- Title(参考訳): 動的制御系における固有モチベーション
- Authors: Stas Tiomkin, Ilya Nemenman, Daniel Polani, Naftali Tishby
- Abstract要約: エージェントのエンパワーメントの最大化に基づく本質的なモチベーションに対する情報理論的アプローチについて検討する。
このアプローチは、本質的なモチベーションを形式化する以前の試みを一般化することを示す。
これにより、実用的な人工的な本質的なモチベーションを持つコントローラーを設計するための扉が開く。
- 参考スコア(独自算出の注目度): 5.635628182420597
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Biological systems often choose actions without an explicit reward signal, a
phenomenon known as intrinsic motivation. The computational principles
underlying this behavior remain poorly understood. In this study, we
investigate an information-theoretic approach to intrinsic motivation, based on
maximizing an agent's empowerment (the mutual information between its past
actions and future states). We show that this approach generalizes previous
attempts to formalize intrinsic motivation, and we provide a computationally
efficient algorithm for computing the necessary quantities. We test our
approach on several benchmark control problems, and we explain its success in
guiding intrinsically motivated behaviors by relating our information-theoretic
control function to fundamental properties of the dynamical system representing
the combined agent-environment system. This opens the door for designing
practical artificial, intrinsically motivated controllers and for linking
animal behaviors to their dynamical properties.
- Abstract(参考訳): 生物学的システムは、しばしば明示的な報酬信号(本質的動機として知られる現象)なしで行動を選択する。
この行動の根底にある計算原理はいまだに理解されていない。
本研究では,エージェントのエンパワーメント(過去の行動と将来の状態の相互情報)の最大化に基づく,本質的な動機づけに対する情報理論的アプローチを検討する。
我々は,本手法が本質的動機づけを形式化する以前の試みを一般化することを示し,必要な量を計算する計算効率の高いアルゴリズムを提供する。
本手法をいくつかのベンチマーク制御問題で検証し,情報理論制御関数をエージェント環境システムを表す力学系の基本特性に関連付けることで本質的動機づけ行動の誘導に成功することを説明する。
これは、実用的な人工的、本質的な動機付けのコントローラーを設計し、動物の行動と動特性を結びつけるための扉を開く。
関連論文リスト
- Active Inference and Intentional Behaviour [40.19132448481507]
理論生物学の最近の進歩は、基底認知と知覚的行動がin vitro細胞培養と神経ネットワークの創発的特性であることを示唆している。
我々は、自由エネルギー原理のレンズを通して、この種の自己組織化を自己認識として特徴づける。
シミュレーションを用いて,これらの形態(反応性,感性,意図的)について検討する。
論文 参考訳(メタデータ) (2023-12-06T09:38:35Z) - Learning Goal-based Movement via Motivational-based Models in Cognitive
Mobile Robots [58.720142291102135]
人間は、強さと文脈に応じて行動を促進する必要がある。
また、各行動の知覚的快楽に関連する嗜好も作り出します。
これにより、意思決定がより複雑になり、コンテキストに応じてニーズと嗜好のバランスを取ることが求められます。
論文 参考訳(メタデータ) (2023-02-20T04:52:24Z) - Intrinsic Motivation in Model-based Reinforcement Learning: A Brief
Review [77.34726150561087]
本稿では,エージェントが獲得した世界モデルに基づいて,本質的な動機付けを決定するための既存の手法について考察する。
提案した統合フレームワークは,学習を改善するために,世界モデルと本質的なモチベーションを用いてエージェントのアーキテクチャを記述する。
論文 参考訳(メタデータ) (2023-01-24T15:13:02Z) - Modelling human logical reasoning process in dynamic environmental
stress with cognitive agents [13.171768256928509]
本研究では,ドリフト拡散と深部強化学習を統合した認知エージェントを提案する。
21,157個の論理応答の大規模なデータセットを活用することで、動的ストレスのパフォーマンスへの影響を調査する。
定量的に、このフレームワークは、主観的および刺激特異的な行動差を捉えることにより、認知モデリングを改善する。
全体として、この研究は、動的文脈における人間の論理的推論プロセスのバガリーをシミュレートし、理解するための、強力でデータ駆動の方法論を示している。
論文 参考訳(メタデータ) (2023-01-15T23:46:37Z) - Inference of Affordances and Active Motor Control in Simulated Agents [0.5161531917413706]
本稿では,出力確率,時間的予測,モジュール型人工ニューラルネットワークアーキテクチャを提案する。
我々のアーキテクチャは、割当マップと解釈できる潜在状態が発達していることを示す。
アクティブな推論と組み合わせることで、フレキシブルでゴール指向の動作が実行可能であることを示す。
論文 参考訳(メタデータ) (2022-02-23T14:13:04Z) - Information is Power: Intrinsic Control via Information Capture [110.3143711650806]
我々は,潜時状態空間モデルを用いて推定したエージェントの状態訪問のエントロピーを最小化する,コンパクトで汎用的な学習目的を論じる。
この目的は、不確実性の低減に対応する環境情報収集と、将来の世界状態の予測不可能性の低減に対応する環境制御の両方をエージェントに誘導する。
論文 参考訳(メタデータ) (2021-12-07T18:50:42Z) - Backprop-Free Reinforcement Learning with Active Neural Generative
Coding [84.11376568625353]
動的環境におけるエラー(バックプロップ)のバックプロパゲーションを伴わない行動駆動型生成モデルの学習のための計算フレームワークを提案する。
我々は、まばらな報酬でも機能するインテリジェントエージェントを開発し、推論として計画の認知理論からインスピレーションを得ている。
我々のエージェントの堅牢な性能は、神経推論と学習のためのバックプロップフリーアプローチがゴール指向の行動を促進するという有望な証拠を提供する。
論文 参考訳(メタデータ) (2021-07-10T19:02:27Z) - Generative Adversarial Reward Learning for Generalized Behavior Tendency
Inference [71.11416263370823]
ユーザの行動嗜好モデルのための生成的逆強化学習を提案する。
我々のモデルは,差別的アクター批判ネットワークとWasserstein GANに基づいて,ユーザの行動から報酬を自動的に学習することができる。
論文 参考訳(メタデータ) (2021-05-03T13:14:25Z) - First and Second Order Dynamics in a Hierarchical SOM system for Action
Recognition [0.0]
本稿では,自己組織型マップの階層構造と,行動分類を学習する独自のニューラルネットワークを用いた行動認識システムを提案する。
システムはkinectのような3dカメラからの入力を前処理し、関節の位置だけでなく、第1および第2次ダイナミクスに関する情報を利用する。
論文 参考訳(メタデータ) (2021-04-13T09:46:40Z) - Tracking Emotions: Intrinsic Motivation Grounded on Multi-Level
Prediction Error Dynamics [68.8204255655161]
目標達成に向けての進捗率と期待率の差が生じると、感情がどのように生じるかについて議論する。
自己生成的・動的目標に向けた行動を生成する本質的なモチベーションアーキテクチャを提案する。
論文 参考訳(メタデータ) (2020-07-29T06:53:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。