論文の概要: Contrastive Active Inference

• arxiv url: http://arxiv.org/abs/2110.10083v1
• Date: Tue, 19 Oct 2021 16:20:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-20 16:57:17.646687
• Title: Contrastive Active Inference
• Title（参考訳）: 対照的なアクティブ推論
• Authors: Pietro Mazzaglia and Tim Verbelen and Bart Dhoedt
• Abstract要約: 本稿では,エージェントの生成モデル学習における計算負担を低減し,今後の行動計画を行うための,アクティブ推論のための対照的な目的を提案する。 提案手法は,画像に基づくタスクにおいて,確率に基づく能動推論よりも特に優れているが,計算処理が安価で,訓練も容易である。
• 参考スコア（独自算出の注目度）: 4.594524135561545
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Active inference is a unifying theory for perception and action resting upon the idea that the brain maintains an internal model of the world by minimizing free energy. From a behavioral perspective, active inference agents can be seen as self-evidencing beings that act to fulfill their optimistic predictions, namely preferred outcomes or goals. In contrast, reinforcement learning requires human-designed rewards to accomplish any desired outcome. Although active inference could provide a more natural self-supervised objective for control, its applicability has been limited because of the shortcomings in scaling the approach to complex environments. In this work, we propose a contrastive objective for active inference that strongly reduces the computational burden in learning the agent's generative model and planning future actions. Our method performs notably better than likelihood-based active inference in image-based tasks, while also being computationally cheaper and easier to train. We compare to reinforcement learning agents that have access to human-designed reward functions, showing that our approach closely matches their performance. Finally, we also show that contrastive methods perform significantly better in the case of distractors in the environment and that our method is able to generalize goals to variations in the background.
• Abstract（参考訳）: 能動推論(active inference)は、脳が自由エネルギーを最小化することで世界の内部モデルを維持しているという考えに基づく知覚と行動の統一理論である。 行動の観点からは、アクティブな推論エージェントは、楽観的な予測、すなわち望ましい結果や目標を達成するために行動する自己認識的な存在と見なすことができる。 対照的に強化学習は、望ましい結果を達成するために人間によって設計された報酬を必要とする。 アクティブ推論は、制御のためのより自然な自己監視目標を提供することができるが、複雑な環境へのアプローチのスケーリングの欠点のため、その適用性は制限されている。 本研究では,エージェントの生成モデル学習と今後の行動計画における計算負荷を強力に軽減する,アクティブ推論の対比目標を提案する。 提案手法は,画像に基づくタスクにおいて,確率に基づく能動推論よりも特に優れているが,計算処理が安価で,訓練も容易である。 我々は,人間によって設計された報酬関数にアクセス可能な強化学習エージェントと比較し,そのアプローチが性能と密接に一致していることを示す。 最後に,コントラスト的手法は,環境の注意をそらす場合に有意に優れた効果を示し,目的を背景のバリエーションに一般化できることを示した。

関連論文リスト

• Learning to Assist Humans without Inferring Rewards [65.28156318196397]
  我々は、エンパワーメントのレンズを通して支援を研究する先行研究に基づいて構築する。 補助剤は、人間の行動の影響を最大化することを目的としている。 これらの表現は、先行研究と類似したエンパワーメントの概念を推定する。
  論文  参考訳（メタデータ） (2024-11-04T21:31:04Z)
• Basis for Intentions: Efficient Inverse Reinforcement Learning using Past Experience [89.30876995059168]
  逆強化学習(IRL) - エージェントの報酬関数をその振る舞いを観察することから推測する。 本稿では、エージェントの報酬関数を観察することのできないIRLの問題に対処する。
  論文  参考訳（メタデータ） (2022-08-09T17:29:49Z)
• Inference of Affordances and Active Motor Control in Simulated Agents [0.5161531917413706]
  本稿では,出力確率,時間的予測,モジュール型人工ニューラルネットワークアーキテクチャを提案する。 我々のアーキテクチャは、割当マップと解釈できる潜在状態が発達していることを示す。 アクティブな推論と組み合わせることで、フレキシブルでゴール指向の動作が実行可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-23T14:13:04Z)
• Backprop-Free Reinforcement Learning with Active Neural Generative Coding [84.11376568625353]
  動的環境におけるエラー(バックプロップ)のバックプロパゲーションを伴わない行動駆動型生成モデルの学習のための計算フレームワークを提案する。 我々は、まばらな報酬でも機能するインテリジェントエージェントを開発し、推論として計画の認知理論からインスピレーションを得ている。 我々のエージェントの堅牢な性能は、神経推論と学習のためのバックプロップフリーアプローチがゴール指向の行動を促進するという有望な証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-10T19:02:27Z)
• Online reinforcement learning with sparse rewards through an active inference capsule [62.997667081978825]
  本稿では,将来期待される新しい自由エネルギーを最小化するアクティブ推論エージェントを提案する。 我々のモデルは、非常に高いサンプル効率でスパース・リワード問題を解くことができる。 また、複雑な目的の表現を単純化する報奨関数から事前モデルを近似する新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-06-04T10:03:36Z)
• Learning Human Rewards by Inferring Their Latent Intelligence Levels in Multi-Agent Games: A Theory-of-Mind Approach with Application to Driving Data [18.750834997334664]
  我々は、人間は有理論的であり、他人の意思決定過程を推論する際に異なる知能レベルを持っていると論じる。 学習中の人間の潜在知能レベルを推論する,新しいマルチエージェント逆強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-07T07:48:31Z)
• Intrinsic Motivation for Encouraging Synergistic Behavior [55.10275467562764]
  スパース・リワード・シナジスティック・タスクにおける強化学習の探索バイアスとしての本質的モチベーションの役割について検討した。 私たちのキーとなる考え方は、シナジスティックなタスクにおける本質的なモチベーションのための優れた指針は、エージェントが自分自身で行動している場合、達成できない方法で世界に影響を与える行動を取ることである。
  論文  参考訳（メタデータ） (2020-02-12T19:34:51Z)
• Mutual Information-based State-Control for Intrinsically Motivated Reinforcement Learning [102.05692309417047]
  強化学習において、エージェントは、外部報酬信号を用いて一連の目標に到達することを学習する。 自然界では、知的生物は内部の駆動から学習し、外部の信号を必要としない。 目的状態と制御可能な状態の間の相互情報として本質的な目的を定式化する。
  論文  参考訳（メタデータ） (2020-02-05T19:21:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。