論文の概要: Learning in Hybrid Active Inference Models

• arxiv url: http://arxiv.org/abs/2409.01066v1
• Date: Mon, 2 Sep 2024 08:41:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 07:38:47.786062
• Title: Learning in Hybrid Active Inference Models
• Title（参考訳）: ハイブリッドアクティブ推論モデルにおける学習
• Authors: Poppy Collis, Ryan Singh, Paul F Kinghorn, Christopher L Buckley,
• Abstract要約: 本稿では,高レベル離散型アクティブ・推論・プランナを低レベル連続型アクティブ・推論・コントローラの上に置く階層型ハイブリッド・アクティブ・推論・エージェントを提案する。 我々は、意味のある離散表現のエンドツーエンド学習を実装する線形力学系をリカレントに切り替えるという最近の研究を活用している。 当社のモデルを,探索と計画成功による高速なシステム識別を実証し,スパースな連続マウンテンカータスクに適用する。
• 参考スコア（独自算出の注目度）: 0.8749675983608172
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: An open problem in artificial intelligence is how systems can flexibly learn discrete abstractions that are useful for solving inherently continuous problems. Previous work in computational neuroscience has considered this functional integration of discrete and continuous variables during decision-making under the formalism of active inference (Parr, Friston & de Vries, 2017; Parr & Friston, 2018). However, their focus is on the expressive physical implementation of categorical decisions and the hierarchical mixed generative model is assumed to be known. As a consequence, it is unclear how this framework might be extended to learning. We therefore present a novel hierarchical hybrid active inference agent in which a high-level discrete active inference planner sits above a low-level continuous active inference controller. We make use of recent work in recurrent switching linear dynamical systems (rSLDS) which implement end-to-end learning of meaningful discrete representations via the piecewise linear decomposition of complex continuous dynamics (Linderman et al., 2016). The representations learned by the rSLDS inform the structure of the hybrid decision-making agent and allow us to (1) specify temporally-abstracted sub-goals in a method reminiscent of the options framework, (2) lift the exploration into discrete space allowing us to exploit information-theoretic exploration bonuses and (3) `cache' the approximate solutions to low-level problems in the discrete planner. We apply our model to the sparse Continuous Mountain Car task, demonstrating fast system identification via enhanced exploration and successful planning through the delineation of abstract sub-goals.
• Abstract（参考訳）: 人工知能におけるオープンな問題は、システムが本質的に連続的な問題を解決するのに有用な離散的な抽象化を柔軟に学習する方法である。 計算神経科学におけるこれまでの研究は、能動的推論の形式主義の下で意思決定中に離散変数と連続変数を機能的に統合することを検討した(Parr, Friston & de Vries, 2017; Parr & Friston, 2018)。 しかし、その焦点はカテゴリー決定の表現的物理的実装であり、階層的混合生成モデルが知られていると仮定される。 結果として、このフレームワークが学習にどのように拡張されるのかは不明だ。 そこで本研究では,高レベル離散型アクティブ・推論・プランナが低レベル連続型アクティブ・推論・コントローラの上に位置する,新しい階層型ハイブリッド・アクティブ・推論・エージェントを提案する。 複素連続力学の断片的線形分解による有意な離散表現のエンドツーエンド学習を実現するリカレントスイッチング線形力学系(rSLDS)の最近の研究を活用している(Linderman et al , 2016)。 rSLDSが学習した表現は,(1)オプションフレームワークを連想させる手法で時間的に制約されたサブゴールを指定できるようにし,(2)情報理論的な探索ボーナスを活用できるように,(2)離散空間への探索を解除し,(3)離散プランナーの低レベル問題に対する近似解を「キャッシュ」する。 提案手法を連続マウンテンカータスクに適用し,探索の強化による高速なシステム識別と,抽象的なサブゴールのデライン化による計画成功を実証する。

関連論文リスト

• Synthesizing Evolving Symbolic Representations for Autonomous Systems [2.4233709516962785]
  本稿では,その経験をスクラッチからPDDL表現に合成し,時間とともに更新できるオープンエンド学習システムを提案する。 a)選択肢を発見する、(b)選択肢を使って環境を探索する、(c)収集した知識を抽象化する、(d)計画。
  論文  参考訳（メタデータ） (2024-09-18T07:23:26Z)
• Hybrid Recurrent Models Support Emergent Descriptions for Hierarchical Planning and Control [0.8749675983608172]
  リカレントスイッチング線形力学系(rSLDS)として知られるハイブリッド状態空間モデルのクラスは、意味のある振る舞い単位を発見する。 我々は、rSLDSによって形成されたリッチな表現は、計画と制御に有用な抽象化を提供することができると提案する。 本稿では,低レベル線形二乗制御器上に離散型MDPを配置する,アクティブ推論にインスパイアされた新しい階層型モデルベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-08-20T16:02:54Z)
• Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning [113.89327264634984]
  FSCIL(Few-shot class-incremental Learning)は、最小限のトレーニングサンプルを持つモデルに新しいクラスを統合するという課題に直面している。 従来の手法では、固定パラメータ空間に依存する静的適応を広く採用し、逐次到着するデータから学習する。 本稿では、動的適応のための中間特徴に基づいてプロジェクションパラメータを動的に調整する2つの選択型SSMプロジェクタを提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:09:39Z)
• Distal Interference: Exploring the Limits of Model-Based Continual Learning [0.0]
  継続的な学習は破滅的な干渉や忘れによって妨げられる。 実際に成功したにもかかわらず、人工知能ニューラルネットワーク(ANN)は破滅的な干渉を起こしやすい。 複雑性モデルによる連続的な学習には、トレーニングデータやアルゴリズムの強化が必要であると推測されている。
  論文  参考訳（メタデータ） (2024-02-13T07:07:37Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)
• Class-Incremental Mixture of Gaussians for Deep Continual Learning [15.49323098362628]
  本稿では,ガウスモデルの混合を連続学習フレームワークに組み込むことを提案する。 固定抽出器を用いたメモリフリーシナリオにおいて,本モデルが効果的に学習可能であることを示す。
  論文  参考訳（メタデータ） (2023-07-09T04:33:19Z)
• Safe Multi-agent Learning via Trapping Regions [89.24858306636816]
  我々は、動的システムの定性理論から知られているトラップ領域の概念を適用し、分散学習のための共同戦略空間に安全セットを作成する。 本稿では,既知の学習力学を持つシステムにおいて,候補がトラップ領域を形成することを検証するための二分分割アルゴリズムと,学習力学が未知のシナリオに対するサンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-27T14:47:52Z)
• Decomposed Linear Dynamical Systems (dLDS) for learning the latent components of neural dynamics [6.829711787905569]
  本稿では,時系列データの非定常および非線形の複雑なダイナミクスを表現した新しい分解力学系モデルを提案する。 我々のモデルは辞書学習によって訓練され、最近の結果を利用してスパースベクトルを時間とともに追跡する。 連続時間と離散時間の両方の指導例において、我々のモデルは元のシステムによく近似できることを示した。
  論文  参考訳（メタデータ） (2022-06-07T02:25:38Z)
• Weakly Supervised Semantic Segmentation via Alternative Self-Dual Teaching [82.71578668091914]
  本稿では,分類とマスク・リファインメント・コンポーネントを統合された深層モデルに組み込む,コンパクトな学習フレームワークを確立する。 本稿では,高品質な知識相互作用を促進するために,新たな自己双対学習(ASDT)機構を提案する。
  論文  参考訳（メタデータ） (2021-12-17T11:56:56Z)
• Unsupervised Discriminative Embedding for Sub-Action Learning in Complex Activities [54.615003524001686]
  本稿では,複雑な活動における教師なしサブアクション学習の新たなアプローチを提案する。 提案手法は,視覚表現と時間表現の両方を,サブアクションを識別的に学習する潜在空間にマッピングする。 視覚-時空間埋め込みと判別的潜在概念の組み合わせにより,教師なし設定でロバストな動作表現を学習できることを示す。
  論文  参考訳（メタデータ） (2021-04-30T20:07:27Z)
• A Neural Dirichlet Process Mixture Model for Task-Free Continual Learning [48.87397222244402]
  タスクフリー連続学習のための拡張型アプローチを提案する。 我々のモデルは、識別的タスクと生成的タスクの両方に対してタスクフリー連続学習を成功させる。
  論文  参考訳（メタデータ） (2020-01-03T02:07:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。