論文の概要: Online Pareto-Optimal Decision-Making for Complex Tasks using Active Inference
- arxiv url: http://arxiv.org/abs/2406.11984v1
- Date: Mon, 17 Jun 2024 18:03:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-20 00:26:41.617845
- Title: Online Pareto-Optimal Decision-Making for Complex Tasks using Active Inference
- Title（参考訳）: アクティブ推論を用いた複雑なタスクに対するオンラインパレート最適決定法
- Authors: Peter Amorese, Shohei Wakayama, Nisar Ahmed, Morteza Lahijanian,
- Abstract要約: 本稿では,多目的強化学習のための新しいフレームワークを提案する。
安全なタスク実行を保証し、目的間のトレードオフを最適化し、ユーザの好みに準拠します。
操作と移動ロボットのケーススタディとベンチマークは、我々のフレームワークが他の方法よりも優れていることを示している。
- 参考スコア（独自算出の注目度）: 14.470714123175972
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When a robot autonomously performs a complex task, it frequently must balance competing objectives while maintaining safety. This becomes more difficult in uncertain environments with stochastic outcomes. Enhancing transparency in the robot's behavior and aligning with user preferences are also crucial. This paper introduces a novel framework for multi-objective reinforcement learning that ensures safe task execution, optimizes trade-offs between objectives, and adheres to user preferences. The framework has two main layers: a multi-objective task planner and a high-level selector. The planning layer generates a set of optimal trade-off plans that guarantee satisfaction of a temporal logic task. The selector uses active inference to decide which generated plan best complies with user preferences and aids learning. Operating iteratively, the framework updates a parameterized learning model based on collected data. Case studies and benchmarks on both manipulation and mobile robots show that our framework outperforms other methods and (i) learns multiple optimal trade-offs, (ii) adheres to a user preference, and (iii) allows the user to adjust the balance between (i) and (ii).
- Abstract（参考訳）: ロボットが複雑なタスクを自律的に実行する場合、安全を維持しながら競合する目標をバランスさせなければならない。
これは確率的な結果を持つ不確実な環境ではより困難になる。
また,ロボットの動作の透明性向上とユーザの好みの整合性も重要である。
本稿では,タスク実行の安全性を確保し,目的間のトレードオフを最適化し,ユーザの嗜好に順応する多目的強化学習のための新しいフレームワークを提案する。
フレームワークには、多目的タスクプランナとハイレベルセレクタの2つの主なレイヤがある。
計画層は、時間論理タスクの満足度を保証するための最適なトレードオフ計画セットを生成する。
セレクタはアクティブな推論を使用して、どの生成された計画がユーザの好みに最も適しているかを決定し、学習を支援する。
反復的に運用するフレームワークは、収集データに基づいてパラメータ化された学習モデルを更新する。
操作と移動ロボットのケーススタディとベンチマークは、我々のフレームワークが他の方法よりも優れていることを示している。
i)複数の最適なトレードオフを学習する
(二)利用者の嗜好に固執し、
(三)利用者のバランス調整
(i)および
(II)。
関連論文リスト
- Task-Aware Harmony Multi-Task Decision Transformer for Offline Reinforcement Learning [70.96345405979179]
オフラインマルチタスク強化学習(MTRL)の目的は、オンライン環境相互作用を必要とせず、多様なタスクに適用可能な統一されたポリシーを開発することである。
タスクの内容と複雑さの変化は、政策の定式化において重大な課題を引き起こします。
本稿では,各タスクに対するパラメータの最適な調和部分空間を特定するための新しいソリューションであるHarmoDT(Harmony Multi-Task Decision Transformer)を紹介する。
論文 参考訳（メタデータ） (2024-11-02T05:49:14Z) - Efficient Adaptation in Mixed-Motive Environments via Hierarchical Opponent Modeling and Planning [51.52387511006586]
本稿では,HOP(Hierarchical Opponent Modeling and Planning)を提案する。
HOPは階層的に2つのモジュールから構成される: 相手の目標を推論し、対応する目標条件のポリシーを学ぶ、反対モデリングモジュール。
HOPは、さまざまな未確認エージェントと相互作用する際、優れた少数ショット適応能力を示し、セルフプレイのシナリオで優れている。
論文 参考訳（メタデータ） (2024-06-12T08:48:06Z) - Synergising Human-like Responses and Machine Intelligence for Planning in Disaster Response [10.294618771570985]
デュアルプロセス理論(DPT)にインスパイアされた注意に基づく認知アーキテクチャを提案する。
このフレームワークは、高速だが(人間のような)応答と、遅いが最適化されたマシンインテリジェンスの計画能力を統合する。
論文 参考訳（メタデータ） (2024-04-15T15:47:08Z) - Enhancing Robotic Navigation: An Evaluation of Single and
Multi-Objective Reinforcement Learning Strategies [0.9208007322096532]
本研究では,ロボットが目的達成に向けて効果的に移動できるよう訓練するための単目的と多目的の強化学習法の比較分析を行った。
報酬関数を変更して報酬のベクターを返却し、それぞれ異なる目的に関連付けることで、ロボットはそれぞれの目標を効果的にバランスさせるポリシーを学ぶ。
論文 参考訳（メタデータ） (2023-12-13T08:00:26Z) - Optimal Cost-Preference Trade-off Planning with Multiple Temporal Tasks [3.655021726150368]
個別のタスクやその関係性よりも好みを表現できる汎用的な枠組みを提供する新しい選好概念を導入する。
我々は,ユーザの好みに従属する行動と,リソース最適である行動の最適トレードオフ(Pareto)分析を行う。
論文 参考訳（メタデータ） (2023-06-22T21:56:49Z) - Autonomous Open-Ended Learning of Tasks with Non-Stationary
Interdependencies [64.0476282000118]
固有のモチベーションは、目標間のトレーニング時間を適切に割り当てるタスクに依存しないシグナルを生成することが証明されている。
内在的に動機付けられたオープンエンドラーニングの分野におけるほとんどの研究は、目標が互いに独立しているシナリオに焦点を当てているが、相互依存タスクの自律的な獲得を研究するのはごくわずかである。
特に,タスク間の関係に関する情報をアーキテクチャのより高レベルなレベルで組み込むことの重要性を示す。
そして、自律的に取得したシーケンスを格納する新しい学習層を追加することで、前者を拡張する新しいシステムであるH-GRAILを紹介する。
論文 参考訳（メタデータ） (2022-05-16T10:43:01Z) - Controllable Dynamic Multi-Task Architectures [92.74372912009127]
本稿では,そのアーキテクチャと重みを動的に調整し,所望のタスク選択とリソース制約に適合させる制御可能なマルチタスクネットワークを提案する。
本稿では,タスク親和性と分岐正規化損失を利用した2つのハイパーネットの非交互トレーニングを提案し,入力の嗜好を取り入れ,適応重み付き木構造モデルを予測する。
論文 参考訳（メタデータ） (2022-03-28T17:56:40Z) - Skill-based Multi-objective Reinforcement Learning of Industrial Robot
Tasks with Planning and Knowledge Integration [0.4949816699298335]
本稿では,タスクレベルの計画と,スキルベースシステムにおけるシナリオ固有のパラメータの学習を併用する手法を提案する。
2つの異なる接触豊富なタスクのスキルパラメータを学習することで、アプローチの有効性と汎用性を実証する。
論文 参考訳（メタデータ） (2022-03-18T16:03:27Z) - Reinforcement Learning Agent Training with Goals for Real World Tasks [3.747737951407512]
強化学習(RL)は、様々な制御、最適化、シーケンシャルな意思決定タスクを解決するための有望なアプローチである。
複雑な制御および最適化タスクのための仕様言語(Inkling Goal Specification)を提案する。
提案手法は現実世界のタスクを多種多様なタスクで指定するのに非常に容易であることを示す実験のセットを含む。
論文 参考訳（メタデータ） (2021-07-21T23:21:16Z) - Optimizing Interactive Systems via Data-Driven Objectives [70.3578528542663]
本稿では,観察されたユーザインタラクションから直接目的を推測する手法を提案する。
これらの推論は、事前の知識によらず、様々な種類のユーザー行動にまたがって行われる。
本稿では,これらの推定対象を最適化するために利用する新しいアルゴリズムであるInteractive System(ISO)を紹介する。
論文 参考訳（メタデータ） (2020-06-19T20:49:14Z) - Automatic Curriculum Learning through Value Disagreement [95.19299356298876]
新しい未解決タスクを継続的に解決することが、多様な行動を学ぶための鍵です。
エージェントが複数の目標を達成する必要があるマルチタスク領域では、トレーニング目標の選択はサンプル効率に大きな影響を与える可能性がある。
そこで我々は,エージェントが解決すべき目標のための自動カリキュラムを作成することを提案する。
提案手法は,13のマルチゴールロボットタスクと5つのナビゲーションタスクにまたがって評価し,現在の最先端手法よりも高い性能を示す。
論文 参考訳（メタデータ） (2020-06-17T03:58:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。