論文の概要: Peer Learning: Learning Complex Policies in Groups from Scratch via Action Recommendations

• arxiv url: http://arxiv.org/abs/2312.09950v2
• Date: Mon, 6 May 2024 09:03:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 00:15:17.448439
• Title: Peer Learning: Learning Complex Policies in Groups from Scratch via Action Recommendations
• Title（参考訳）: ピアラーニング:アクションレコメンデーションを通じてスクラッチからグループ内の複雑な政策を学ぶ
• Authors: Cedric Derstroff, Mattia Cerrato, Jannis Brugger, Jan Peters, Stefan Kramer,
• Abstract要約: ピアラーニングは、グループで学ぶエージェントのための新しい高度な強化学習フレームワークである。 ピアラーニングは,OpenAI Gymドメインのいくつかの課題において,単一エージェント学習とベースラインを上回り得ることを示す。
• 参考スコア（独自算出の注目度）: 16.073203911932872
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Peer learning is a novel high-level reinforcement learning framework for agents learning in groups. While standard reinforcement learning trains an individual agent in trial-and-error fashion, all on its own, peer learning addresses a related setting in which a group of agents, i.e., peers, learns to master a task simultaneously together from scratch. Peers are allowed to communicate only about their own states and actions recommended by others: "What would you do in my situation?". Our motivation is to study the learning behavior of these agents. We formalize the teacher selection process in the action advice setting as a multi-armed bandit problem and therefore highlight the need for exploration. Eventually, we analyze the learning behavior of the peers and observe their ability to rank the agents' performance within the study group and understand which agents give reliable advice. Further, we compare peer learning with single agent learning and a state-of-the-art action advice baseline. We show that peer learning is able to outperform single-agent learning and the baseline in several challenging discrete and continuous OpenAI Gym domains. Doing so, we also show that within such a framework complex policies from action recommendations beyond discrete action spaces can evolve.
• Abstract（参考訳）: ピアラーニングは、グループで学ぶエージェントのための新しい高度な強化学習フレームワークである。 標準的な強化学習は、個々のエージェントを試行錯誤方式で訓練するが、ピアラーニングは、それぞれが、エージェントのグループ、すなわちピアが、スクラッチから同時にタスクをマスターすることを学ぶ、関連する設定に対処する。 貴族は、自分の国家と他人が推奨する行動についてのみコミュニケーションを許される:「私の状況では、あなたは何をするのか? 私たちのモチベーションは、これらのエージェントの学習行動を研究することです。 マルチアームバンディット問題として,アクションアドバイス設定における教師選択プロセスを形式化し,探索の必要性を強調した。 最終的に、我々は、仲間の学習行動を分析し、研究グループ内のエージェントのパフォーマンスをランク付けし、どのエージェントが信頼できるアドバイスをするかを理解する能力を観察する。 さらに,ピアラーニングとシングルエージェントラーニング,最先端のアクションアドバイスベースラインを比較した。 離散的かつ連続的なOpenAI Gymドメインにおいて、ピアラーニングがシングルエージェント学習とベースラインを上回っていることを示す。 また、このようなフレームワーク内では、離散的なアクション空間を超えたアクションレコメンデーションからの複雑なポリシーが進化することを示す。

関連論文リスト

• Multi-agent cooperation through learning-aware policy gradients [53.63948041506278]
  利己的な個人はしばしば協力に失敗し、マルチエージェント学習の根本的な課題を提起する。 本稿では,学習型強化学習のための,偏見のない高導出性ポリシー勾配アルゴリズムを提案する。 我々は, 受刑者のジレンマから, 自己関心のある学習エージェントの間でどのように, いつ, 協力関係が生じるかの新たな説明を得た。
  論文  参考訳（メタデータ） (2024-10-24T10:48:42Z)
• Reciprocal Reward Influence Encourages Cooperation From Self-Interested Agents [2.1301560294088318]
  自己関心の個人間の協力は、自然界で広く見られる現象であるが、人工的な知的エージェント間の相互作用においては、いまだ解明されていない。 そこで,本研究では,リターンに対する相手の行動の影響を再現するために,本質的に動機づけられた強化学習エージェントであるReciprocatorを紹介する。 本研究では,同時学習において,時間的に拡張された社会的ジレンマにおける協調を促進するために,共用者が利用できることを示す。
  論文  参考訳（メタデータ） (2024-06-03T06:07:27Z)
• Fast Peer Adaptation with Context-aware Exploration [63.08444527039578]
  マルチエージェントゲームにおける学習エージェントに対するピア識別報酬を提案する。 この報酬は、効果的な探索と迅速な適応のための文脈認識ポリシーを学ぶためのエージェントのモチベーションとなる。 我々は,競争力のある(クーンポーカー),協力的(PO-Overcooked),あるいは混合的(Predator-Prey-W)な(Pedator-Prey-W)ゲームを含む多種多様なテストベッドについて評価を行った。
  論文  参考訳（メタデータ） (2024-02-04T13:02:27Z)
• Learning to Learn Group Alignment: A Self-Tuning Credo Framework with Multiagent Teams [1.370633147306388]
  マルチエージェントチームを持つ人口の混合インセンティブは、完全に協調したシステムよりも有利であることが示されている。 個人学習エージェントが報酬関数の様々な部分を通してインセンティブの構成を自己制御する枠組みを提案する。
  論文  参考訳（メタデータ） (2023-04-14T18:16:19Z)
• MERMAIDE: Learning to Align Learners using Model-Based Meta-Learning [62.065503126104126]
  本研究では,先見のつかない学習エージェントの報酬を効率よく効果的に介入し,望ましい結果を導き出す方法について検討する。 これはオークションや課税のような現実世界の多くの設定に関係しており、プリンシパルは学習行動や実際の人々の報酬を知らないかもしれない。 モデルに基づくメタ学習フレームワークであるMERMAIDEを導入し,配布外エージェントに迅速に適応できるプリンシパルを訓練する。
  論文  参考訳（メタデータ） (2023-04-10T15:44:50Z)
• ELIGN: Expectation Alignment as a Multi-Agent Intrinsic Reward [29.737986509769808]
  本稿では,自己監督型固有報酬ELIGN-期待アライメントを提案する。 動物が周囲の動物と分散的に協力するのと同じように、期待アライメントで訓練されたエージェントは、隣人の期待に合う行動を学ぶ。 エージェント・コーディネーションは、エージェントがタスクを個別に分割し、コーディネーション・対称性を破り、敵を混乱させ、予測アライメントを通じて改善することを示す。
  論文  参考訳（メタデータ） (2022-10-09T22:24:44Z)
• Teachable Reinforcement Learning via Advice Distillation [161.43457947665073]
  外部教師が提供した構造化アドバイスから学習する「教育可能な」意思決定システムに基づく対話型学習のための新しい指導パラダイムを提案する。 我々は、アドバイスから学ぶエージェントが、標準的な強化学習アルゴリズムよりも人的監督力の少ない新しいスキルを習得できることを示す。
  論文  参考訳（メタデータ） (2022-03-19T03:22:57Z)
• PEBBLE: Feedback-Efficient Interactive Reinforcement Learning via Relabeling Experience and Unsupervised Pre-training [94.87393610927812]
  我々は、フィードバックと非政治学習の両方の長所を生かした、非政治的、インタラクティブな強化学習アルゴリズムを提案する。 提案手法は,従来ヒト・イン・ザ・ループ法で検討されていたよりも複雑度の高いタスクを学習可能であることを実証する。
  論文  参考訳（メタデータ） (2021-06-09T14:10:50Z)
• Learning from Learners: Adapting Reinforcement Learning Agents to be Competitive in a Card Game [71.24825724518847]
  本稿では,競争力のあるマルチプレイヤーカードゲームの現実的な実装を学習・プレイするために,一般的な強化学習アルゴリズムをどのように適用できるかについて検討する。 本研究は,学習エージェントに対して,エージェントが競争力を持つことの学習方法を評価するための特定のトレーニングと検証ルーチンを提案し,それらが相互の演奏スタイルにどのように適応するかを説明する。
  論文  参考訳（メタデータ） (2020-04-08T14:11:05Z)
• Parallel Knowledge Transfer in Multi-Agent Reinforcement Learning [0.2538209532048867]
  本稿では,MARL(Parallel Attentional Transfer)における新しい知識伝達フレームワークを提案する。 PAT,学生モード,自己学習モードの2つの動作モードを設計する。 エージェントが環境に不慣れな場合、学生モードにおける共有注意機構は、エージェントの行動を決定するために、他のエージェントからの学習知識を効果的に選択する。
  論文  参考訳（メタデータ） (2020-03-29T17:42:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。