論文の概要: Multi-Agent Policy Transfer via Task Relationship Modeling

• arxiv url: http://arxiv.org/abs/2203.04482v1
• Date: Wed, 9 Mar 2022 01:49:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-10 14:18:54.897479
• Title: Multi-Agent Policy Transfer via Task Relationship Modeling
• Title（参考訳）: タスク関係モデリングによるマルチエージェントポリシー転送
• Authors: Rongjun Qin, Feng Chen, Tonghan Wang, Lei Yuan, Xiaoran Wu, Zongzhang Zhang, Chongjie Zhang, Yang Yu
• Abstract要約: 我々は、タスク間の共通構造を発見し、活用し、より効率的な転送を試みる。 本稿では,タスクの共通空間として効果に基づくタスク表現を学習する。 その結果,提案手法は,学習した協調知識をいくつかのソースタスクの学習後に新しいタスクに伝達するのに役立つ。
• 参考スコア（独自算出の注目度）: 28.421365805638953
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Team adaptation to new cooperative tasks is a hallmark of human intelligence, which has yet to be fully realized in learning agents. Previous work on multi-agent transfer learning accommodate teams of different sizes, heavily relying on the generalization ability of neural networks for adapting to unseen tasks. We believe that the relationship among tasks provides the key information for policy adaptation. In this paper, we try to discover and exploit common structures among tasks for more efficient transfer, and propose to learn effect-based task representations as a common space of tasks, using an alternatively fixed training scheme. We demonstrate that the task representation can capture the relationship among tasks, and can generalize to unseen tasks. As a result, the proposed method can help transfer learned cooperation knowledge to new tasks after training on a few source tasks. We also find that fine-tuning the transferred policies help solve tasks that are hard to learn from scratch.
• Abstract（参考訳）: 新しい協調作業へのチーム適応は、まだ学習エージェントで完全に実現されていない人間の知能の要点である。 従来のマルチエージェントトランスファー学習の研究は、異なるサイズのチームに対応しており、目に見えないタスクに適応するためのニューラルネットワークの一般化能力に大きく依存している。 我々は,タスク間の関係が政策適応の鍵となる情報を提供すると考えている。 本稿では,タスク間の共通構造を見つけ,活用し,タスクの共通空間としてのエフェクトに基づくタスク表現を,代わりに固定されたトレーニングスキームを用いて学習することを提案する。 タスク表現はタスク間の関係を捉えることができ、見えないタスクに一般化できることを示す。 その結果,提案手法は,学習した協調知識をいくつかのソースタスクの学習後に新しいタスクに移すのに役立つ。 また、移行したポリシーの微調整は、スクラッチから学ぶのが難しいタスクの解決にも役立ちます。

関連論文リスト

• TaskWeb: Selecting Better Source Tasks for Multi-task NLP [76.03221609799931]
  ペアワイズタスク転送によるタスク関係の認識は、新しいターゲットタスクの学習に役立つ1つ以上のソースタスクの選択を改善する。 私たちはTaskWebを使って、新しいターゲットタスクの学習にソースタスクを使うことの利点を推定し、マルチタスクトレーニングに有用なトレーニングタスクのサブセットを選択する。 本手法は,ソースタスクの総合ランキングとトップk精度をそれぞれ10%,トップk精度を38%向上させる。
  論文  参考訳（メタデータ） (2023-05-22T17:27:57Z)
• Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
  既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。 タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。 我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
  論文  参考訳（メタデータ） (2022-10-12T15:02:04Z)
• Transferring Knowledge for Reinforcement Learning in Contact-Rich Manipulation [10.219833196479142]
  複数のスキルの前提を活かして、類似したタスクのファミリー内で知識を伝達するという課題に対処する。 提案手法は, 先行タスク毎の実証軌道から, スキル埋め込みを表す潜在行動空間を学習する。 我々は,ペグ・イン・ホール・イン・イン・イン・イン・イン・イン・イン・イン・イン・インサート・タスクのセットを用いて本手法の評価を行い,トレーニング中に遭遇したことのない新しいタスクへのより良い一般化を実証した。
  論文  参考訳（メタデータ） (2022-09-19T10:31:13Z)
• Learning Task Embeddings for Teamwork Adaptation in Multi-Agent Reinforcement Learning [13.468555224407764]
  エージェントのチームは,タスク埋め込みを備えた場合,新しいタスクに適応できることを示す。 我々は、独立MATE、集中MATE、混合MATEの3つのMATE訓練パラダイムを提案する。 MATEが学習した埋め込みはタスクを識別し、新しいタスクへの適応中にエージェントが活用する有用な情報を提供する。
  論文  参考訳（メタデータ） (2022-07-05T18:23:20Z)
• Fast Inference and Transfer of Compositional Task Structures for Few-shot Task Generalization [101.72755769194677]
  本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。 我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。 提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
  論文  参考訳（メタデータ） (2022-05-25T10:44:25Z)
• Modular Adaptive Policy Selection for Multi-Task Imitation Learning through Task Division [60.232542918414985]
  マルチタスク学習は、しばしば負の伝達に悩まされ、タスク固有の情報を共有する。 これは、プロトポリケーションをモジュールとして使用して、タスクを共有可能な単純なサブ振る舞いに分割する。 また、タスクを共有サブ行動とタスク固有のサブ行動の両方に自律的に分割する能力を示す。
  論文  参考訳（メタデータ） (2022-03-28T15:53:17Z)
• Efficiently Identifying Task Groupings for Multi-Task Learning [55.80489920205404]
  マルチタスク学習は、あるタスクによって学習された情報を活用して、他のタスクのトレーニングに役立てることができる。 マルチタスク学習モデルにおいて、どのタスクを一緒にトレーニングすべきかを選択するアプローチを提案する。 本手法は,全タスクを協調学習し,タスクの勾配が他のタスクの損失に影響を及ぼす影響を定量化する。
  論文  参考訳（メタデータ） (2021-09-10T02:01:43Z)
• Adaptive Transfer Learning on Graph Neural Networks [4.233435459239147]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データの強力な表現を学ぶために広く利用されている。 近年の研究では、自己教師型タスクから下流タスクへの知識伝達により、グラフ表現がさらに改善されることが示されている。 本稿では,GNN 上での移動学習パラダイムを提案する。これは,目標タスクを支援するための補助タスクとして,自己教師型タスクを効果的に活用することができる。
  論文  参考訳（メタデータ） (2021-07-19T11:46:28Z)
• Adaptive Policy Transfer in Reinforcement Learning [9.594432031144715]
  我々は,対象タスクの解法を学ぶために,ソースポリシーを適応させる「適応から学習」可能な原則的メカニズムを導入する。 提案手法は適応と探索から学習をシームレスに組み合わせることを学び、堅牢な政策伝達アルゴリズムに導くことを示した。
  論文  参考訳（メタデータ） (2021-05-10T22:42:03Z)
• Measuring and Harnessing Transference in Multi-Task Learning [58.48659733262734]
  マルチタスク学習は、あるタスクによって学習された情報を活用して、他のタスクのトレーニングに役立てることができる。 情報伝達や伝達のダイナミクスを、トレーニングを通して分析する。
  論文  参考訳（メタデータ） (2020-10-29T08:25:43Z)
• Transforming task representations to perform novel tasks [12.008469282323492]
  知性の重要な側面は、直接の経験(ゼロショット)なしで新しいタスクに適応できる能力である。 本稿では,従来のタスクとの関係に基づいて,新しいタスクに適応するための一般的な計算フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-05-08T23:41:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。