論文の概要: HiMemFormer: Hierarchical Memory-Aware Transformer for Multi-Agent Action Anticipation
- arxiv url: http://arxiv.org/abs/2411.01455v1
- Date: Sun, 03 Nov 2024 06:33:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-05 14:46:17.309713
- Title: HiMemFormer: Hierarchical Memory-Aware Transformer for Multi-Agent Action Anticipation
- Title(参考訳): HiMemFormer:マルチエージェントアクション予測のための階層型メモリ対応トランス
- Authors: Zirui Wang, Xinran Zhao, Simon Stepputtis, Woojun Kim, Tongshuang Wu, Katia Sycara, Yaqi Xie,
- Abstract要約: オンラインマルチエージェントアクション予測のためのトランスモデルであるHiMemFormer(HiMemFormer)を提案する。
HiMemFormerは、アクション予測におけるノイズや冗長な情報を避けるために、エージェント固有の好みでグローバルコンテキストを適用する。
- 参考スコア(独自算出の注目度): 39.92192685576485
- License:
- Abstract: Understanding and predicting human actions has been a long-standing challenge and is a crucial measure of perception in robotics AI. While significant progress has been made in anticipating the future actions of individual agents, prior work has largely overlooked a key aspect of real-world human activity -- interactions. To address this gap in human-like forecasting within multi-agent environments, we present the Hierarchical Memory-Aware Transformer (HiMemFormer), a transformer-based model for online multi-agent action anticipation. HiMemFormer integrates and distributes global memory that captures joint historical information across all agents through a transformer framework, with a hierarchical local memory decoder that interprets agent-specific features based on these global representations using a coarse-to-fine strategy. In contrast to previous approaches, HiMemFormer uniquely hierarchically applies the global context with agent-specific preferences to avoid noisy or redundant information in multi-agent action anticipation. Extensive experiments on various multi-agent scenarios demonstrate the significant performance of HiMemFormer, compared with other state-of-the-art methods.
- Abstract(参考訳): 人間の行動を理解し予測することは長年にわたる課題であり、ロボティクスAIにおける認識の重要な尺度である。
個々のエージェントの今後の行動を予測するために、大きな進歩があったが、以前の研究は、実際の人間の活動の重要な側面であるインタラクションを見落としていた。
マルチエージェント環境におけるヒューマンライクな予測におけるこのギャップを解決するために,オンラインマルチエージェントアクション予測のためのトランスフォーマモデルHiMemFormer(Hierarchical Memory-Aware Transformer)を提案する。
HiMemFormerは、トランスフォーマーフレームワークを通じてすべてのエージェント間で結合した履歴情報をキャプチャするグローバルメモリを統合し、分散する。
従来の手法とは対照的に、HiMemFormerは、マルチエージェントアクション予測におけるノイズや冗長な情報を避けるために、エージェント固有の好みを持つグローバルコンテキストを一意に階層的に適用する。
様々なマルチエージェントシナリオに対する大規模な実験は、他の最先端手法と比較して、HiMemFormerの顕著な性能を示している。
関連論文リスト
- HiAgent: Hierarchical Working Memory Management for Solving Long-Horizon Agent Tasks with Large Language Model [39.169389255970806]
HiAgentは、サブゴールをメモリチャンクとして活用して、LLM(Large Language Model)ベースのエージェントの動作メモリを階層的に管理するフレームワークである。
その結果,HiAgentは成功率を2倍に向上し,平均ステップ数を3.8倍に削減した。
論文 参考訳(メタデータ) (2024-08-18T17:59:49Z) - Very Large-Scale Multi-Agent Simulation in AgentScope [112.98986800070581]
我々は,ユーザフレンドリーなマルチエージェントプラットフォームであるAgentScopeの新機能とコンポーネントを開発した。
高いスケーラビリティと高効率を実現するために,アクタをベースとした分散機構を提案する。
また、多数のエージェントを便利に監視し、管理するためのWebベースのインターフェースも提供します。
論文 参考訳(メタデータ) (2024-07-25T05:50:46Z) - An Interactive Agent Foundation Model [49.77861810045509]
本稿では,AIエージェントを訓練するための新しいマルチタスクエージェントトレーニングパラダイムを用いた対話型エージェント基礎モデルを提案する。
トレーニングパラダイムは、視覚マスク付きオートエンコーダ、言語モデリング、次世代の予測など、多様な事前学習戦略を統一する。
私たちは、ロボティクス、ゲームAI、ヘルスケアという3つの異なる領域でフレームワークのパフォーマンスを実演します。
論文 参考訳(メタデータ) (2024-02-08T18:58:02Z) - Transferring Foundation Models for Generalizable Robotic Manipulation [82.12754319808197]
インターネット規模の基盤モデルによって生成された言語推論セグメンテーションマスクを効果的に活用する新しいパラダイムを提案する。
提案手法は,オブジェクトのポーズを効果的かつ堅牢に知覚し,サンプル効率のよい一般化学習を可能にする。
デモは提出されたビデオで見ることができ、より包括的なデモはlink1またはlink2で見ることができます。
論文 参考訳(メタデータ) (2023-06-09T07:22:12Z) - Deep Multimodal Fusion for Generalizable Person Re-identification [15.250738959921872]
DMF(ディープ・マルチモーダル・フュージョン)は、個人再識別タスクの一般的なシナリオのためのディープ・マルチモーダル・フュージョン・ネットワークである。
事前学習段階における特徴表現学習を支援するために、リッチな意味知識が導入される。
実世界の分散アライメントのための事前訓練されたモデルを微調整するために、現実的なデータセットが採用されている。
論文 参考訳(メタデータ) (2022-11-02T07:42:48Z) - Beyond Rewards: a Hierarchical Perspective on Offline Multiagent
Behavioral Analysis [14.656957226255628]
本稿では,マルチエージェント領域における行動クラスタの発見のためのモデルに依存しない手法を提案する。
我々のフレームワークはエージェントの基盤となる学習アルゴリズムを前提とせず、潜伏状態やモデルへのアクセスを必要とせず、完全にオフラインで観察データを使って訓練することができる。
論文 参考訳(メタデータ) (2022-06-17T23:07:33Z) - Enhancing Multi-Robot Perception via Learned Data Association [37.866254392010454]
本稿では,マルチロボット協調認識問題,特に分散セマンティックセグメンテーションにおけるマルチビューインフィル問題に対処する。
本稿では,ロボット群において各エージェントにデプロイ可能なニューラルネットワークであるMulti-Agent Infilling Networkを提案する。
具体的には、各ロボットが視覚情報を局所的に符号化・復号し、ニューラルメカニズムにより、不確実性を認識し、文脈に基づく中間特徴の交換を可能にする。
論文 参考訳(メタデータ) (2021-07-01T22:45:26Z) - UPDeT: Universal Multi-agent Reinforcement Learning via Policy
Decoupling with Transformers [108.92194081987967]
タスクに適合する1つのアーキテクチャを設計し、汎用的なマルチエージェント強化学習パイプラインを最初に試行する。
従来のRNNモデルとは異なり、トランスフォーマーモデルを用いてフレキシブルなポリシーを生成する。
提案方式はUPDeT(Universal Policy Decoupling Transformer)と名付けられ,動作制限を緩和し,マルチエージェントタスクの決定プロセスをより説明しやすいものにする。
論文 参考訳(メタデータ) (2021-01-20T07:24:24Z) - Multi-Domain Adversarial Feature Generalization for Person
Re-Identification [52.835955258959785]
マルチデータセット特徴一般化ネットワーク(MMFA-AAE)を提案する。
複数のラベル付きデータセットから普遍的なドメイン不変の特徴表現を学習し、それを見えないカメラシステムに一般化することができる。
また、最先端の教師付き手法や教師なしのドメイン適応手法を大きなマージンで超えている。
論文 参考訳(メタデータ) (2020-11-25T08:03:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。