論文の概要: CAML: Collaborative Auxiliary Modality Learning for Multi-Agent Systems
- arxiv url: http://arxiv.org/abs/2502.17821v2
- Date: Thu, 29 May 2025 23:50:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-02 17:26:04.963683
- Title: CAML: Collaborative Auxiliary Modality Learning for Multi-Agent Systems
- Title(参考訳): CAML:マルチエージェントシステムのための協調補助モダリティ学習
- Authors: Rui Liu, Yu Shen, Peng Gao, Pratap Tokekar, Ming Lin,
- Abstract要約: 我々は,新しいマルチモーダル・マルチエージェント・フレームワークである協調補助モダリティ学習(CAML)を提案する。
事故検出においてCAMLが最大で$bf 58.1%の改善を達成していることを示す。
また,コラボレーティブセマンティックセグメンテーションのための実世界の地上ロボットデータ上でCAMLを検証する。
- 参考スコア(独自算出の注目度): 38.20651868834145
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Multi-modal learning has become a crucial technique for improving the performance of machine learning applications across domains such as autonomous driving, robotics, and perception systems. However, in certain scenarios, particularly in resource-constrained environments, some modalities available during training may be absent during inference. While existing frameworks effectively utilize multiple data sources during training and enable inference with reduced modalities, they are primarily designed for single-agent settings. This poses a critical limitation in dynamic environments such as connected autonomous vehicles (CAV), where incomplete data coverage can lead to decision-making blind spots. Conversely, some works explore multi-agent collaboration but without addressing missing modality at test time. To overcome these limitations, we propose Collaborative Auxiliary Modality Learning (CAML), a novel multi-modal multi-agent framework that enables agents to collaborate and share multi-modal data during training, while allowing inference with reduced modalities during testing. Experimental results in collaborative decision-making for CAV in accident-prone scenarios demonstrate that CAML achieves up to a ${\bf 58.1}\%$ improvement in accident detection. Additionally, we validate CAML on real-world aerial-ground robot data for collaborative semantic segmentation, achieving up to a ${\bf 10.6}\%$ improvement in mIoU.
- Abstract(参考訳): マルチモーダル学習は、自律運転、ロボット工学、知覚システムといった分野にわたる機械学習アプリケーションの性能を向上させる上で、重要な技術となっている。
しかしながら、特定のシナリオ、特にリソース制約のある環境では、推論中にトレーニング中に利用できるいくつかのモダリティが欠落する可能性がある。
既存のフレームワークはトレーニング中に複数のデータソースを効果的に利用し、モダリティを低減した推論を可能にするが、それらは主に単一エージェントの設定用に設計されている。
これは、コネクテッド・オートモービル(CAV)のような動的環境において重要な制限となり、不完全なデータカバレッジが意思決定の盲点につながる可能性がある。
逆に、マルチエージェントのコラボレーションを探求する研究もあるが、テスト時のモダリティの欠如には対処していない。
このような制限を克服するために,エージェントがトレーニング中に複数モーダルデータを協調して共有し,テスト中のモダリティを低減した推論を可能にする,新しいマルチモーダルマルチエージェントフレームワークであるCollaborative Auxiliary Modality Learning (CAML)を提案する。
事故発生シナリオにおけるCAVの協調的意思決定実験の結果、CAMLは事故検出において最大で${\bf 58.1}\%の改善を達成していることが示された。
さらに,コラボレーティブセマンティックセグメンテーションのための実世界の地上ロボットデータ上でCAMLを検証し,mIoUで最大${\bf 10.6}\%の改善を実現した。
関連論文リスト
- Cooperative Multi-Agent Planning with Adaptive Skill Synthesis [16.228784877899976]
強化学習を用いたマルチエージェントシステムでは, サンプル効率, 解釈可能性, 伝達性に課題が生じる。
本稿では、視覚言語モデル(VLM)を動的スキルライブラリと統合し、分散化されたクローズドループ決定のための構造化通信を行う新しいマルチエージェントアーキテクチャを提案する。
論文 参考訳(メタデータ) (2025-02-14T13:23:18Z) - PAL: Prompting Analytic Learning with Missing Modality for Multi-Modal Class-Incremental Learning [42.00851701431368]
マルチモーダルクラスインクリメンタルラーニング(MMCIL)は、音声と視覚、画像とテキストのペアのようなマルチモーダルデータを活用する。
重要な課題は、漸進的な学習フェーズにおけるモダリティの欠如である。
PALは, MMCILに適合した, モダリティの欠如を前提とした, 斬新なフレームワークである。
論文 参考訳(メタデータ) (2025-01-16T08:04:04Z) - Learning for Cross-Layer Resource Allocation in MEC-Aided Cell-Free Networks [71.30914500714262]
移動エッジコンピューティング(MEC)を援用したセルフリーネットワーク上でのクロスレイヤリソース割り当ては、データレートを促進するために、送信およびコンピューティングリソースを十分に活用することができる。
深層学習の観点からMEC支援セルフリーネットワークのサブキャリア配置とビームフォーミング最適化について検討した。
論文 参考訳(メタデータ) (2024-12-21T10:18:55Z) - FedAuxHMTL: Federated Auxiliary Hard-Parameter Sharing Multi-Task Learning for Network Edge Traffic Classification [9.816810723612653]
本稿では,FedAuxHMTLという,多タスク学習のための補助的ハードパラメータ共有フレームワークを提案する。
エッジサーバとベースステーション間のモデルパラメータ交換を取り入れ、分散領域のベースステーションがFedAuxHMTLプロセスに参加することを可能にする。
実験により,FedAuxHMTLの有効性を,精度,全地球的損失,通信コスト,計算時間,エネルギー消費の観点から検証し,実証した。
論文 参考訳(メタデータ) (2024-04-11T16:23:28Z) - GeRM: A Generalist Robotic Model with Mixture-of-experts for Quadruped Robot [27.410618312830497]
本稿では,GERM(Generalist Robotic Model)を提案する。
データ利用戦略を最適化するためにオフライン強化学習を利用する。
我々は、マルチモーダル入力と出力動作を処理するために、トランスフォーマーベースのVLAネットワークを使用する。
論文 参考訳(メタデータ) (2024-03-20T07:36:43Z) - Learning Unseen Modality Interaction [54.23533023883659]
マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。
我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。
異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
論文 参考訳(メタデータ) (2023-06-22T10:53:10Z) - RHFedMTL: Resource-Aware Hierarchical Federated Multi-Task Learning [11.329273673732217]
フェデレーション学習は、セキュリティを備えた大規模な分散ノード上でAIを可能にする効果的な方法である。
複数の基地局(BS)と端末をまたいだマルチタスク学習を維持しながら、プライバシを確保することは困難である。
本稿では, セルラーワークの自然雲-BS-末端階層に着想を得て, 資源を考慮した階層型MTL (RHFedMTL) ソリューションを提案する。
論文 参考訳(メタデータ) (2023-06-01T13:49:55Z) - Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。
我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。
コア最適化問題の実用的なパラメトリゼーションを提供する。
論文 参考訳(メタデータ) (2021-07-08T18:01:02Z) - PsiPhi-Learning: Reinforcement Learning with Demonstrations using
Successor Features and Inverse Temporal Difference Learning [102.36450942613091]
時間差学習(ITD)と呼ばれる逆強化学習アルゴリズムを提案する。
Psi Phi$-learningと呼ばれるデモで強化学習のための新しいアルゴリズムに到達し、オンライン環境の相互作用から学習とITDをシームレスに統合する方法を示します。
論文 参考訳(メタデータ) (2021-02-24T21:12:09Z) - Dif-MAML: Decentralized Multi-Agent Meta-Learning [54.39661018886268]
我々は,MAML や Dif-MAML と呼ばれる協調型マルチエージェントメタ学習アルゴリズムを提案する。
提案手法により, エージェントの集合が線形速度で合意に達し, 集約MAMLの定常点に収束できることを示す。
シミュレーションの結果は従来の非協調的な環境と比較して理論的な結果と優れた性能を示している。
論文 参考訳(メタデータ) (2020-10-06T16:51:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。