論文の概要: Multi-Modal Multi-Task (M3T) Federated Foundation Models for Embodied AI: Potentials and Challenges for Edge Integration

• arxiv url: http://arxiv.org/abs/2505.11191v1
• Date: Fri, 16 May 2025 12:49:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:14.97562
• Title: Multi-Modal Multi-Task (M3T) Federated Foundation Models for Embodied AI: Potentials and Challenges for Edge Integration
• Title（参考訳）: Multi-Modal Multi-Task (M3T) Federated Foundation Models for Embodied AI: potentials and Challenges for Edge Integration
• Authors: Kasra Borazjani, Payam Abdisarabshali, Fardis Nadimi, Naji Khosravan, Minghui Liwang, Xianbin Wang, Yiguang Hong, Seyyedali Hosseinalipour,
• Abstract要約: 具体的AIのためのフェデレーションファンデーションモデル(FFM)を紹介する。 統合されたフレームワークの下で、具体化されたAIエコシステムにおけるFFMの重要なデプロイメント次元を収集します。 具体的な課題を特定し、実行可能な研究の方向性を想定する。
• 参考スコア（独自算出の注目度）: 16.914582808898505
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As embodied AI systems become increasingly multi-modal, personalized, and interactive, they must learn effectively from diverse sensory inputs, adapt continually to user preferences, and operate safely under resource and privacy constraints. These challenges expose a pressing need for machine learning models capable of swift, context-aware adaptation while balancing model generalization and personalization. Here, two methods emerge as suitable candidates, each offering parts of these capabilities: Foundation Models (FMs) provide a pathway toward generalization across tasks and modalities, whereas Federated Learning (FL) offers the infrastructure for distributed, privacy-preserving model updates and user-level model personalization. However, when used in isolation, each of these approaches falls short of meeting the complex and diverse capability requirements of real-world embodied environments. In this vision paper, we introduce Federated Foundation Models (FFMs) for embodied AI, a new paradigm that unifies the strengths of multi-modal multi-task (M3T) FMs with the privacy-preserving distributed nature of FL, enabling intelligent systems at the wireless edge. We collect critical deployment dimensions of FFMs in embodied AI ecosystems under a unified framework, which we name "EMBODY": Embodiment heterogeneity, Modality richness and imbalance, Bandwidth and compute constraints, On-device continual learning, Distributed control and autonomy, and Yielding safety, privacy, and personalization. For each, we identify concrete challenges and envision actionable research directions. We also present an evaluation framework for deploying FFMs in embodied AI systems, along with the associated trade-offs.
• Abstract（参考訳）: 具体化されたAIシステムがますますマルチモーダルになり、パーソナライズされ、インタラクティブになるにつれて、多様な感覚入力から効果的に学習し、ユーザの好みに継続的に適応し、リソースやプライバシの制約の下で安全に運用する必要があります。 これらの課題は、モデルの一般化とパーソナライゼーションのバランスを保ちながら、素早く、コンテキスト対応の適応が可能な機械学習モデルに対するプレッシャーなニーズを明らかにする。 ファンデーションモデル(FM)はタスクとモダリティをまたいで一般化するための経路を提供するのに対し、フェデレートラーニング(FL)は分散されたプライバシ保護モデル更新とユーザレベルのモデルパーソナライゼーションのためのインフラストラクチャを提供する。 しかし、単独で使用する場合、これらのアプローチは現実世界の具体化環境の複雑で多様な能力要件を満たすには不十分である。 本稿では,マルチモーダルマルチタスク(M3T)FMの長所をFLのプライバシ保存分散特性と統合し,無線エッジでのインテリジェントシステムを実現する新しいパラダイムである,AIのフェデレーションモデル(FFM)を紹介する。 Embodiment heterogeneity, Modality richness and unbalance, Bandwidth and compute constraints, On-device continual learning, Distributed control and autonomy, and Yielding safety, privacy, and Personalization。 それぞれ、具体的な課題を特定し、実行可能な研究の方向性を想定する。 また、具体化されたAIシステムにFFMをデプロイするための評価フレームワークと関連するトレードオフを提案する。

関連論文リスト

• FedPref: Federated Learning Across Heterogeneous Multi-objective Preferences [2.519319150166215]
  Federated Learning(FL)は、トレーニングデータが分散デバイスによって所有され、共有できない設定のために開発された分散機械学習戦略である。 FLの現実的な設定への応用は、参加者間の不均一性に関連する新たな課題をもたらします。 この設定でパーソナライズされたFLを促進するために設計された最初のアルゴリズムであるFedPrefを提案する。
  論文  参考訳（メタデータ） (2025-01-23T12:12:59Z)
• FedPAE: Peer-Adaptive Ensemble Learning for Asynchronous and Model-Heterogeneous Federated Learning [9.084674176224109]
  フェデレートラーニング(FL)は、分散データソースを持つ複数のクライアントが、データのプライバシを損なうことなく、共同で共有モデルをトレーニングすることを可能にする。 我々は、モデルの不均一性と非同期学習をサポートする完全分散pFLアルゴリズムであるFederated Peer-Adaptive Ensemble Learning (FedPAE)を紹介する。 提案手法では,ピアツーピアモデル共有機構とアンサンブル選択を用いて,局所情報とグローバル情報とのより洗練されたバランスを実現する。
  論文  参考訳（メタデータ） (2024-10-17T22:47:19Z)
• FedMoE: Personalized Federated Learning via Heterogeneous Mixture of Experts [4.412721048192925]
  我々は、データ不均一性に対処するための効率的パーソナライズされたFederated LearningフレームワークであるFedMoEを紹介する。 FedMoEは2つの微調整段階から構成されており、第1段階では、観測されたアクティベーションパターンに基づいて探索を行うことで問題を単純化する。 第2段階では、これらのサブモデルはさらなるトレーニングのためにクライアントに配布され、サーバ集約のために返される。
  論文  参考訳（メタデータ） (2024-08-21T03:16:12Z)
• Backpropagation-Free Multi-modal On-Device Model Adaptation via Cloud-Device Collaboration [37.456185990843515]
  ユニバーサルオンデバイスマルチモーダルモデル適応フレームワークを提案する。 このフレームワークは、クラウドにホストされるFast Domain Adaptor(FDA)を特徴とし、デバイス上の軽量マルチモーダルモデル用に調整されたパラメータを提供する。 私たちの貢献は、オンデバイスマルチモーダルモデル適応(DMMA)の先駆的なソリューションである。
  論文  参考訳（メタデータ） (2024-05-21T14:42:18Z)
• An Interactive Agent Foundation Model [49.77861810045509]
  本稿では,AIエージェントを訓練するための新しいマルチタスクエージェントトレーニングパラダイムを用いた対話型エージェント基礎モデルを提案する。 トレーニングパラダイムは、視覚マスク付きオートエンコーダ、言語モデリング、次世代の予測など、多様な事前学習戦略を統一する。 私たちは、ロボティクス、ゲームAI、ヘルスケアという3つの異なる領域でフレームワークのパフォーマンスを実演します。
  論文  参考訳（メタデータ） (2024-02-08T18:58:02Z)
• Delving into Multi-modal Multi-task Foundation Models for Road Scene Understanding: From Learning Paradigm Perspectives [56.2139730920855]
  本稿では,道路シーンに特化して設計されたMM-VUFMの系統解析について述べる。 本研究の目的は,タスク特化モデル,統合マルチモーダルモデル,統合マルチタスクモデル,基礎モデル推進技術など,共通プラクティスの包括的概要を提供することである。 我々は、クローズドループ駆動システム、解釈可能性、エンボディドドライブエージェント、世界モデルなど、重要な課題と今後のトレンドに関する洞察を提供する。
  論文  参考訳（メタデータ） (2024-02-05T12:47:09Z)
• Forging Vision Foundation Models for Autonomous Driving: Challenges, Methodologies, and Opportunities [59.02391344178202]
  ビジョンファウンデーションモデル(VFM)は、幅広いAIアプリケーションのための強力なビルディングブロックとして機能する。 総合的なトレーニングデータの不足、マルチセンサー統合の必要性、多様なタスク固有のアーキテクチャは、VFMの開発に重大な障害をもたらす。 本稿では、自動運転に特化したVFMを鍛造する上で重要な課題について述べるとともに、今後の方向性を概説する。
  論文  参考訳（メタデータ） (2024-01-16T01:57:24Z)
• NExT-GPT: Any-to-Any Multimodal LLM [75.5656492989924]
  我々は,NExT-GPTという汎用的なMM-LLMシステムを提案する。 NExT-GPTは入力を知覚し、テキスト、画像、ビデオ、オーディオの任意の組み合わせで出力を生成することができる。 モーダリティ・スイッチング・インストラクション・チューニング(MosIT)を導入し,複雑なモーダリティ・セマンティック・理解とコンテンツ生成によってNExT-GPTが強化されたMosITの高品質なデータセットを手作業でキュレートする。
  論文  参考訳（メタデータ） (2023-09-11T15:02:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。