論文の概要: Federated Learning in Big Model Era: Domain-Specific Multimodal Large
Models
- arxiv url: http://arxiv.org/abs/2308.11217v2
- Date: Wed, 23 Aug 2023 06:17:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-24 11:10:58.811329
- Title: Federated Learning in Big Model Era: Domain-Specific Multimodal Large
Models
- Title（参考訳）: ビッグデータ時代のフェデレーション学習:ドメイン特有なマルチモーダル大モデル
- Authors: Zengxiang Li and Zhaoxiang Hou and Hui Liu and Ying Wang and Tongzhi
Li and Longfei Xie and Chao Shi and Chengyi Yang and Weishan Zhang and Zelei
Liu
- Abstract要約: 物理的な世界を包括的に知覚し、認識できるマルチモーダルデータは、汎用人工知能にとって不可欠な道のりとなっている。
本稿では、複数の企業がプライベートドメインデータを利用して、垂直ドメインの大規模モデルを訓練できるマルチモーダル・フェデレート学習フレームワークを提案する。
予備的な実験により、企業はマルチモーダルモデルフェデレーション学習を通じてインテリジェントな能力を強化し、蓄積することができる。
- 参考スコア（独自算出の注目度）: 10.296334404702781
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal data, which can comprehensively perceive and recognize the
physical world, has become an essential path towards general artificial
intelligence. However, multimodal large models trained on public datasets often
underperform in specific industrial domains. This paper proposes a multimodal
federated learning framework that enables multiple enterprises to utilize
private domain data to collaboratively train large models for vertical domains,
achieving intelligent services across scenarios. The authors discuss in-depth
the strategic transformation of federated learning in terms of intelligence
foundation and objectives in the era of big model, as well as the new
challenges faced in heterogeneous data, model aggregation, performance and cost
trade-off, data privacy, and incentive mechanism. The paper elaborates a case
study of leading enterprises contributing multimodal data and expert knowledge
to city safety operation management , including distributed deployment and
efficient coordination of the federated learning platform, technical
innovations on data quality improvement based on large model capabilities and
efficient joint fine-tuning approaches. Preliminary experiments show that
enterprises can enhance and accumulate intelligent capabilities through
multimodal model federated learning, thereby jointly creating an smart city
model that provides high-quality intelligent services covering energy
infrastructure safety, residential community security, and urban operation
management. The established federated learning cooperation ecosystem is
expected to further aggregate industry, academia, and research resources,
realize large models in multiple vertical domains, and promote the large-scale
industrial application of artificial intelligence and cutting-edge research on
multimodal federated learning.
- Abstract（参考訳）: 物理的世界を包括的に認識し認識できるマルチモーダルデータは、汎用人工知能への必須経路となっている。
しかし、パブリックデータセットでトレーニングされたマルチモーダルな大規模モデルは、特定の産業領域では性能が劣ることが多い。
本稿では、複数の企業がプライベートドメインデータを利用して、垂直ドメインのための大規模モデルを協調的にトレーニングし、シナリオをまたいだインテリジェントなサービスを実現するマルチモーダルフェデレーション学習フレームワークを提案する。
著者らは、ヘテロジニアスデータ、モデルアグリゲーション、パフォーマンスとコストのトレードオフ、データプライバシ、インセンティブメカニズムにおいて直面する新たな課題と同様に、ビッグデータ時代のインテリジェンス基盤と目的の観点から、フェデレーション学習の戦略的変革について詳細に論じている。
本稿では,分散配置やフェデレート学習プラットフォームの効率的な調整,大規模モデル能力に基づくデータ品質向上に関する技術的革新,効率的な統合微調整アプローチなど,都市安全運用管理にマルチモーダルデータと専門家知識を寄与する大企業のケーススタディを詳述する。
予備実験により、企業はマルチモーダルモデルフェデレーション学習を通じてインテリジェントな能力を増強し蓄積することができ、エネルギーインフラの安全性、住宅コミュニティのセキュリティ、都市運営管理を含む高品質なインテリジェントサービスを提供するスマートシティモデルを共同で作成できることが示された。
確立されたフェデレーション学習連携エコシステムは、産業、学界、研究資源を更に集約し、複数の垂直領域における大規模モデルを実現し、人工知能の大規模産業応用とマルチモーダルフェデレーション学習の最先端研究を促進することが期待されている。
関連論文リスト
- Big Cooperative Learning [7.958840888809145]
基礎モデルのトレーニングは,大きな協調学習の一形態として解釈できることを示す。
本稿では,多目的データサンプリング機能を備えた新しい逆学習基盤モデルであるBigLearn-GANを提案する。
論文 参考訳（メタデータ） (2024-07-31T03:59:14Z) - Generative AI like ChatGPT in Blockchain Federated Learning: use cases, opportunities and future [4.497001527881303]
本研究は、フェデレーション学習における生成AIの潜在的な統合について検討する。
GAN(generative adversarial Network)とVAE(variantal autoencoder)
合成データの生成は、限られたデータ可用性に関連する課題に、フェデレートされた学習を支援する。
論文 参考訳（メタデータ） (2024-07-25T19:43:49Z) - HEMM: Holistic Evaluation of Multimodal Foundation Models [91.60364024897653]
マルチモーダル・ファンデーション・モデルは、画像、ビデオ、オーディオ、その他の知覚モダリティと共にテキストをホリスティックに処理することができる。
モデリング決定、タスク、ドメインの範囲を考えると、マルチモーダル基盤モデルの進歩を特徴づけ、研究することは困難である。
論文 参考訳（メタデータ） (2024-07-03T18:00:48Z) - From Efficient Multimodal Models to World Models: A Survey [28.780451336834876]
マルチモーダル大規模モデル(MLM)は、強力な言語モデルとマルチモーダル学習を組み合わせた重要な研究対象となっている。
このレビューでは、人工知能の実現におけるその可能性を強調し、大規模指導における最新の発展と課題について考察する。
論文 参考訳（メタデータ） (2024-06-27T15:36:43Z) - PIN: A Knowledge-Intensive Dataset for Paired and Interleaved Multimodal Documents [58.35492519636351]
PINフォーマットは、知識の強度、スケーラビリティ、多様なトレーニングモダリティのサポートの3つの基本原則に基づいて構築されている。
PIN-14Mは中国語と英語の多種多様な情報源から得られた1400万のサンプルからなるオープンソースデータセットである。
論文 参考訳（メタデータ） (2024-06-20T01:43:08Z) - An Interactive Agent Foundation Model [49.77861810045509]
本稿では,AIエージェントを訓練するための新しいマルチタスクエージェントトレーニングパラダイムを用いた対話型エージェント基礎モデルを提案する。
トレーニングパラダイムは、視覚マスク付きオートエンコーダ、言語モデリング、次世代の予測など、多様な事前学習戦略を統一する。
私たちは、ロボティクス、ゲームAI、ヘルスケアという3つの異なる領域でフレームワークのパフォーマンスを実演します。
論文 参考訳（メタデータ） (2024-02-08T18:58:02Z) - Delving into Multi-modal Multi-task Foundation Models for Road Scene Understanding: From Learning Paradigm Perspectives [56.2139730920855]
本稿では,道路シーンに特化して設計されたMM-VUFMの系統解析について述べる。
本研究の目的は,タスク特化モデル,統合マルチモーダルモデル,統合マルチタスクモデル,基礎モデル推進技術など,共通プラクティスの包括的概要を提供することである。
我々は、クローズドループ駆動システム、解釈可能性、エンボディドドライブエージェント、世界モデルなど、重要な課題と今後のトレンドに関する洞察を提供する。
論文 参考訳（メタデータ） (2024-02-05T12:47:09Z) - Multimodal Federated Learning via Contrastive Representation Ensemble [17.08211358391482]
フェデレーテッド・ラーニング(FL)は、集中型機械学習に代わるプライバシ意識の代替手段として機能する。
既存のFLメソッドはすべて、モデルアグリゲーションを単一のモダリティレベルに依存している。
マルチモーダルFL(CreamFL)のためのコントラスト表現アンサンブルとアグリゲーションを提案する。
論文 参考訳（メタデータ） (2023-02-17T14:17:44Z) - Heterogeneous Ensemble Knowledge Transfer for Training Large Models in
Federated Learning [22.310090483499035]
フェデレートラーニング(FL)は、エッジデバイスがプライベートデータを中央集約サーバに公開することなく、協調的にモデルを学習することを可能にする。
既存のFLアルゴリズムの多くは、クライアントとサーバにまたがってデプロイされるのと同じアーキテクチャのモデルを必要とする。
本稿では,Fed-ETと呼ばれる新しいアンサンブル知識伝達手法を提案する。
論文 参考訳（メタデータ） (2022-04-27T05:18:32Z) - DIME: Fine-grained Interpretations of Multimodal Models via Disentangled
Local Explanations [119.1953397679783]
我々は,マルチモーダルモデルの解釈における最先端化に注力する。
提案手法であるDIMEは,マルチモーダルモデルの高精度かつきめ細かな解析を可能にする。
論文 参考訳（メタデータ） (2022-03-03T20:52:47Z) - INTERN: A New Learning Paradigm Towards General Vision [117.3343347061931]
我々はInterNという新しい学習パラダイムを開発した。
複数の段階の複数のソースからの監視信号を用いて学習することにより、トレーニング対象のモデルは強力な一般化性を生み出す。
ほとんどの場合、ターゲットドメインのトレーニングデータの10%しか適応していないモデルが、完全なデータセットでトレーニングされたトレーニングデータよりも優れています。
論文 参考訳（メタデータ） (2021-11-16T18:42:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。