論文の概要: FedMultimodal: A Benchmark For Multimodal Federated Learning

• arxiv url: http://arxiv.org/abs/2306.09486v2
• Date: Tue, 20 Jun 2023 20:26:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 16:44:49.972443
• Title: FedMultimodal: A Benchmark For Multimodal Federated Learning
• Title（参考訳）: FedMultimodal: マルチモーダルなフェデレート学習のためのベンチマーク
• Authors: Tiantian Feng and Digbalay Bose and Tuo Zhang and Rajat Hebbar and Anil Ramakrishna and Rahul Gupta and Mi Zhang and Salman Avestimehr and Shrikanth Narayanan
• Abstract要約: フェデレートラーニング(FL)は、データプライバシの課題に取り組むための、新たな機械学習技術になりつつある。 コンピュータビジョン、オーディオ、自然言語処理などの分野でFLに多大な努力を払っているにもかかわらず、マルチモーダルデータストリームを利用したFLアプリケーションは、ほとんど探索されていない。 FedMultimodalは10個の一般的なデータセットから5つの代表的マルチモーダルアプリケーションをカバーするマルチモーダル学習のための最初のFLベンチマークである。
• 参考スコア（独自算出の注目度）: 45.0258566979478
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Over the past few years, Federated Learning (FL) has become an emerging machine learning technique to tackle data privacy challenges through collaborative training. In the Federated Learning algorithm, the clients submit a locally trained model, and the server aggregates these parameters until convergence. Despite significant efforts that have been made to FL in fields like computer vision, audio, and natural language processing, the FL applications utilizing multimodal data streams remain largely unexplored. It is known that multimodal learning has broad real-world applications in emotion recognition, healthcare, multimedia, and social media, while user privacy persists as a critical concern. Specifically, there are no existing FL benchmarks targeting multimodal applications or related tasks. In order to facilitate the research in multimodal FL, we introduce FedMultimodal, the first FL benchmark for multimodal learning covering five representative multimodal applications from ten commonly used datasets with a total of eight unique modalities. FedMultimodal offers a systematic FL pipeline, enabling end-to-end modeling framework ranging from data partition and feature extraction to FL benchmark algorithms and model evaluation. Unlike existing FL benchmarks, FedMultimodal provides a standardized approach to assess the robustness of FL against three common data corruptions in real-life multimodal applications: missing modalities, missing labels, and erroneous labels. We hope that FedMultimodal can accelerate numerous future research directions, including designing multimodal FL algorithms toward extreme data heterogeneity, robustness multimodal FL, and efficient multimodal FL. The datasets and benchmark results can be accessed at: https://github.com/usc-sail/fed-multimodal.
• Abstract（参考訳）: 過去数年間、フェデレートラーニング(FL)は、コラボレーティブトレーニングを通じてデータプライバシの課題に取り組むための、新たな機械学習技術になりつつある。 フェデレーション学習アルゴリズムでは、クライアントはローカルにトレーニングされたモデルを提出し、サーバは収束するまでこれらのパラメータを集約する。 コンピュータビジョン、オーディオ、自然言語処理などの分野におけるflへの多大な努力にもかかわらず、マルチモーダルデータストリームを利用したflアプリケーションはほとんど未調査のままである。 マルチモーダル学習は、感情認識、医療、マルチメディア、ソーシャルメディアにおいて幅広い現実世界の応用が知られているが、ユーザーのプライバシーは依然として重要な関心事となっている。 具体的には、マルチモーダルアプリケーションや関連するタスクをターゲットにした既存のFLベンチマークはない。 マルチモーダルflの研究を容易にするために,10個のデータセットから5つの代表的マルチモーダルアプリケーションをカバーする,8つのユニークなモダリティを持つマルチモーダル学習のための最初のflベンチマークであるfeed multimodalを導入する。 fedmultimodalは系統的なflパイプラインを提供し、データ分割や特徴抽出からflベンチマークアルゴリズムやモデル評価まで、エンドツーエンドのモデリングフレームワークを可能にする。 既存のflベンチマークとは異なり、feedmultimodalは実生活のマルチモーダルアプリケーションにおける3つの一般的なデータ破損に対するflの堅牢性を評価するための標準化されたアプローチを提供する。 我々はFedMultimodalが、極端なデータ不均一性、頑健性のあるマルチモーダルFL、効率的なマルチモーダルFLに向けた多モーダルFLアルゴリズムを設計するなど、将来多くの研究方向を加速できることを期待している。 データセットとベンチマークの結果は、https://github.com/usc-sail/fed-multimodal.comで参照できる。

関連論文リスト

• FedMLLM: Federated Fine-tuning MLLM on Multimodal Heterogeneity Data [64.50893177169996]
  フェデレートラーニング(FL)による微調整型マルチモーダル大言語モデル(MLLM)は、プライベートデータソースを含めることで、トレーニングデータの範囲を拡大することができる。 マルチモーダルなヘテロジニアスシナリオにおけるMLLMのファインチューニングにおける様々なダウンストリームタスクを評価するためのベンチマークを提案する。 我々は,2つのモダリティに依存しない戦略とともに,4つの代表的FL手法を統合する汎用FedMLLMフレームワークを開発した。
  論文  参考訳（メタデータ） (2024-11-22T04:09:23Z)
• FedModule: A Modular Federated Learning Framework [5.872098693249397]
  フェデレートラーニング(FL)は、医療、金融、スマートシティなど、さまざまな分野で広く採用されている。 本稿では,フレキシブルかつFLな実験フレームワークであるFedModuleを紹介する。 FedModuleは"1つのコード、すべてのシナリオ"の原則に準拠し、FLプロセスを個々のコンポーネントに分割するモジュール設計を採用しています。
  論文  参考訳（メタデータ） (2024-09-07T15:03:12Z)
• FedMEKT: Distillation-based Embedding Knowledge Transfer for Multimodal Federated Learning [42.84295556492631]
  フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、汎用グローバルモデルを共同でトレーニングするための分散機械学習パラダイムを可能にする。 既存のほとんどの研究は、単一モーダルデータのための典型的なFLシステムを提案しており、将来のパーソナライズされたアプリケーションのために価値あるマルチモーダルデータを利用する可能性を制限する。 本稿では,様々なモダリティから表現を活用すべく,半教師付き学習アプローチを用いた新しいマルチモーダルFLフレームワークを提案する。 この概念をシステムに組み込むことで,小型マルチモーダルから抽出した学習モデルの連関知識をサーバとクライアントが交換できる蒸留型多モーダル埋め込み知識伝達機構であるFedMEKTを開発した。
  論文  参考訳（メタデータ） (2023-07-25T02:55:33Z)
• FedWon: Triumphing Multi-domain Federated Learning Without Normalization [50.49210227068574]
  フェデレートラーニング(FL)は、分散クライアントでの協調的なインサイトトレーニングによって、データのプライバシを高める。 しかし、フェデレーテッド・ラーニング(FL)は、非独立で同一に分散された(非i.d)データのために困難に直面する。 本稿では,FLにおける多領域問題に対処するため,FedWon(Federated Learning Without normalizations)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-09T13:18:50Z)
• Unimodal Training-Multimodal Prediction: Cross-modal Federated Learning with Hierarchical Aggregation [16.308470947384134]
  HA-Fedformerは新しいトランスフォーマーベースのモデルで、クライアントでのアンモダルデータセットのみを使用して、単一モダルトレーニングを可能にする。 我々は,マルコフ連鎖モンテカルロサンプリングを用いた局所エンコーダの不確実性を考慮したアグリゲーション法を開発した。 一般的な感情分析ベンチマークであるCMU-MOSIとCMU-MOSEIの実験は、HA-Fedformerが最先端のマルチモーダルモデルを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2023-03-27T07:07:33Z)
• FS-Real: Towards Real-World Cross-Device Federated Learning [60.91678132132229]
  Federated Learning (FL)は、ローカルデータをアップロードすることなく、分散クライアントと協調して高品質なモデルをトレーニングすることを目的としている。 FL研究と実世界のシナリオの間には依然としてかなりのギャップがあり、主に異種デバイスの特徴とそのスケールによって引き起こされている。 本稿では,実世界横断デバイスFL,FS-Realのための効率的でスケーラブルなプロトタイピングシステムを提案する。
  論文  参考訳（メタデータ） (2023-03-23T15:37:17Z)
• Multimodal Federated Learning via Contrastive Representation Ensemble [17.08211358391482]
  フェデレーテッド・ラーニング(FL)は、集中型機械学習に代わるプライバシ意識の代替手段として機能する。 既存のFLメソッドはすべて、モデルアグリゲーションを単一のモダリティレベルに依存している。 マルチモーダルFL(CreamFL)のためのコントラスト表現アンサンブルとアグリゲーションを提案する。
  論文  参考訳（メタデータ） (2023-02-17T14:17:44Z)
• FLamby: Datasets and Benchmarks for Cross-Silo Federated Learning in Realistic Healthcare Settings [51.09574369310246]
  Federated Learning(FL)は、センシティブなデータを保持している複数のクライアントが協力して機械学習モデルをトレーニングできる新しいアプローチである。 本稿では,医療分野に重点を置くクロスサイロ・データセット・スイートFLambyを提案し,クロスサイロ・FLの理論と実践のギャップを埋める。 私たちのフレキシブルでモジュラーなスイートによって、研究者は簡単にデータセットをダウンロードし、結果を再現し、研究のためにさまざまなコンポーネントを再利用することができます。
  論文  参考訳（メタデータ） (2022-10-10T12:17:30Z)
• Multi-Center Federated Learning [62.32725938999433]
  フェデレートラーニング(FL)は、分散ラーニングにおけるデータのプライバシを保護する。 単にデータにアクセスせずに、ユーザーからローカルな勾配を収集するだけだ。 本稿では,新しいマルチセンターアグリゲーション機構を提案する。
  論文  参考訳（メタデータ） (2021-08-19T12:20:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。