論文の概要: Federated Transfer Learning with Multimodal Data

• arxiv url: http://arxiv.org/abs/2209.03137v1
• Date: Mon, 5 Sep 2022 22:26:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-08 12:01:02.859626
• Title: Federated Transfer Learning with Multimodal Data
• Title（参考訳）: マルチモーダルデータを用いたフェデレーション転送学習
• Authors: Yulian Sun
• Abstract要約: 新たに提案されたFederated Transfer Learningフレームワークは、データアイランドをプライバシ保護と接続することを目的としている。 2種類のユーザに対して,異なるが本質的に接続されたトレーニング手法を2つ使用しています。 Transfer Learningの大部分は第3ステップで行われ、前のステップから得られたネットワーク内の関連部分が集約される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Smart cars, smartphones and other devices in the Internet of Things (IoT), which usually have more than one sensors, produce multimodal data. Federated Learning supports collecting a wealth of multimodal data from different devices without sharing raw data. Transfer Learning methods help transfer knowledge from some devices to others. Federated Transfer Learning methods benefit both Federated Learning and Transfer Learning. This newly proposed Federated Transfer Learning framework aims at connecting data islands with privacy protection. Our construction is based on Federated Learning and Transfer Learning. Compared with previous Federated Transfer Learnings, where each user should have data with identical modalities (either all unimodal or all multimodal), our new framework is more generic, it allows a hybrid distribution of user data. The core strategy is to use two different but inherently connected training methods for our two types of users. Supervised Learning is adopted for users with only unimodal data (Type 1), while Self-Supervised Learning is applied to user with multimodal data (Type 2) for both the feature of each modality and the connection between them. This connection knowledge of Type 2 will help Type 1 in later stages of training. Training in the new framework can be divided in three steps. In the first step, users who have data with the identical modalities are grouped together. For example, user with only sound signals are in group one, and those with only images are in group two, and users with multimodal data are in group three, and so on. In the second step, Federated Learning is executed within the groups, where Supervised Learning and Self-Supervised Learning are used depending on the group's nature. Most of the Transfer Learning happens in the third step, where the related parts in the network obtained from the previous steps are aggregated (federated).
• Abstract（参考訳）: スマートカー、スマートフォン、IoT(Internet of Things)の他のデバイスは、通常複数のセンサーを持ち、マルチモーダルデータを生成する。 Federated Learningは、さまざまなデバイスから豊富なマルチモーダルデータを収集するのをサポートする。 伝達学習法は、あるデバイスから他のデバイスへ知識を伝達するのに役立つ。 フェデレーション・トランスファー・ラーニング(Federated Transfer Learning)は、フェデレーション・ラーニングとフェデレーション・ラーニングの両方に効果がある。 この新しく提案されたフェデレーション転送学習フレームワークは、データ島とプライバシ保護をつなぐことを目的としている。 私たちの構築は連合学習と転校学習に基づいている。 従来のフェデレーテッド・トランスファー・ラーニング(Federated Transfer Learnings)と比較すると、各ユーザが同じモダリティを持つデータ(すべてのunimodalまたはすべてのマルチモーダル)を持つべきであるが、私たちの新しいフレームワークはより汎用的で、ユーザデータのハイブリッドな分散を可能にしている。 コア戦略は、2種類のユーザに対して、異なるが本質的に接続されたトレーニング方法を使用することです。 教師あり学習はユニモーダルデータのみを持つユーザ(タイプ1)に採用され、自己教師あり学習はマルチモーダルデータ(タイプ2)を持つユーザに対して、各モダリティの特徴とそれらの接続の両方に適用される。 タイプ2の接続知識は、後期のトレーニングにおいてタイプ1の助けとなる。 新しいフレームワークでのトレーニングは3つのステップに分けられる。 最初のステップでは、同一のモダリティを持つデータを持つユーザをグループ化する。 例えば、音声信号のみのユーザはグループ1、画像のみのユーザはグループ2、マルチモーダルデータを持つユーザはグループ3などである。 第2のステップでは、連合学習がグループ内で実行され、グループの性質に応じて教師付き学習と自己教師付き学習が使用される。 転送学習の大部分は、前回のステップから得られたネットワーク内の関連部分を集約(フェデレート)した第3のステップで行われる。

関連論文リスト

• Cross-Modal Few-Shot Learning: a Generative Transfer Learning Framework [58.362064122489166]
  本稿では,複数モーダルからインスタンスを識別するクロスモーダルなFew-Shot Learningタスクを提案する。 本稿では,1つの段階からなる生成的転帰学習フレームワークを提案する。1つは豊富な一助データに対する学習を伴い,もう1つは新しいデータに適応するための転帰学習に焦点を当てる。 以上の結果から,GTLは4つの異なるマルチモーダルデータセット間の最先端手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-14T16:09:38Z)
• Unimodal Training-Multimodal Prediction: Cross-modal Federated Learning with Hierarchical Aggregation [16.308470947384134]
  HA-Fedformerは新しいトランスフォーマーベースのモデルで、クライアントでのアンモダルデータセットのみを使用して、単一モダルトレーニングを可能にする。 我々は,マルコフ連鎖モンテカルロサンプリングを用いた局所エンコーダの不確実性を考慮したアグリゲーション法を開発した。 一般的な感情分析ベンチマークであるCMU-MOSIとCMU-MOSEIの実験は、HA-Fedformerが最先端のマルチモーダルモデルを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2023-03-27T07:07:33Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Multimodal Federated Learning [9.081857621783811]
  IoTデバイスを備えたスマートホームなど、多くのアプリケーションでは、クライアント上のローカルデータは、さまざまなモダリティから生成される。 既存のフェデレーション学習システムは、単一のモダリティからのローカルデータのみを扱うため、システムのスケーラビリティが制限される。 本稿では,クライアント上で異なるローカルデータモダリティから共有あるいは相関表現を抽出するよう,オートエンコーダを訓練するマルチモーダル・セミ教師付きフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-10T12:32:46Z)
• Federated Learning-based Active Authentication on Mobile Devices [98.23904302910022]
  モバイルデバイス上のユーザアクティブ認証は、デバイスセンサ情報に基づいて登録ユーザを正しく認識できるモデルを学ぶことを目的としている。 Federated Active Authentication (FAA) と呼ばれる新しいユーザーアクティブ認証トレーニングを提案します。 既存のFL/SL法は,同質に分散するデータに依存するため,FAAにとって最適ではないことを示す。
  論文  参考訳（メタデータ） (2021-04-14T22:59:08Z)
• Federated Learning: A Signal Processing Perspective [144.63726413692876]
  フェデレーションラーニングは、データを明示的に交換することなく、ローカルデータセットを保持する複数のエッジデバイスでモデルをトレーニングするための新しい機械学習パラダイムです。 本稿では、信号処理ツールを用いて扱うのが自然である主な課題をカプセル化し、強調する、連合学習のための統一的な体系的フレームワークを提供する。
  論文  参考訳（メタデータ） (2021-03-31T15:14:39Z)
• Constrained Differentially Private Federated Learning for Low-bandwidth Devices [1.1470070927586016]
  本稿では,新しいプライバシー保護型連合学習方式を提案する。 これは、差分プライバシーに基づく理論上のプライバシー保証を提供する。 上流と下流の帯域幅を標準のフェデレート学習と比較して最大99.9%削減する。
  論文  参考訳（メタデータ） (2021-02-27T22:25:06Z)
• Multi-modal AsynDGAN: Learn From Distributed Medical Image Data without Sharing Private Information [55.866673486753115]
  プライバシーとセキュリティを守るために拡張可能で弾力性のある学習フレームワークを提案します。 提案するフレームワークは分散Asynchronized Discriminator Generative Adrial Networks (AsynDGAN) である。
  論文  参考訳（メタデータ） (2020-12-15T20:41:24Z)
• Data-Free Knowledge Amalgamation via Group-Stack Dual-GAN [80.17705319689139]
  複数のシングルタスク/マルチタスクの教師から,多タスクの学生ネットワークを構築するために,データフリーな知識アマルガメート戦略を提案する。 トレーニングデータを持たない提案手法は, フル教師付き手法と比較して, 驚くほど競争力のある結果が得られる。
  論文  参考訳（メタデータ） (2020-03-20T03:20:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。