論文の概要: 3FM: Multi-modal Meta-learning for Federated Tasks
- arxiv url: http://arxiv.org/abs/2312.10179v1
- Date: Fri, 15 Dec 2023 20:03:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-19 18:14:02.825647
- Title: 3FM: Multi-modal Meta-learning for Federated Tasks
- Title(参考訳): 3FM: フェデレーションタスクのためのマルチモーダルメタ学習
- Authors: Minh Tran, Roochi Shah, Zejun Gong
- Abstract要約: マルチモーダルなフェデレーションタスクに特化して設計されたメタラーニングフレームワークを提案する。
当社のアプローチは,新たなモダリティに曝露した場合に,フェデレーションモデルによる堅牢な適応を可能にする必要性に起因している。
提案アルゴリズムは,欠落したモダリティシナリオのサブセットにおいて,ベースラインよりも優れた性能を実現することを示す。
- 参考スコア(独自算出の注目度): 2.117841684082203
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a novel approach in the domain of federated learning (FL),
particularly focusing on addressing the challenges posed by modality
heterogeneity, variability in modality availability across clients, and the
prevalent issue of missing data. We introduce a meta-learning framework
specifically designed for multimodal federated tasks. Our approach is motivated
by the need to enable federated models to robustly adapt when exposed to new
modalities, a common scenario in FL where clients often differ in the number of
available modalities. The effectiveness of our proposed framework is
demonstrated through extensive experimentation on an augmented MNIST dataset,
enriched with audio and sign language data. We demonstrate that the proposed
algorithm achieves better performance than the baseline on a subset of missing
modality scenarios with careful tuning of the meta-learning rates. This is a
shortened report, and our work will be extended and updated soon.
- Abstract(参考訳): 本稿では,統合学習(FL)分野における新しいアプローチについて述べる。特に,不均一性,クライアント間のモダリティ可用性の変動,欠落データの問題に対処することに焦点を当てる。
マルチモーダルなフェデレーションタスクに特化したメタラーニングフレームワークを提案する。
我々のアプローチは、クライアントが利用可能なモダリティの数でしばしば異なるFLの一般的なシナリオである新しいモダリティに晒されると、フェデレートされたモデルが堅牢に適応できるようにする必要性によって動機付けられています。
提案手法の有効性は,音声および手話データに富んだ拡張MNISTデータセットの広範な実験により実証される。
提案アルゴリズムは,メタ学習率を慎重に調整することで,欠落したモダリティシナリオのサブセット上でのベースラインよりも優れた性能を実現することを示す。
これは短縮レポートで、作業はまもなく拡張され、更新されます。
関連論文リスト
- Federated Multi-Task Learning on Non-IID Data Silos: An Experimental
Study [18.601886059536326]
FMTL(Federated Multi-Task Learning)アプローチは、Federated Learning(FL)とMulti-Task Learning(MTL)の利点を統合する。
本稿では,FMTLパラダイムの体系的評価のための新しいフレームワークFMTL-Benchを紹介する。
論文 参考訳(メタデータ) (2024-02-20T10:13:44Z) - Cross-Modal Prototype based Multimodal Federated Learning under Severely
Missing Modality [31.727012729846333]
MFCPL (Multimodal Federated Cross Prototype Learning) は、MFLにおいて、高度に欠落したモダリティの下での新たなアプローチである。
MFCPLは、モダリティ共有レベルにおいて、クロスモーダル正規化とクロスモーダルコントラスト機構を備えたモダリティ固有レベルと共に多様なモダリティ知識を提供する。
提案手法では,モーダリティに特有な特徴の正規化を実現するために,クロスモーダルアライメントを導入し,全体的な性能を向上させる。
論文 参考訳(メタデータ) (2024-01-25T02:25:23Z) - Multimodal Representation Learning by Alternating Unimodal Adaptation [79.9201824151389]
MLA(Multimodal Learning with Alternating Unimodal Adaptation)を提案する。
MLAは、それを交互に一助学習プロセスに変換することで、従来の共同マルチモーダル学習プロセスを再構築する。
共有ヘッドを通じてモーダル間相互作用をキャプチャし、異なるモーダル間で連続的な最適化を行う。
推論フェーズの間、MLAはテスト時間不確実性に基づくモデル融合機構を使用して、マルチモーダル情報を統合する。
論文 参考訳(メタデータ) (2023-11-17T18:57:40Z) - Exploiting Modality-Specific Features For Multi-Modal Manipulation
Detection And Grounding [54.49214267905562]
マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。
本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。
本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
論文 参考訳(メタデータ) (2023-09-22T06:55:41Z) - FedDAT: An Approach for Foundation Model Finetuning in Multi-Modal
Heterogeneous Federated Learning [37.96957782129352]
我々はFederated Dual-Aadapter Teacher(Fed DAT)と呼ばれる異種マルチモーダル基礎モデルに適した微調整フレームワークを提案する。
Fed DATは、クライアントのローカル更新を規則化し、MKD(Mutual Knowledge Distillation)を効率的な知識伝達に適用することで、データの均一性に対処する。
その有効性を示すために、異なる種類のデータ不均一性を持つ4つの多モードFLベンチマークについて広範な実験を行った。
論文 参考訳(メタデータ) (2023-08-21T21:57:01Z) - Learning Unseen Modality Interaction [54.23533023883659]
マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。
我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。
異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
論文 参考訳(メタデータ) (2023-06-22T10:53:10Z) - Multimodal Federated Learning via Contrastive Representation Ensemble [17.08211358391482]
フェデレーテッド・ラーニング(FL)は、集中型機械学習に代わるプライバシ意識の代替手段として機能する。
既存のFLメソッドはすべて、モデルアグリゲーションを単一のモダリティレベルに依存している。
マルチモーダルFL(CreamFL)のためのコントラスト表現アンサンブルとアグリゲーションを提案する。
論文 参考訳(メタデータ) (2023-02-17T14:17:44Z) - Deep Multimodal Fusion for Generalizable Person Re-identification [15.250738959921872]
DMF(ディープ・マルチモーダル・フュージョン)は、個人再識別タスクの一般的なシナリオのためのディープ・マルチモーダル・フュージョン・ネットワークである。
事前学習段階における特徴表現学習を支援するために、リッチな意味知識が導入される。
実世界の分散アライメントのための事前訓練されたモデルを微調整するために、現実的なデータセットが採用されている。
論文 参考訳(メタデータ) (2022-11-02T07:42:48Z) - Learning Prototype-oriented Set Representations for Meta-Learning [85.19407183975802]
集合構造データから学ぶことは、近年注目を集めている根本的な問題である。
本稿では,既存の要約ネットワークを改善するための新しい最適輸送方式を提案する。
さらに、少数ショット分類と暗黙的メタ生成モデリングの事例にインスタンス化する。
論文 参考訳(メタデータ) (2021-10-18T09:49:05Z) - Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。
タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。
実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
論文 参考訳(メタデータ) (2021-06-04T20:15:34Z) - Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。
また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
論文 参考訳(メタデータ) (2020-12-01T11:46:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。