論文の概要: Federated Learning with Incomplete Sensing Modalities

• arxiv url: http://arxiv.org/abs/2405.11828v1
• Date: Mon, 20 May 2024 06:53:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-05-21 13:53:58.490176
• Title: Federated Learning with Incomplete Sensing Modalities
• Title（参考訳）: 不完全なセンシングモダリティによるフェデレーション学習
• Authors: Adiba Orzikulova, Jaehyun Kwak, Jaemin Shin, Sung-Ju Lee,
• Abstract要約: 不完全なモジュラリティを持つマルチモーダルFLを実現するためのフレームワークであるFLISMを紹介する。 F1スコアでは平均.067が改善され、通信(2.69倍高速)と計算(2.28倍高速)のオーバーヘッドが削減された。 多数のタスクを含むシミュレーションシナリオでは、FLISMは通信速度が3.23x85.10x、計算効率が3.73x32.29xである。
• 参考スコア（独自算出の注目度）: 4.267536770557981
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many mobile sensing applications utilize data from various modalities, including motion and physiological sensors in mobile and wearable devices. Federated Learning (FL) is particularly suitable for these applications thanks to its privacy-preserving feature. However, challenges such as limited battery life, poor network conditions, and sensor malfunctions can restrict the use of all available modalities for local model training. Additionally, existing multimodal FL systems also struggle with scalability and efficiency as the number of modality sources increases. To address these issues, we introduce FLISM, a framework designed to enable multimodal FL with incomplete modalities. FLISM leverages simulation technique to learn robust representations that can handle missing modalities and transfers model knowledge across clients with varying set of modalities. The evaluation results using three real-world datasets and simulations demonstrate FLISM's effective balance between model performance and system efficiency. It shows an average improvement of .067 in F1-score, while also reducing communication (2.69x faster) and computational (2.28x more efficient) overheads compared to existing methods addressing incomplete modalities. Moreover, in simulated scenarios involving tasks with a larger number of modalities, FLISM achieves a significant speedup of 3.23x~85.10x in communication and 3.73x~32.29x in computational efficiency.
• Abstract（参考訳）: 多くのモバイルセンシングアプリケーションは、モバイルおよびウェアラブルデバイスにおけるモーションや生理的センサーなど、さまざまなモダリティのデータを活用している。 フェデレートラーニング(FL)は、プライバシー保護機能のおかげで、これらのアプリケーションに特に適しています。 しかし、バッテリ寿命の制限、ネットワーク条件の低さ、センサーの故障といった課題は、ローカルモデルトレーニングで利用可能なすべてのモダリティの使用を制限する可能性がある。 さらに、既存のマルチモーダルFLシステムは、モダリティ源の数が増えるにつれてスケーラビリティと効率性にも苦慮している。 これらの問題に対処するため,不完全なマルチモーダルFLを実現するためのフレームワークであるFLISMを紹介する。 FLISMはシミュレーション手法を利用して、欠落したモダリティを処理できる堅牢な表現を学習し、様々なモダリティセットを持つクライアント間でモデル知識を転送する。 3つの実世界のデータセットとシミュレーションによる評価結果は、FLISMのモデル性能とシステム効率の効果的なバランスを示す。 F1スコアでの.067の平均的な改善に加えて、通信(2.69倍高速)と計算(2.28倍高速)のオーバーヘッドを、不完全なモダリティに対処する既存の方法と比較して削減している。 さらに、多くのモダリティを持つタスクを含むシミュレーションシナリオでは、FLISMは通信速度が3.23x~85.10x、計算効率が3.73x~32.29xである。

関連論文リスト

• Hyperdimensional Computing Empowered Federated Foundation Model over Wireless Networks for Metaverse [56.384390765357004]
  本稿では,新しい基礎モデルのための統合型分割学習と超次元計算フレームワークを提案する。 この新しいアプローチは通信コスト、計算負荷、プライバシーリスクを低減し、Metaverseのリソース制約されたエッジデバイスに適している。
  論文  参考訳（メタデータ） (2024-08-26T17:03:14Z)
• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• Prioritizing Modalities: Flexible Importance Scheduling in Federated Multimodal Learning [5.421492821020181]
  Federated Learning(FL)は、デバイスがローカルデータを共有せずにモデルを協調的にトレーニングできる分散機械学習アプローチである。 FLを実世界のデータに適用することは、特に既存のFL研究が不正なデータに焦点を当てているため、課題を提示している。 我々は,各モードエンコーダのトレーニングリソースを適応的に割り当てることで,MFLにおける計算効率を向上させる新しい手法FlexModを提案する。
  論文  参考訳（メタデータ） (2024-08-13T01:14:27Z)
• Adaptive Hybrid Model Pruning in Federated Learning through Loss Exploration [17.589308358508863]
  我々は、フェデレートされた損失探索フェーズを利用して、適応型ハイブリッドプルーニングを駆動する革新的アプローチであるAutoFLIPを紹介する。 我々は,AutoFLIPがグローバルコンバージェンスを効率的に加速するだけでなく,従来の手法に比べて精度と堅牢性も向上することを示した。
  論文  参考訳（メタデータ） (2024-05-16T17:27:41Z)
• Multi-level Personalized Federated Learning on Heterogeneous and Long-Tailed Data [10.64629029156029]
  マルチレベル・パーソナライズド・フェデレーション・ラーニング(MuPFL)という革新的パーソナライズド・パーソナライズド・ラーニング・フレームワークを導入する。 MuPFLは3つの重要なモジュールを統合している: Biased Activation Value Dropout (BAVD), Adaptive Cluster-based Model Update (ACMU), Prior Knowledge-assisted Fine-tuning (PKCF)。 様々な実世界のデータセットの実験では、MuPFLは極端に非i.d.と長い尾の条件下であっても、最先端のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2024-05-10T11:52:53Z)
• FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
  FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。 ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。 最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
  論文  参考訳（メタデータ） (2024-02-13T20:04:39Z)
• Federated Meta-Learning for Few-Shot Fault Diagnosis with Representation Encoding [21.76802204235636]
  本稿では,数発の故障診断のための表現符号化ベースフェデレーションメタラーニング(REFML)を提案する。 REFMLは、トレーニングクライアントの固有の一般化を活用して、効果的に、アウト・オブ・ディストリビューションの利点に変換する。 同じ機器の非表示作業条件でテストすると2.17%-6.50%、全く見えない機器でテストすると13.44%-18.33%の精度で精度が向上する。
  論文  参考訳（メタデータ） (2023-10-13T10:48:28Z)
• FedMFS: Federated Multimodal Fusion Learning with Selective Modality Communication [11.254610576923204]
  選択的モーダル通信を用いたFedMFS(Federated Multimodal Fusion Learning)を提案する。 鍵となる考え方は、各デバイスに対するモダリティ選択基準の導入であり、(i)Shapley値解析によって測定されたモダリティの影響を重み付けし、(ii)モダリティモデルサイズを通信オーバーヘッドの指標とする。 実世界のActionSenseデータセットの実験では、FedMFSが複数のベースラインに匹敵する精度を達成し、通信オーバーヘッドを4倍に削減できることを示した。
  論文  参考訳（メタデータ） (2023-10-10T22:23:27Z)
• Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
  本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。 我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
  論文  参考訳（メタデータ） (2023-10-04T03:32:39Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• FwdLLM: Efficient FedLLM using Forward Gradient [8.520892692833293]
  FwdLLMはFedLLMの効率を高めるために設計された革新的なFLプロトコルである。 FwdLLMはバックプロパゲーション(BP)なしのトレーニング手法を採用しており、デバイスは摂動推論のみを実行する必要がある。
  論文  参考訳（メタデータ） (2023-08-26T14:36:30Z)
• Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
  本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。 ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。 実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-04T04:18:01Z)
• Asynchronous Multi-Model Dynamic Federated Learning over Wireless Networks: Theory, Modeling, and Optimization [20.741776617129208]
  分散機械学習(ML)の鍵となる技術として、フェデレートラーニング(FL)が登場した。 まず、システムパラメータが学習性能に与える影響を捉えるために、長方形のスケジューリングステップと関数を定式化する。 我々の分析は、デバイストレーニング変数と非同期スケジューリング決定の協調的影響に光を当てている。
  論文  参考訳（メタデータ） (2023-05-22T21:39:38Z)
• A Multi-agent Reinforcement Learning Approach for Efficient Client Selection in Federated Learning [17.55163940659976]
  Federated Learning(FL)は、クライアントデバイスが共有モデルを共同で学習することを可能にするトレーニングテクニックである。 モデル精度、処理遅延、通信効率を協調的に最適化する効率的なFLフレームワークを設計する。 実験により、FedMarlは処理遅延と通信コストを大幅に削減して、モデルの精度を大幅に改善できることが示された。
  論文  参考訳（メタデータ） (2022-01-09T05:55:17Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
  フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。 FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。 本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
  論文  参考訳（メタデータ） (2021-08-12T14:18:05Z)
• CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
  フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。 圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。 本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
  論文  参考訳（メタデータ） (2020-12-15T12:20:28Z)
• Optimization-driven Machine Learning for Intelligent Reflecting Surfaces Assisted Wireless Networks [82.33619654835348]
  インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。 散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。 本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
  論文  参考訳（メタデータ） (2020-08-29T08:39:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。