論文の概要: SEMFED: Semantic-Aware Resource-Efficient Federated Learning for Heterogeneous NLP Tasks

• arxiv url: http://arxiv.org/abs/2505.23801v1
• Date: Mon, 26 May 2025 20:58:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.51409
• Title: SEMFED: Semantic-Aware Resource-Efficient Federated Learning for Heterogeneous NLP Tasks
• Title（参考訳）: SEMFED:不均質なNLPタスクのためのセマンティック・アウェア・リソース効率の高いフェデレーションラーニング
• Authors: Sajid Hussain, Muhammad Sohail, Nauman Ali Khan,
• Abstract要約: 本稿では,異種NLPタスクに特化して設計されたセマンティック・アウェア・リソース効率のフェデレーション学習フレームワークであるSEMFEDを紹介する。 SEMFEDは,1) セマンティック多様性とリソース制約のバランスをとるセマンティック・アウェア・クライアント選択機構,2) セマンティック情報を保存しながらデバイス機能に適合する適応NLP特化モデルアーキテクチャ,3) 帯域幅の要求を著しく低減する通信効率のよいセマンティック・特徴圧縮技術である。
• 参考スコア（独自算出の注目度）: 0.5461938536945723
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Background: Federated Learning (FL) has emerged as a promising paradigm for training machine learning models while preserving data privacy. However, applying FL to Natural Language Processing (NLP) tasks presents unique challenges due to semantic heterogeneity across clients, vocabulary mismatches, and varying resource constraints on edge devices. Objectives: This paper introduces SEMFED, a novel semantic-aware resource-efficient federated learning framework specifically designed for heterogeneous NLP tasks. Methods: SEMFED incorporates three key innovations: (1) a semantic-aware client selection mechanism that balances semantic diversity with resource constraints, (2) adaptive NLP-specific model architectures tailored to device capabilities while preserving semantic information, and (3) a communication-efficient semantic feature compression technique that significantly reduces bandwidth requirements. Results: Experimental results on various NLP classification tasks demonstrate that SEMFED achieves an 80.5% reduction in communication costs while maintaining model accuracy above 98%, outperforming state-of-the-art FL approaches. Conclusion: SEMFED effectively manages heterogeneous client environments with varying computational resources, network reliability, and semantic data distributions, making it particularly suitable for real-world federated NLP deployments.
• Abstract（参考訳）: 背景: フェデレートラーニング(FL)は、データのプライバシを保ちながら機械学習モデルをトレーニングするための有望なパラダイムとして登場した。 しかし、FLを自然言語処理(NLP)タスクに適用することは、クライアント間のセマンティックな不均一性、語彙ミスマッチ、エッジデバイス上でのリソース制約の変化など、ユニークな課題を示す。 目的: 異種NLPタスクに特化して設計されたセマンティック・アウェアなリソース効率のフェデレーション学習フレームワークであるSEMFEDを紹介する。 方法: SEMFEDは,(1)リソース制約とセマンティック多様性のバランスをとるセマンティック・アウェア・クライアント選択機構,(2)セマンティック情報を保存しながらデバイス機能に適合する適応NLP特化モデルアーキテクチャ,(3)帯域幅の要求を著しく低減する通信効率なセマンティック特徴圧縮技術,の3つの革新を取り入れている。 結果: 各種NLP分類タスクの実験結果から, SEMFEDは98%以上のモデル精度を維持しつつ通信コストの80.5%削減を実現し, 最先端のFL手法よりも優れていた。 結論: SEMFEDは、様々な計算資源、ネットワーク信頼性、セマンティックデータ分布を持つ異種クライアント環境を効果的に管理し、現実世界のNLPデプロイメントに特に適している。

関連論文リスト

• FedPref: Federated Learning Across Heterogeneous Multi-objective Preferences [2.519319150166215]
  Federated Learning(FL)は、トレーニングデータが分散デバイスによって所有され、共有できない設定のために開発された分散機械学習戦略である。 FLの現実的な設定への応用は、参加者間の不均一性に関連する新たな課題をもたらします。 この設定でパーソナライズされたFLを促進するために設計された最初のアルゴリズムであるFedPrefを提案する。
  論文  参考訳（メタデータ） (2025-01-23T12:12:59Z)
• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• Non-Federated Multi-Task Split Learning for Heterogeneous Sources [17.47679789733922]
  異種データソースのマルチタスク学習を効率的に行うための新しいアーキテクチャと方法論を提案する。 MTSLは,サーバとクライアントの学習率を調整することで,高速収束を実現することができることを示す。
  論文  参考訳（メタデータ） (2024-05-31T19:27:03Z)
• Filling the Missing: Exploring Generative AI for Enhanced Federated Learning over Heterogeneous Mobile Edge Devices [72.61177465035031]
  ローカルデータのFIMI(FIlling the MIssing)部分を活用することにより,これらの課題に対処する,AIを活用した創発的なフェデレーション学習を提案する。 実験の結果,FIMIはデバイス側エネルギーの最大50%を節約し,目標とするグローバルテスト精度を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-10-21T12:07:04Z)
• Bridging the Gap Between Foundation Models and Heterogeneous Federated Learning [9.198799314774437]
  Federated Learning(FL)は、プライバシ保護による分散機械学習を提供し、プライベートデータを共有せずにエッジクライアントのモデルを最適化する。 ファンデーションモデル(FM)は、人工知能(AI)コミュニティにおいて、様々なタスクにまたがる例外的なパフォーマンスのために、注目を集めている。 本稿では、これらの課題に対処するため、リソース対応フェデレーション・ファンデーション・モデル(RaFFM)の適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-30T04:31:53Z)
• REFT: Resource-Efficient Federated Training Framework for Heterogeneous and Resource-Constrained Environments [2.117841684082203]
  分散システムでは、フェデレートラーニング(FL)が重要な役割を果たす。 FLは、機械学習のプライバシ強化サブドメインとして出現する。 我々は「不均一・資源制約環境のための資源効率の良いフェデレーション・トレーニング・フレームワーク」を提案する。
  論文  参考訳（メタデータ） (2023-08-25T20:33:30Z)
• Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
  本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。 ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。 実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-04T04:18:01Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
  フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。 FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。 本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
  論文  参考訳（メタデータ） (2021-08-12T14:18:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。