論文の概要: FedEAT: A Robustness Optimization Framework for Federated LLMs

• arxiv url: http://arxiv.org/abs/2502.11863v1
• Date: Mon, 17 Feb 2025 14:55:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:14:32.116665
• Title: FedEAT: A Robustness Optimization Framework for Federated LLMs
• Title（参考訳）: FedEAT: フェデレーションLLMのためのロバストネス最適化フレームワーク
• Authors: Yahao Pang, Xingyuan Wu, Xiaojin Zhang, Wei Chen, Hai Jin,
• Abstract要約: 我々は,クライアントLSMの埋め込み空間における対角的トレーニングを適用した新しいフレームワークであるFedEAT(Federated Embedding space Adversarial Training)を提案する。 実験により,フェデレートLLMのロバスト性は最小限の性能損失で効果的に向上することが示された。
• 参考スコア（独自算出の注目度）: 16.64125481942056
• License:
• Abstract: Significant advancements have been made by Large Language Models (LLMs) in the domains of natural language understanding and automated content creation. However, they still face persistent problems, including substantial computational costs and inadequate availability of training data. The combination of Federated Learning (FL) and LLMs (federated LLMs) offers a solution by leveraging distributed data while protecting privacy, which positions it as an ideal choice for sensitive domains. However, Federated LLMs still suffer from robustness challenges, including data heterogeneity, malicious clients, and adversarial attacks, which greatly hinder their applications. We first introduce the robustness problems in federated LLMs, to address these challenges, we propose FedEAT (Federated Embedding space Adversarial Training), a novel framework that applies adversarial training in the embedding space of client LLM and employs a robust aggregation approach, specifically geometric median aggregation, to enhance the robustness of Federated LLMs. Our experiments demonstrate that FedEAT effectively improves the robustness of Federated LLMs with minimal performance loss.
• Abstract（参考訳）: 自然言語理解と自動コンテンツ作成の領域において,Large Language Models (LLMs) が重要な進歩を遂げている。 しかしそれでも、かなりの計算コストやトレーニングデータの不十分さなど、永続的な問題に直面している。 フェデレートラーニング(FL)とLLM(フェデレーションLLM)の組み合わせは、プライバシを保護しながら分散データを活用するソリューションを提供する。 しかし、フェデレートされたLLMは、データ不均一性、悪意のあるクライアント、敵の攻撃など、堅牢性の問題に悩まされており、アプリケーションを大幅に妨げている。 我々はまず,これらの課題に対処するため,FedEAT(Federated Embedding Space Adversarial Training)を提案する。これは,クライアントLLMの埋め込み空間における対角的トレーニングを適用した新しいフレームワークであり,ロバスト集約アプローチ,特に幾何的な中央集権的アグリゲーションを用いて,Federated LLMのロバスト性を高める。 実験により,フェデレートLLMのロバスト性は最小限の性能損失で効果的に向上することが示された。

関連論文リスト

• Unveiling the Vulnerability of Private Fine-Tuning in Split-Based Frameworks for Large Language Models: A Bidirectionally Enhanced Attack [20.727726850786386]
  BiSRは、スプリットラーニング(SL)の前方および後方伝播プロセスの両方をターゲットにした最初のデータ再構成攻撃である。 SLの前方および後方伝播過程を標的とした最初のデータ再構成攻撃(DRA)であるBiSRを提案する。
  論文  参考訳（メタデータ） (2024-09-02T06:01:20Z)
• Dynamic Fog Computing for Enhanced LLM Execution in Medical Applications [1.0500536774309863]
  大きな言語モデル(LLM)は、大量の異種データを変換し、解釈し、理解することができる。 保護された健康情報(PHI)の繊細な性質は、データプライバシとリモートLLMプラットフォームへの信頼に関する有効な懸念を提起する。 我々は,LLM実行環境を,不透明で集中型のクラウドプロバイダから分散型の動的フォグコンピューティングアーキテクチャに移行することを提案する。
  論文  参考訳（メタデータ） (2024-08-08T04:49:21Z)
• Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示しており、最近、IoT(Internet of Things)アプリケーションにLLMの能力を統合することが研究の注目を集めている。 セキュリティ上の懸念から、多くの機関は最先端の商用LLMサービスへのアクセスを避け、ローカルネットワーク環境でのオープンソースLLMのデプロイと利用を必要としている。 本研究では,LLMを用いた生成IoT(Generative IoT)システムを提案する。
  論文  参考訳（メタデータ） (2024-06-14T19:24:00Z)
• Personalized Wireless Federated Learning for Large Language Models [75.22457544349668]
  大規模言語モデル(LLM)は自然言語処理タスクに革命をもたらした。 無線ネットワークへの展開は、プライバシとセキュリティ保護機構の欠如など、依然として課題に直面している。 通信オーバーヘッドの少ない2つのパーソナライズされた無線フェデレーションファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2024-04-20T02:30:21Z)
• Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing [56.75702900542643]
  大規模言語モデルの自己改善のためのAlphaLLMを紹介する。 モンテカルロ木探索(MCTS)とLLMを統合し、自己改善ループを確立する。 実験の結果,AlphaLLM は付加アノテーションを使わずに LLM の性能を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-04-18T15:21:34Z)
• Differentially Private Low-Rank Adaptation of Large Language Model Using Federated Learning [32.52811740662061]
  本稿では,大規模言語モデル(LLM)に適した新しいフェデレーション学習アルゴリズムDP-LoRAを紹介する。 DP-LoRAは、重み付け更新のノイズを追加し、データプライバシを個別に維持しつつ、協調的なモデルトレーニングを容易にするガウス機構を使用することで、データのプライバシを保存する。
  論文  参考訳（メタデータ） (2023-12-29T06:50:38Z)
• FATE-LLM: A Industrial Grade Federated Learning Framework for Large Language Models [18.65547577691255]
  大規模言語モデル(LLM)は近年,様々なタスクにおいて顕著なパフォーマンスを示している。 FATE-LLMは、大規模言語モデルのための産業レベルの連邦学習フレームワークである。 我々は、FedLLMの研究を促進するためにFATE-LLMのコードをリリースし、幅広い産業応用を可能にする。
  論文  参考訳（メタデータ） (2023-10-16T04:17:13Z)
• Survey on Factuality in Large Language Models: Knowledge, Retrieval and Domain-Specificity [61.54815512469125]
  本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。 LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
  論文  参考訳（メタデータ） (2023-10-11T14:18:03Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。