論文の概要: Federated Learning driven Large Language Models for Swarm Intelligence: A Survey

• arxiv url: http://arxiv.org/abs/2406.09831v1
• Date: Fri, 14 Jun 2024 08:40:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 14:34:29.397190
• Title: Federated Learning driven Large Language Models for Swarm Intelligence: A Survey
• Title（参考訳）: Swarm Intelligenceのためのフェデレートラーニング駆動型大規模言語モデル:サーベイ
• Authors: Youyang Qu,
• Abstract要約: Federated Learning (FL)は、大規模言語モデル(LLM)をトレーニングするための魅力的なフレームワークを提供する 私たちは機械学習に重点を置いています。これは、忘れられる権利のようなプライバシー規則に従う上で重要な側面です。 摂動技術やモデル分解,漸進学習など,効果的なアンラーニングを可能にするさまざまな戦略を探求する。
• 参考スコア（独自算出の注目度）: 2.769238399659845
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning (FL) offers a compelling framework for training large language models (LLMs) while addressing data privacy and decentralization challenges. This paper surveys recent advancements in the federated learning of large language models, with a particular focus on machine unlearning, a crucial aspect for complying with privacy regulations like the Right to be Forgotten. Machine unlearning in the context of federated LLMs involves systematically and securely removing individual data contributions from the learned model without retraining from scratch. We explore various strategies that enable effective unlearning, such as perturbation techniques, model decomposition, and incremental learning, highlighting their implications for maintaining model performance and data privacy. Furthermore, we examine case studies and experimental results from recent literature to assess the effectiveness and efficiency of these approaches in real-world scenarios. Our survey reveals a growing interest in developing more robust and scalable federated unlearning methods, suggesting a vital area for future research in the intersection of AI ethics and distributed machine learning technologies.
• Abstract（参考訳）: フェデレートラーニング(FL)は、データプライバシと分散化の課題に対処しながら、大規模言語モデル(LLM)をトレーニングするための魅力的なフレームワークを提供する。 本稿では、大規模言語モデルの連合学習の最近の進歩について、特に機械学習に焦点をあて、忘れられる権利のようなプライバシー規則に従う上で重要な側面について調査する。 連合LLMの文脈における機械学習は、学習モデルから学習した個々のデータコントリビューションを、スクラッチから再トレーニングすることなく、体系的かつ安全に除去する。 我々は、摂動技術、モデル分解、漸進学習など、効果的なアンラーニングを可能にする様々な戦略を探求し、モデルパフォーマンスとデータのプライバシを維持することの意義を強調した。 さらに, 実環境シナリオにおけるこれらの手法の有効性と有効性を評価するために, 最近の文献による事例研究と実験結果について検討する。 我々の調査は、より堅牢でスケーラブルなフェデレーション付きアンラーニング手法の開発への関心が高まっていることを明らかにし、AI倫理と分散機械学習技術の交差点における将来の研究にとって重要な領域であることを示唆している。

関連論文リスト

• Data-Centric AI in the Age of Large Language Models [51.20451986068925]
  本稿では,大規模言語モデル(LLM)に着目した,AI研究におけるデータ中心の視点を提案する。 本研究では,LLMの発達段階(事前学習や微調整など)や推論段階(文脈内学習など)において,データが有効であることを示す。 データを中心とした4つのシナリオを特定し、データ中心のベンチマークとデータキュレーション、データ属性、知識伝達、推論コンテキスト化をカバーします。
  論文  参考訳（メタデータ） (2024-06-20T16:34:07Z)
• Unlearning with Control: Assessing Real-world Utility for Large Language Model Unlearning [97.2995389188179]
  最近の研究は、勾配上昇(GA)を通した大規模言語モデル(LLM)の未学習にアプローチし始めている。 その単純さと効率性にもかかわらず、我々はGAベースの手法が過剰な未学習の傾向に直面することを示唆している。 過剰な未学習の度合いを制御できるいくつかの制御手法を提案する。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)
• The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
  大規模言語モデル(LLM)はAIの進歩の基礎となっている。 LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。 機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
  論文  参考訳（メタデータ） (2024-03-23T09:26:15Z)
• Rethinking Machine Unlearning for Large Language Models [85.92660644100582]
  大規模言語モデル(LLM)の領域における機械学習の研究 このイニシアチブは、望ましくないデータの影響(機密情報や違法情報など)と関連するモデル機能を排除することを目的としている。
  論文  参考訳（メタデータ） (2024-02-13T20:51:58Z)
• Towards Efficient Generative Large Language Model Serving: A Survey from Algorithms to Systems [14.355768064425598]
  生成型大規模言語モデル(LLM)が最前線に立ち、データとのインタラクション方法に革命をもたらします。 しかし、これらのモデルをデプロイする際の計算強度とメモリ消費は、効率性の観点から大きな課題を呈している。 本研究は,機械学習システム(MLSys)研究の観点から,効率的なLCM提供手法の必要性について考察する。
  論文  参考訳（メタデータ） (2023-12-23T11:57:53Z)
• Exploring Machine Learning Models for Federated Learning: A Review of Approaches, Performance, and Limitations [1.1060425537315088]
  フェデレートラーニング(Federated Learning)は、個人のデータのプライバシを保護するために強化された分散学習フレームワークである。 危機時には、リアルタイムな意思決定が重要である場合、フェデレートされた学習は、機密データを共有せずに複数のエンティティをまとめて機能させることができる。 本稿では,ここ数年のプライバシ保護機械学習に関する文献を体系的にレビューする。
  論文  参考訳（メタデータ） (2023-11-17T19:23:21Z)
• A Comprehensive Study on Model Initialization Techniques Ensuring Efficient Federated Learning [0.0]
  フェデレートラーニング(FL)は、分散とプライバシ保護の方法で機械学習モデルをトレーニングするための有望なパラダイムとして登場した。 モデルに使用される手法の選択は、フェデレーション学習システムの性能、収束速度、通信効率、プライバシー保証において重要な役割を果たす。 本研究は,各手法のメリットとデメリットを慎重に比較,分類,記述し,さまざまなFLシナリオに適用性について検討する。
  論文  参考訳（メタデータ） (2023-10-31T23:26:58Z)
• FRAMU: Attention-based Machine Unlearning using Federated Reinforcement Learning [16.86560475992975]
  FRAMU(Federated Reinforcement Learning)を用いた注意型機械学習について紹介する。 FRAMUには適応学習機構、プライバシー保護技術、最適化戦略が組み込まれている。 実験の結果,FRAMUはベースラインモデルよりも有意に優れていた。
  論文  参考訳（メタデータ） (2023-09-19T03:13:17Z)
• On Efficient Training of Large-Scale Deep Learning Models: A Literature Review [90.87691246153612]
  ディープラーニングの分野は特にコンピュータビジョン(CV)、自然言語処理(NLP)、音声などにおいて大きな進歩を遂げている。 大量のデータに基づいてトレーニングされた大規模なモデルを使用することは、実用的なアプリケーションにとって大きな可能性を秘めている。 計算能力の需要が増大する中で、ディープラーニングモデルの訓練の加速技術に関する包括的な要約が期待されている。
  論文  参考訳（メタデータ） (2023-04-07T11:13:23Z)
• Data Augmentation for Spoken Language Understanding via Pretrained Language Models [113.56329266325902]
  音声言語理解(SLU)モデルの訓練は、しばしばデータ不足の問題に直面している。 我々は,事前学習言語モデルを用いたデータ拡張手法を提案し,生成した発話の変動性と精度を向上した。
  論文  参考訳（メタデータ） (2020-04-29T04:07:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。