論文の概要: Federated Large Language Model: A Position Paper

• arxiv url: http://arxiv.org/abs/2307.08925v1
• Date: Tue, 18 Jul 2023 02:09:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-19 16:51:58.390326
• Title: Federated Large Language Model: A Position Paper
• Title（参考訳）: Federated Large Language Model: ポジションペーパー
• Authors: Chaochao Chen, Xiaohua Feng, Jun Zhou, Jianwei Yin, Xiaolin Zheng
• Abstract要約: 大規模言語モデル (LLM) が注目され、様々な分野にまたがる多様な応用が発見されている。 これらの課題は、パブリックドメインデータの可用性の欠如と、プライベートドメインデータに対するプライバシの維持の必要性によって生じる。 フェデレートラーニング(FL)は、共有モデルの協調トレーニングを可能にする有望な技術として登場した。
• 参考スコア（独自算出の注目度）: 28.04292780733374
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large scale language models (LLM) have received significant attention and found diverse applications across various domains, but their development encounters challenges in real-world scenarios. These challenges arise due to the scarcity of public domain data availability and the need to maintain privacy with respect to private domain data. To address these issues, federated learning (FL) has emerged as a promising technology that enables collaborative training of shared models while preserving decentralized data. We propose the concept of federated LLM, which comprises three key components, i.e., federated LLM pre-training, federated LLM fine-tuning, and federated LLM prompt engineering. For each component, we discuss its advantage over traditional LLM training methods and propose specific engineering strategies for implementation. Furthermore, we explore the novel challenges introduced by the integration of FL and LLM. We analyze existing solutions and identify potential obstacles faced by these solutions within the context of federated LLM.
• Abstract（参考訳）: 大規模言語モデル(llm)は注目を集め、様々なドメインにまたがる多様なアプリケーションを見出したが、その開発は現実世界のシナリオで課題に遭遇する。 これらの課題は、パブリックドメインデータの可用性の欠如と、プライベートドメインデータに対するプライバシの維持の必要性によって生じる。 これらの問題に対処するため、フェデレートラーニング(FL)は、分散データを保存しながら共有モデルの協調トレーニングを可能にする有望な技術として登場した。 本稿では,連合LDMの事前訓練,連合LDMファインチューニング,連合LDMプロンプトエンジニアリングの3つの重要な構成要素からなる連合LDMの概念を提案する。 各コンポーネントについて,従来のllmトレーニング手法に対するアドバンテージを議論し,実装のための具体的なエンジニアリング戦略を提案する。 さらに,FL と LLM の統合による新たな課題についても検討する。 我々は既存のソリューションを分析し,これらのソリューションが直面する潜在的な障害を,連合LLMの文脈内で同定する。

関連論文リスト

• Federated Large Language Models: Current Progress and Future Directions [63.68614548512534]
  本稿では,LLM(FedLLM)のフェデレーション学習について調査し,最近の進歩と今後の方向性を明らかにする。 ファインチューニングと迅速な学習という2つの重要な側面に注目し、既存の作業と関連する研究課題について議論する。
  論文  参考訳（メタデータ） (2024-09-24T04:14:33Z)
• Extend Model Merging from Fine-Tuned to Pre-Trained Large Language Models via Weight Disentanglement [72.97553348776425]
  我々は、FTからPT LLMへのマージ技術の適用性を拡大するための先駆的な取り組みを行っている。 WeIght DisENtanglement (WIDEN) に基づくアプローチを導入し、マージ範囲を効果的に拡張する。 Qwen1.5-Chat (FT LLM with instruction-following skills) と Sailor (PT LLM with multilingual abilities) を7Bおよび14Bモデルスケールにマージする。
  論文  参考訳（メタデータ） (2024-08-06T10:46:46Z)
• FernUni LLM Experimental Infrastructure (FLEXI) -- Enabling Experimentation and Innovation in Higher Education Through Access to Open Large Language Models [2.190269031876989]
  本稿では,Hagen の FernUniversit において,FLEXI というプロジェクト名でオープン LLM インフラストラクチャの構築状況について述べる。 本稿は,自前のLLMサーバを実行するかどうかを判断しようとするすべての人たちに対して,実践的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-06-27T09:46:11Z)
• Can LLMs Solve longer Math Word Problems Better? [47.227621867242]
  大規模言語モデル(LLM)の能力評価にはMWP(Math Word Problems)が不可欠である この研究は、文脈長一般化可能性(CoLeG)の探索の先駆者である。 これらの問題を解決する上で, LLMの有効性とレジリエンスを評価するために, 2つの新しい指標が提案されている。
  論文  参考訳（メタデータ） (2024-05-23T17:13:50Z)
• Large Language Models: A Survey [69.72787936480394]
  大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。 LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
  論文  参考訳（メタデータ） (2024-02-09T05:37:09Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。