論文の概要: Federated Large Language Model: A Position Paper
- arxiv url: http://arxiv.org/abs/2307.08925v1
- Date: Tue, 18 Jul 2023 02:09:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-19 16:51:58.390326
- Title: Federated Large Language Model: A Position Paper
- Title(参考訳): Federated Large Language Model: ポジションペーパー
- Authors: Chaochao Chen, Xiaohua Feng, Jun Zhou, Jianwei Yin, Xiaolin Zheng
- Abstract要約: 大規模言語モデル (LLM) が注目され、様々な分野にまたがる多様な応用が発見されている。
これらの課題は、パブリックドメインデータの可用性の欠如と、プライベートドメインデータに対するプライバシの維持の必要性によって生じる。
フェデレートラーニング(FL)は、共有モデルの協調トレーニングを可能にする有望な技術として登場した。
- 参考スコア(独自算出の注目度): 28.04292780733374
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large scale language models (LLM) have received significant attention and
found diverse applications across various domains, but their development
encounters challenges in real-world scenarios. These challenges arise due to
the scarcity of public domain data availability and the need to maintain
privacy with respect to private domain data. To address these issues, federated
learning (FL) has emerged as a promising technology that enables collaborative
training of shared models while preserving decentralized data. We propose the
concept of federated LLM, which comprises three key components, i.e., federated
LLM pre-training, federated LLM fine-tuning, and federated LLM prompt
engineering. For each component, we discuss its advantage over traditional LLM
training methods and propose specific engineering strategies for
implementation. Furthermore, we explore the novel challenges introduced by the
integration of FL and LLM. We analyze existing solutions and identify potential
obstacles faced by these solutions within the context of federated LLM.
- Abstract(参考訳): 大規模言語モデル(llm)は注目を集め、様々なドメインにまたがる多様なアプリケーションを見出したが、その開発は現実世界のシナリオで課題に遭遇する。
これらの課題は、パブリックドメインデータの可用性の欠如と、プライベートドメインデータに対するプライバシの維持の必要性によって生じる。
これらの問題に対処するため、フェデレートラーニング(FL)は、分散データを保存しながら共有モデルの協調トレーニングを可能にする有望な技術として登場した。
本稿では,連合LDMの事前訓練,連合LDMファインチューニング,連合LDMプロンプトエンジニアリングの3つの重要な構成要素からなる連合LDMの概念を提案する。
各コンポーネントについて,従来のllmトレーニング手法に対するアドバンテージを議論し,実装のための具体的なエンジニアリング戦略を提案する。
さらに,FL と LLM の統合による新たな課題についても検討する。
我々は既存のソリューションを分析し,これらのソリューションが直面する潜在的な障害を,連合LLMの文脈内で同定する。
関連論文リスト
- Personalized Wireless Federated Learning for Large Language Models [75.22457544349668]
大規模言語モデル(LLM)は自然言語処理タスクに革命をもたらした。
無線ネットワークへの展開は、プライバシとセキュリティ保護機構の欠如など、依然として課題に直面している。
通信オーバーヘッドの少ない2つのパーソナライズされた無線フェデレーションファインチューニング手法を提案する。
論文 参考訳(メタデータ) (2024-04-20T02:30:21Z) - BLADE: Enhancing Black-box Large Language Models with Small Domain-Specific Models [56.89958793648104]
大規模言語モデル(LLM)は多用途であり、多様なタスクに対処することができる。
従来のアプローチでは、ドメイン固有のデータによる継続的な事前トレーニングを行うか、一般的なLLMをサポートするために検索拡張を採用する。
BLADEと呼ばれる新しいフレームワークを提案する。このフレームワークは、小さなDomain-spEcificモデルでブラックボックスのLArge言語モデルを拡張する。
論文 参考訳(メタデータ) (2024-03-27T08:57:21Z) - Building Guardrails for Large Language Models [20.71365278201298]
LLMの入力や出力をフィルタリングするガードレールは、コアセーフガード技術として登場した。
このポジションペーパーでは、現在のオープンソースソリューション(Llama Guard, Nvidia NeMo, Guardrails AI)を詳しく調べ、より完全なソリューションを構築するための課題と道筋について論じる。
論文 参考訳(メタデータ) (2024-02-02T16:35:00Z) - Knowledge Fusion of Large Language Models [73.28202188100646]
本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。
我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。
この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
論文 参考訳(メタデータ) (2024-01-19T05:02:46Z) - FATE-LLM: A Industrial Grade Federated Learning Framework for Large
Language Models [18.65547577691255]
大規模言語モデル(LLM)は近年,様々なタスクにおいて顕著なパフォーマンスを示している。
FATE-LLMは、大規模言語モデルのための産業レベルの連邦学習フレームワークである。
我々は、FedLLMの研究を促進するためにFATE-LLMのコードをリリースし、幅広い産業応用を可能にする。
論文 参考訳(メタデータ) (2023-10-16T04:17:13Z) - Survey on Factuality in Large Language Models: Knowledge, Retrieval and
Domain-Specificity [61.54815512469125]
本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。
LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
論文 参考訳(メタデータ) (2023-10-11T14:18:03Z) - FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large
Language Models in Federated Learning [70.38817963253034]
本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。
我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。
本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
論文 参考訳(メタデータ) (2023-09-01T09:40:36Z) - Domain Specialization as the Key to Make Large Language Models Disruptive: A Comprehensive Survey [100.24095818099522]
大規模言語モデル(LLM)は自然言語処理(NLP)の分野を著しく進歩させた。
広範囲のアプリケーションに対して、非常に有用でタスクに依存しない基盤を提供する。
しかし、特定の領域における洗練された問題を解決するために直接LLMを適用することは、多くのハードルを満たす。
論文 参考訳(メタデータ) (2023-05-30T03:00:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。