論文の概要: Federated Large Language Model: A Position Paper

• arxiv url: http://arxiv.org/abs/2307.08925v1
• Date: Tue, 18 Jul 2023 02:09:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-07-19 16:51:58.390326
• Title: Federated Large Language Model: A Position Paper
• Title（参考訳）: Federated Large Language Model: ポジションペーパー
• Authors: Chaochao Chen, Xiaohua Feng, Jun Zhou, Jianwei Yin, Xiaolin Zheng
• Abstract要約: 大規模言語モデル (LLM) が注目され、様々な分野にまたがる多様な応用が発見されている。 これらの課題は、パブリックドメインデータの可用性の欠如と、プライベートドメインデータに対するプライバシの維持の必要性によって生じる。 フェデレートラーニング(FL)は、共有モデルの協調トレーニングを可能にする有望な技術として登場した。
• 参考スコア（独自算出の注目度）: 28.04292780733374
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large scale language models (LLM) have received significant attention and found diverse applications across various domains, but their development encounters challenges in real-world scenarios. These challenges arise due to the scarcity of public domain data availability and the need to maintain privacy with respect to private domain data. To address these issues, federated learning (FL) has emerged as a promising technology that enables collaborative training of shared models while preserving decentralized data. We propose the concept of federated LLM, which comprises three key components, i.e., federated LLM pre-training, federated LLM fine-tuning, and federated LLM prompt engineering. For each component, we discuss its advantage over traditional LLM training methods and propose specific engineering strategies for implementation. Furthermore, we explore the novel challenges introduced by the integration of FL and LLM. We analyze existing solutions and identify potential obstacles faced by these solutions within the context of federated LLM.
• Abstract（参考訳）: 大規模言語モデル(llm)は注目を集め、様々なドメインにまたがる多様なアプリケーションを見出したが、その開発は現実世界のシナリオで課題に遭遇する。 これらの課題は、パブリックドメインデータの可用性の欠如と、プライベートドメインデータに対するプライバシの維持の必要性によって生じる。 これらの問題に対処するため、フェデレートラーニング(FL)は、分散データを保存しながら共有モデルの協調トレーニングを可能にする有望な技術として登場した。 本稿では,連合LDMの事前訓練,連合LDMファインチューニング,連合LDMプロンプトエンジニアリングの3つの重要な構成要素からなる連合LDMの概念を提案する。 各コンポーネントについて,従来のllmトレーニング手法に対するアドバンテージを議論し,実装のための具体的なエンジニアリング戦略を提案する。 さらに,FL と LLM の統合による新たな課題についても検討する。 我々は既存のソリューションを分析し,これらのソリューションが直面する潜在的な障害を,連合LLMの文脈内で同定する。

関連論文リスト

• A Survey on Federated Fine-tuning of Large Language Models [17.79395946441051]
  Federated Learning(FL)は、データプライバシを確保しながら協調的なモデル適応を可能にする、有望なアプローチを提供する。 まず,Large Language Models (LLMs) とFLの両方の歴史的進化を,関連する事前調査を要約しながら追跡する。 次に、既存のパラメータ効率細調整法(PEFT)について広範な研究を行い、FLにおける適用可能性について検討する。 最後に、重要なオープン課題を特定し、今後のFedLLMの進歩を推進するための有望な研究方針を概説する。
  論文  参考訳（メタデータ） (2025-03-15T06:52:10Z)
• The Evolving Landscape of LLM- and VLM-Integrated Reinforcement Learning [7.092323056639036]
  強化学習(RL)は、逐次意思決定タスクにおいて印象的な結果を示した。 大規模言語モデル (LLM) と視覚言語モデル (VLM) が登場し、マルチモーダル理解と推論において印象的な能力を発揮している。 本稿では,これらのLLM/VLM支援RLアプローチをエージェント,プランナー,報酬の3つの役割に分類する分類法を提案する。
  論文  参考訳（メタデータ） (2025-02-21T05:01:30Z)
• Large Language Model Enhanced Recommender Systems: A Survey [31.31030891846837]
  本稿では,Large Language Model (LLM) を利用したレコメンダシステム(RS)の強化を目的とした最新の研究成果について報告する。 我々は、LLMをオンラインシステムに組み込む動き、特に推論時にの使用を避けることで、この分野における重要な変化を識別する。
  論文  参考訳（メタデータ） (2024-12-18T02:07:21Z)
• Federated Large Language Models: Current Progress and Future Directions [63.68614548512534]
  本稿では,LLM(FedLLM)のフェデレーション学習について調査し,最近の進歩と今後の方向性を明らかにする。 ファインチューニングと迅速な学習という2つの重要な側面に注目し、既存の作業と関連する研究課題について議論する。
  論文  参考訳（メタデータ） (2024-09-24T04:14:33Z)
• Extend Model Merging from Fine-Tuned to Pre-Trained Large Language Models via Weight Disentanglement [72.97553348776425]
  我々は、FTからPT LLMへのマージ技術の適用性を拡大するための先駆的な取り組みを行っている。 WeIght DisENtanglement (WIDEN) に基づくアプローチを導入し、マージ範囲を効果的に拡張する。 Qwen1.5-Chat (FT LLM with instruction-following skills) と Sailor (PT LLM with multilingual abilities) を7Bおよび14Bモデルスケールにマージする。
  論文  参考訳（メタデータ） (2024-08-06T10:46:46Z)
• FernUni LLM Experimental Infrastructure (FLEXI) -- Enabling Experimentation and Innovation in Higher Education Through Access to Open Large Language Models [2.190269031876989]
  本稿では,Hagen の FernUniversit において,FLEXI というプロジェクト名でオープン LLM インフラストラクチャの構築状況について述べる。 本稿は,自前のLLMサーバを実行するかどうかを判断しようとするすべての人たちに対して,実践的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-06-27T09:46:11Z)
• Can LLMs Solve longer Math Word Problems Better? [47.227621867242]
  大規模言語モデル(LLM)の能力評価にはMWP(Math Word Problems)が不可欠である この研究は、文脈長一般化可能性(CoLeG)の探索の先駆者である。 これらの問題を解決する上で, LLMの有効性とレジリエンスを評価するために, 2つの新しい指標が提案されている。
  論文  参考訳（メタデータ） (2024-05-23T17:13:50Z)
• Large Language Models: A Survey [69.72787936480394]
  大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。 LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
  論文  参考訳（メタデータ） (2024-02-09T05:37:09Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。