論文の概要: FedCoLLM: A Parameter-Efficient Federated Co-tuning Framework for Large and Small Language Models

• arxiv url: http://arxiv.org/abs/2411.11707v1
• Date: Mon, 18 Nov 2024 16:34:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:35:46.348589
• Title: FedCoLLM: A Parameter-Efficient Federated Co-tuning Framework for Large and Small Language Models
• Title（参考訳）: FedCoLLM: 大規模および小規模言語モデルのためのパラメータ効率の良いフェデレーションコチューニングフレームワーク
• Authors: Tao Fan, Yan Kang, Guoqiang Ma, Lixin Fan, Kai Chen, Qiang Yang,
• Abstract要約: FedCoLLMは、Large Language Models (LLM) とSmall Language Models (SLM) の共用用に設計された新しいフレームワークである。 FedCoLLM はサーバ側の LLM の知識をクライアントの SLM に適応的に転送し、同時にクライアントからのドメイン洞察で LLM を豊かにする。 NLPテキスト生成タスクの多種多様な公開LLMとSLMを利用してFedCoLLMの評価を行ったところ,LLMの助けを借りて顕著な改善が得られた。
• 参考スコア（独自算出の注目度）: 24.579015114518157
• License:
• Abstract: By adapting Large Language Models (LLMs) to domain-specific tasks or enriching them with domain-specific knowledge, we can fully harness the capabilities of LLMs. Nonetheless, a gap persists in achieving simultaneous mutual enhancement between the server's LLM and the downstream clients' Small Language Models (SLMs). To address this, we propose FedCoLLM, a novel and parameter-efficient federated framework designed for co-tuning LLMs and SLMs. This approach is aimed at adaptively transferring server-side LLMs knowledge to clients' SLMs while simultaneously enriching the LLMs with domain insights from the clients. To accomplish this, FedCoLLM utilizes lightweight adapters in conjunction with SLMs, facilitating knowledge exchange between server and clients in a manner that respects data privacy while also minimizing computational and communication overhead. Our evaluation of FedCoLLM, utilizing various public LLMs and SLMs across a range of NLP text generation tasks, reveals that the performance of clients' SLMs experiences notable improvements with the assistance of the LLMs. Simultaneously, the LLMs enhanced via FedCoLLM achieves comparable performance to that obtained through direct fine-tuning on clients' data.
• Abstract（参考訳）: 大規模言語モデル(LLM)をドメイン固有のタスクに適用したり、それらをドメイン固有の知識で強化することで、LLMの機能を完全に活用できます。 それでも、サーバのLLMと下流クライアントのSmall Language Models(SLM)の相互強化を同時に達成する上でギャップは持続する。 そこで本稿では,LLM と SLM を併用する新しい,パラメータ効率の高いフェデレーションフレームワークである FedCoLLM を提案する。 このアプローチは、サーバサイドのLLM知識をクライアントのSLMに適応的に転送し、同時にクライアントからのドメインインサイトとLLMのリッチ化を目的としている。 これを実現するため、FedCoLLMは軽量アダプタとSLMを併用し、計算と通信のオーバーヘッドを最小限に抑えつつ、データのプライバシーを尊重する方法でサーバとクライアント間の知識交換を容易にする。 NLPテキスト生成タスクの多種多様な公開LLMとSLMを利用してFedCoLLMの評価を行ったところ,クライアントのSLMの性能はLLMの助けを借りて顕著に改善されていることがわかった。 同時に、FedCoLLMによって拡張されたLLMは、クライアントのデータを直接微調整することで得られるものと同等のパフォーマンスを達成する。

関連論文リスト

• The Synergy between Data and Multi-Modal Large Language Models: A Survey from Co-Development Perspective [53.48484062444108]
  モデルとデータの開発は2つの別々のパスではなく、むしろ相互接続であることがわかった。 一方,MLLMはデータ開発に役立てることができるため,MLLMの性能向上に寄与する。 MLLMコミュニティにおけるデータモデル共同開発を促進するために,データモデル共同開発の観点からMLLMに関連する既存の研究を体系的にレビューする。
  論文  参考訳（メタデータ） (2024-07-11T15:08:11Z)
• SoupLM: Model Integration in Large Language and Multi-Modal Models [51.12227693121004]
  大規模言語モデル(LLM)の訓練には、かなりの計算資源が必要である。 既存の公開LLMは通常、さまざまなタスクにまたがる、多種多様なプライベートにキュレートされたデータセットで事前トレーニングされる。
  論文  参考訳（メタデータ） (2024-07-11T05:38:15Z)
• FedMKT: Federated Mutual Knowledge Transfer for Large and Small Language Models [28.284346666217207]
  FedMKTは、大小の言語モデルのためのパラメータ効率の良い相互知識伝達フレームワークである。 我々は,FedMKTがLLMとSLMの両方の性能を同時に向上させることを示す。
  論文  参考訳（メタデータ） (2024-06-04T11:36:09Z)
• A Practice-Friendly LLM-Enhanced Paradigm with Preference Parsing for Sequential Recommendation [15.153844486572932]
  本稿では、シーケンシャルレコメンデータシステム(SRS)のための優先構文解析(P2Rec)を用いた実践的LLM拡張パラダイムを提案する。 具体的には、情報再構成段階において、事前学習したSRSモデルの助けを借りて、協調的な情報注入のための新しいユーザレベルSFTタスクを設計する。 我々のゴールは、LLMが各ユーザのインタラクションシーケンスから対応する優先度分布を再構築することを学ばせることである。
  論文  参考訳（メタデータ） (2024-06-01T07:18:56Z)
• Federated Domain-Specific Knowledge Transfer on Large Language Models Using Synthetic Data [53.70870879858533]
  フェデレートされたドメイン固有の知識伝達フレームワークを紹介する。 クライアントのデータプライバシを保護しながら、LLMからSLMへのドメイン固有の知識転送を可能にする。 提案されたFDKTフレームワークは、プライバシー予算が10未満のSLMのタスクパフォーマンスを約5%改善する。
  論文  参考訳（メタデータ） (2024-05-23T06:14:35Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)
• Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes [53.4856038354195]
  事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。 FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。 サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
  論文  参考訳（メタデータ） (2023-12-11T13:03:21Z)
• Mutual Enhancement of Large and Small Language Models with Cross-Silo Knowledge Transfer [27.63746419563747]
  大規模言語モデル (LLM) には幅広い知識が与えられているが、そのタスク固有の性能は、しばしば準最適である。 タスク固有のデータで微調整 LLM を必要とするが、プライバシー上の懸念からアクセスできない可能性がある。 本研究では,より小さな言語モデル (SLM) でLLMを強化し,クライアント上でプライベートなタスク固有データを用いて学習する手法を提案する。
  論文  参考訳（メタデータ） (2023-12-10T09:52:32Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。