論文の概要: FedMKT: Federated Mutual Knowledge Transfer for Large and Small Language Models

• arxiv url: http://arxiv.org/abs/2406.02224v1
• Date: Tue, 4 Jun 2024 11:36:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 16:42:06.215197
• Title: FedMKT: Federated Mutual Knowledge Transfer for Large and Small Language Models
• Title（参考訳）: FedMKT:大規模・小規模言語モデルの相互知識伝達
• Authors: Tao Fan, Guoqiang Ma, Yan Kang, Hanlin Gu, Lixin Fan, Qiang Yang,
• Abstract要約: FedMKTは、大小の言語モデルのためのパラメータ効率の良い相互知識伝達フレームワークである。 サーバのLLMからクライアントのSLMへ知識を適応的に転送し、同時にクライアントのユニークなドメイン洞察でLLMを豊かにするように設計されている。 NLPテキスト生成タスクにおける各種公共LLMおよびSLMを用いたFedMKTの有効性を評価する。
• 参考スコア（独自算出の注目度）: 18.3805926152814
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent research in federated large language models (LLMs) has primarily focused on enabling clients to fine-tune their locally deployed homogeneous LLMs collaboratively or on transferring knowledge from server-based LLMs to small language models (SLMs) at downstream clients. However, a significant gap remains in the simultaneous mutual enhancement of both the server's LLM and clients' SLMs. To bridge this gap, we propose FedMKT, a parameter-efficient federated mutual knowledge transfer framework for large and small language models. This framework is designed to adaptively transfer knowledge from the server's LLM to clients' SLMs while concurrently enriching the LLM with clients' unique domain insights. We facilitate token alignment using minimum edit distance (MinED) and then selective mutual knowledge transfer between client-side SLMs and a server-side LLM, aiming to collectively enhance their performance. Through extensive experiments across three distinct scenarios, heterogeneous, homogeneous, and one-to-one, we evaluate the effectiveness of FedMKT using various public LLMs and SLMs on a range of NLP text generation tasks. Empirical results demonstrate significant performance improvements in clients' SLMs with the aid of the LLM. Furthermore, the LLM optimized by FedMKT achieves a performance comparable to that achieved through direct fine-tuning based on clients' data, highlighting the effectiveness and adaptability of FedMKT.
• Abstract（参考訳）: 連合型大規模言語モデル(LLM)の最近の研究は、クライアントがローカルにデプロイされた同種LLMを協調的に微調整することや、サーバベースのLLMから下流クライアントでの小さな言語モデル(SLM)への知識伝達に重点を置いている。 しかし、サーバのLLMとクライアントのSLMの相互強化には大きなギャップが残っている。 このギャップを埋めるため、大小言語モデルのためのパラメータ効率の高い相互知識伝達フレームワークであるFedMKTを提案する。 このフレームワークは、サーバのLLMからクライアントのSLMへ知識を適応的に転送し、同時にクライアントのユニークなドメイン洞察でLLMを豊かにするように設計されている。 最小編集距離(MinED)を用いてトークンアライメントを容易にし、クライアント側SLMとサーバ側LCM間の選択的相互知識伝達を行い、その性能を総合的に向上する。 ヘテロジニアス, 同質, ワンツーワンの3つの異なるシナリオにまたがる広範な実験を通じて, NLPテキスト生成タスクにおいて, 各種の公共LLMおよびSLMを用いてFedMKTの有効性を評価する。 実験の結果,クライアントのSLMの性能はLLMの助けを借りて大幅に向上した。 さらに、FedMKTによって最適化されたLLMは、クライアントのデータに基づいて直接微調整を行い、FedMKTの有効性と適応性を強調することで達成されるものと同等のパフォーマンスを達成する。

関連論文リスト

• FedCoLLM: A Parameter-Efficient Federated Co-tuning Framework for Large and Small Language Models [24.579015114518157]
  FedCoLLMは、Large Language Models (LLM) とSmall Language Models (SLM) の共用用に設計された新しいフレームワークである。 FedCoLLM はサーバ側の LLM の知識をクライアントの SLM に適応的に転送し、同時にクライアントからのドメイン洞察で LLM を豊かにする。 NLPテキスト生成タスクの多種多様な公開LLMとSLMを利用してFedCoLLMの評価を行ったところ,LLMの助けを借りて顕著な改善が得られた。
  論文  参考訳（メタデータ） (2024-11-18T16:34:58Z)
• MLLM-FL: Multimodal Large Language Model Assisted Federated Learning on Heterogeneous and Long-tailed Data [25.45278447786954]
  MLLM-FL(Multimodal Large Language Model Assisted Federated Learning)と呼ばれる新しいフェデレーション学習フレームワークを導入する。 当社のフレームワークは,Webサイトや強力なサーバサイド計算リソースからアクセス可能な,広範かつ未公開のオープンソースデータを活用することに長けています。
  論文  参考訳（メタデータ） (2024-09-09T21:04:16Z)
• The Synergy between Data and Multi-Modal Large Language Models: A Survey from Co-Development Perspective [53.48484062444108]
  モデルとデータの開発は2つの別々のパスではなく、むしろ相互接続であることがわかった。 一方,MLLMはデータ開発に役立てることができるため,MLLMの性能向上に寄与する。 MLLMコミュニティにおけるデータモデル共同開発を促進するために,データモデル共同開発の観点からMLLMに関連する既存の研究を体系的にレビューする。
  論文  参考訳（メタデータ） (2024-07-11T15:08:11Z)
• SoupLM: Model Integration in Large Language and Multi-Modal Models [51.12227693121004]
  大規模言語モデル(LLM)の訓練には、かなりの計算資源が必要である。 既存の公開LLMは通常、さまざまなタスクにまたがる、多種多様なプライベートにキュレートされたデータセットで事前トレーニングされる。
  論文  参考訳（メタデータ） (2024-07-11T05:38:15Z)
• Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示しており、最近、IoT(Internet of Things)アプリケーションにLLMの能力を統合することが研究の注目を集めている。 セキュリティ上の懸念から、多くの機関は最先端の商用LLMサービスへのアクセスを避け、ローカルネットワーク環境でのオープンソースLLMのデプロイと利用を必要としている。 本研究では,LLMを用いた生成IoT(Generative IoT)システムを提案する。
  論文  参考訳（メタデータ） (2024-06-14T19:24:00Z)
• Federated Domain-Specific Knowledge Transfer on Large Language Models Using Synthetic Data [53.70870879858533]
  フェデレートされたドメイン固有の知識伝達フレームワークを紹介する。 クライアントのデータプライバシを保護しながら、LLMからSLMへのドメイン固有の知識転送を可能にする。 提案されたFDKTフレームワークは、プライバシー予算が10未満のSLMのタスクパフォーマンスを約5%改善する。
  論文  参考訳（メタデータ） (2024-05-23T06:14:35Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)
• Mutual Enhancement of Large and Small Language Models with Cross-Silo Knowledge Transfer [27.63746419563747]
  大規模言語モデル (LLM) には幅広い知識が与えられているが、そのタスク固有の性能は、しばしば準最適である。 タスク固有のデータで微調整 LLM を必要とするが、プライバシー上の懸念からアクセスできない可能性がある。 本研究では,より小さな言語モデル (SLM) でLLMを強化し,クライアント上でプライベートなタスク固有データを用いて学習する手法を提案する。
  論文  参考訳（メタデータ） (2023-12-10T09:52:32Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。