論文の概要: FedDPG: An Adaptive Yet Efficient Prompt-tuning Approach in Federated Learning Settings

• arxiv url: http://arxiv.org/abs/2507.19534v1
• Date: Tue, 22 Jul 2025 03:47:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-29 16:23:55.559275
• Title: FedDPG: An Adaptive Yet Efficient Prompt-tuning Approach in Federated Learning Settings
• Title（参考訳）: FedDPG: フェデレーション学習環境における適応的かつ効果的なプロンプトチューニングアプローチ
• Authors: Ali Shakeri, Wei Emma Zhang, Amin Beheshti, Weitong Chen, Jian Yang, Lishan Yang,
• Abstract要約: 本稿ではFedDPG(Federated Dynamic Prompt Generator)を紹介する。 FedDPGは動的プロンプト生成ネットワークを組み込んで、与えられた入力に基づいてコンテキスト認識プロンプトを生成する。 3つのNLPベンチマークデータセットの実験では、FedDPGは、グローバルモデルの性能の観点から、最先端のパラメータ効率の高い微調整方法よりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 23.33217268142489
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Pre-trained Language Models (PLMs) have demonstrated impressive performance in various NLP tasks. However, traditional fine-tuning methods for leveraging PLMs for downstream tasks entail significant computational overhead. Prompt-tuning has emerged as an efficient alternative that involves prepending a limited number of parameters to the input sequence and only updating them while the PLM's parameters are frozen. However, this technique's prompts remain fixed for all inputs, reducing the model's flexibility. The Federated Learning (FL) technique has gained attention in recent years to address the growing concerns around data privacy. However, challenges such as communication and computation limitations of clients still need to be addressed. To mitigate these challenges, this paper introduces the Federated Dynamic Prompt Generator (FedDPG), which incorporates a dynamic prompt generator network to generate context-aware prompts based on the given input, ensuring flexibility and adaptability while prioritising data privacy in federated learning settings. Our experiments on three NLP benchmark datasets showcase that FedDPG outperforms the state-of-the-art parameter-efficient fine-tuning methods in terms of global model performance, and has significantly reduced the calculation time and the number of parameters to be sent through the FL network.
• Abstract（参考訳）: プレトレーニング言語モデル(PLM)は、様々なNLPタスクにおいて印象的なパフォーマンスを示している。 しかし、従来のPLMを下流タスクに活用するための微調整手法は、計算オーバーヘッドがかなり大きい。 プロンプトチューニングは、PLMのパラメータが凍結している間に、入力シーケンスに限られた数のパラメータを前もって更新する効率的な代替手段として登場した。 しかし、この手法のプロンプトは全ての入力に対して固定され、モデルの柔軟性が低下する。 フェデレートラーニング(FL)技術は、データプライバシに関する懸念の高まりに対処するため、近年注目を集めている。 しかし、クライアントの通信や計算の制限といった課題に対処する必要がある。 これらの課題を緩和するために、FedDPG(Federated Dynamic Prompt Generator)を導入し、動的プロンプト生成ネットワークを組み込んで、与えられた入力に基づいてコンテキスト認識プロンプトを生成し、フェデレートされた学習環境におけるデータのプライバシーを優先しながら、柔軟性と適応性を確保する。 3つのNLPベンチマークデータセットを用いた実験の結果、FedDPGは、グローバルモデルの性能の観点から、最先端のパラメータ効率の高い微調整法よりも優れており、FLネットワークを介して送信されるパラメータの数と計算時間を著しく削減していることがわかった。

関連論文リスト

• EKPC: Elastic Knowledge Preservation and Compensation for Class-Incremental Learning [53.88000987041739]
  クラスインクリメンタルラーニング(Class-Incremental Learning, CIL)は、AIモデルを、時間とともに異なるクラスのシーケンシャルに到着したデータから継続的に学習可能にすることを目的としている。 本稿では, 重要度を考慮した重要度正規化 (IPR) と CIL のためのトレーニング可能なセマンティックドリフト補償 (TSDC) を統合したElastic Knowledge Preservation and Compensation (EKPC) 法を提案する。
  論文  参考訳（メタデータ） (2025-06-14T05:19:58Z)
• Leveraging Self-Attention for Input-Dependent Soft Prompting in LLMs [17.838462425090498]
  本稿では,ソフトプロンプトを用いたパラメータ効率の高い微調整について述べる。 自己注意機構(ID-SPAM)を用いた入力依存型ソフトプロンプト手法を提案する。 各種タスクにおける最先端技術と比較して提案手法の利点を示し、改良されたゼロショット領域転送能力を示す。
  論文  参考訳（メタデータ） (2025-06-05T23:13:22Z)
• FedRTS: Federated Robust Pruning via Combinatorial Thompson Sampling [12.067872131025231]
  フェデレートラーニング(FL)は、データ共有なしで分散クライアント間で協調的なモデルトレーニングを可能にする。 現在の手法では、疎密性を維持しながらスパースモデルトポロジを周期的に調整することで、動的プルーニングを用いて効率を向上させる。 我々は,堅牢なスパースモデルの開発を目的とした新しいフレームワークであるThompson Sampling (FedRTS) によるフェデレートロバスト刈取を提案する。
  論文  参考訳（メタデータ） (2025-01-31T13:26:22Z)
• Refining Salience-Aware Sparse Fine-Tuning Strategies for Language Models [14.68920095399595]
  SPEFT(Sparsity-based PEFT)は、モデルの重み行列にトレーニング可能なスパース適応を導入する。 我々は、ゼロコストNASプロキシにインスパイアされたSPEFTのサリエンス指標を初めて体系的に評価した。 静的マスキング戦略と動的マスキング戦略を比較し、トレーニング前にゼロでないエントリを事前に決定する静的マスキングが、パフォーマンスを犠牲にすることなく効率を向上することを示した。
  論文  参考訳（メタデータ） (2024-12-18T04:14:35Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
  フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。 本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T16:37:59Z)
• Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared Pre-trained Language Models [109.06052781040916]
  本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。 また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。 その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
  論文  参考訳（メタデータ） (2023-10-19T15:13:58Z)
• Efficient Federated Prompt Tuning for Black-box Large Pre-trained Models [62.838689691468666]
  我々は,各ローカルデータセットを最適に活用するためのフェデレートブラックボックス・プロンプト・チューニング(Fed-BBPT)を提案する。 Fed-BBPTは、ローカルユーザーがレギュラーアグリゲーションを通じてプロンプトジェネレータを協調的に訓練するのを支援する中央サーバーに重点を置いている。 大規模な微調整とは対照的に、Fed-BBPTは、PTMストレージとローカルマシンの微調整に関連するメモリの課題を、十分にサイドステップで解決している。
  論文  参考訳（メタデータ） (2023-10-04T19:30:49Z)
• FedBPT: Efficient Federated Black-box Prompt Tuning for Large Language Models [22.29061931122386]
  プレトレーニング言語モデル (PLM) はNLPのランドスケープに革命をもたらし、様々なタスクで星間パフォーマンスを実現している。 本稿では,これらの課題に対処するためのフレームワークであるFederated Black-box Prompt Tuning(FedBPT)を紹介する。
  論文  参考訳（メタデータ） (2023-10-02T16:43:14Z)
• Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
  視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。 本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-27T05:43:47Z)
• Parameter-Efficient Fine-Tuning without Introducing New Latency [7.631596468553607]
  隠れ表現の代わりに事前学習パラメータに直接アダプタを適用する新しいアダプタ技術を導入する。 提案手法は,性能と記憶効率の両面で新たな最先端性を実現し,完全微調整のパラメータは0.03%に過ぎなかった。
  論文  参考訳（メタデータ） (2023-05-26T08:44:42Z)
• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。