論文の概要: D-FROST: Decentralized Federated pRompt-tuning via Optimal tranSporT for Non-IID and Imbalanced Data

• arxiv url: http://arxiv.org/abs/2609.01802v1
• Date: Tue, 01 Sep 2026 19:16:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-03 17:53:17.941113
• Title: D-FROST: Decentralized Federated pRompt-tuning via Optimal tranSporT for Non-IID and Imbalanced Data
• Title（参考訳）: D-FROST:非IIDおよび不均衡データのための最適tranSporTによる分散フェデレーションpRompt-tuning
• Abstract要約: 分散化フェデレーション学習における即時チューニングに関する最初の研究について述べる。 D-FROSTは、最適なトランスポートベース(OTベース)の分散プロンプトチューニングアルゴリズムである。 不均一なクライアントデータに基づく実験は、分散的なプロンプトチューニングにおけるD-FROSTの有効性を示す。
• 参考スコア（独自算出の注目度）: 20.78609388955759
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Prompt tuning provides a parameter-efficient way to adapt foundation models (FMs) by freezing the pretrained backbone and updating only a small set of learnable prompts. This property makes prompt tuning especially suitable for decentralized federated learning (DFL), where exchanging full-model updates can be prohibitively expensive. However, prompt tuning in DFL introduces new challenges. Prompt sets learned from heterogeneous local data may not be index-wise aligned, making standard decentralized averaging unsuitable. In addition, the algorithm should be theoretically guaranteed to achieve consensus and make progress toward the shared objective. In this work, we provide the first study of prompt tuning in DFL. We formulate decentralized prompt tuning as a Wasserstein-based optimization problem over prompt measures, which captures the set-valued structure of prompts. We then propose D-FROST, an optimal-transport-based (OT-based) decentralized prompt-tuning algorithm that merges neighborhood prompts into compact representative prompt sets through transportation-based matching. We further analyze D-FROST by bounding the Wasserstein consensus error across clients, and establishing convergence of the network-level prompt barycenter to a neighborhood of stationarity. Experiments under heterogeneous client data demonstrate the effectiveness of D-FROST for decentralized prompt tuning.
• Abstract（参考訳）: プロンプトチューニングは、事前訓練されたバックボーンを凍結し、学習可能なプロンプトの小さなセットだけを更新することで、基礎モデル(FM)を適応するためのパラメータ効率の良い方法を提供する。 この特性は、フルモデル更新の交換が違法にコストがかかる分散フェデレーションラーニング(DFL)に特に適している。 しかし、DFLのプロンプトチューニングは新たな課題をもたらす。 不均質なローカルデータから得られたプロンプト集合はインデックス的に整合しないため、標準的な分散平均化は不適当である。 さらに、アルゴリズムは理論的にコンセンサスを達成し、共有目的に向けて前進することが保証されるべきである。 本研究は,DFLにおけるプロンプトチューニングに関する最初の研究である。 我々は,プロンプトのセット値構造をキャプチャするプロンプト測度よりも,ワッサーシュタインに基づく最適化問題として分散プロンプトチューニングを定式化する。 次に,D-FROSTを提案する。D-FROSTは,移動方式のマッチングにより,近所のプロンプトをコンパクトな代表プロンプトセットにマージする,最適なトランスポートベース(OTベース)の分散プロンプトチューニングアルゴリズムである。 さらに、クライアント間でワッサーシュタインのコンセンサス誤差を限定し、ネットワークレベルのプロンプトバリセンタを定常付近に収束させることにより、D-FROSTを解析する。 不均一なクライアントデータに基づく実験は、分散的なプロンプトチューニングにおけるD-FROSTの有効性を示す。

関連論文リスト

• DUET: Decentralized Bilevel Optimization without Lower-Level Strong Convexity [77.51981761667302]
  二次正規化二段階分散最適化 (DUET) と呼ばれる新しい単一ループDBOアルゴリズムを導入する。 DUETは、低レベル(LL)の目的に2次正規化を減少させることにより、LLSCの必要性を排除する。 我々の知る限りでは、データを不均一に分散した設定の下でLLSCなしでDBOに取り組むのは、これが初めてです。
  論文  参考訳（メタデータ） (2026-06-19T06:45:13Z)
• DECA: Decentralizing Block-Wise Adam for Efficient LLM Full-Parameter Fine-Tuning on Non-IID Data [20.24370872176655]
  大規模言語モデルの分散微調整は、プライバシに敏感な環境では難しい。 非IIDデータに基づくLLMのための資源効率の高い分散FPFTフレームワークであるDECAを提案する。 我々は,DECAが高速収束,ダウンストリーム性能,資源効率の大幅な向上を実現していることを示す。
  論文  参考訳（メタデータ） (2026-06-02T06:08:31Z)
• FedDuA: Doubly Adaptive Federated Learning [2.6108066206600555]
  フェデレーション学習(Federated Learning)は、クライアントが生データを共有せずにグローバルモデルを共同でトレーニングする分散学習フレームワークである。 我々は、ミラー降下レンズによる中央サーバ最適化手順を定式化し、FedDuAと呼ばれる新しいフレームワークを提案する。 提案した2次適応型ステップサイズルールは最小限最適であり,凸対象に対する収束解析を提供する。
  論文  参考訳（メタデータ） (2025-05-16T11:15:27Z)
• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
  本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。 実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
  論文  参考訳（メタデータ） (2024-10-09T06:17:16Z)
• Decentralized Directed Collaboration for Personalized Federated Learning [39.29794569421094]
  我々は分散トレーニングモデル計算を行う分散パーソナライズドラーニング(DPFL)に集中する。 我々は, textbfDecentralized textbfFederated textbfPartial textbfGradient textbfPedGP を組み込んだ協調型フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-28T06:52:19Z)
• Asynchronous Federated Stochastic Optimization for Heterogeneous Objectives Under Arbitrary Delays [1.9766522384767224]
  underlineAsynchunderlineRonous underlineExact underlineAveraging (textscAREA) textscAREAは勾配推定よりもモデル残差を通信し、勾配反転への露出を減らす。 最初は、最低または最大ではなく、平均的なクライアント更新頻度でスケールするレートを取得しました。
  論文  参考訳（メタデータ） (2024-05-16T14:22:49Z)
• DFedADMM: Dual Constraints Controlled Model Inconsistency for Decentralized Federated Learning [52.83811558753284]
  分散学習(DFL)は、中央サーバーを捨て、分散通信ネットワークを確立する。 既存のDFL手法は依然として、局所的な矛盾と局所的な過度なオーバーフィッティングという2つの大きな課題に悩まされている。
  論文  参考訳（メタデータ） (2023-08-16T11:22:36Z)
• Improving the Sample Efficiency of Prompt Tuning with Domain Adaptation [15.388175691903252]
  本研究では,ソースとターゲットデータ分布が類似した領域を中心に,決定境界をスムーズに調整するdoMain Adaptation (OPTIMA)を提案する。 OPTIMAは、強いベースラインと比較して、プロンプトチューニングの転送性とサンプル効率を著しく向上させる。
  論文  参考訳（メタデータ） (2022-10-06T14:44:21Z)
• Over-The-Air Federated Learning under Byzantine Attacks [43.67333971183711]
  フェデレートラーニング(FL)は多くのAIアプリケーションを実現するための有望なソリューションである。 FLは、クライアントがローカルデータを共有せずに、中央サーバが管理するトレーニングフェーズに参加することを可能にする。 FLの主な課題の1つは、通信オーバーヘッドである。 本稿では,このような攻撃の効果を低減するための送信・集約フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-05T22:09:21Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
  フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。 クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
  論文  参考訳（メタデータ） (2020-05-22T23:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。