Fugu-MT 論文翻訳(概要): Geometric Prior-Guided Federated Prompt Calibration

論文の概要: Geometric Prior-Guided Federated Prompt Calibration

arxiv url: http://arxiv.org/abs/2512.07208v1
Date: Mon, 08 Dec 2025 06:42:32 GMT
ステータス: 翻訳完了
システム内更新日: 2025-12-09 22:03:54.741687
Title: Geometric Prior-Guided Federated Prompt Calibration
Title（参考訳）: Geometric pre-Guided Federated Prompt Calibration
Authors: Fei Luo, Ziwei Zhao, Mingxuan Wang, Duoyang Li, Zhe Qian, Jiayi Tuo, Chenyue Zhou, Yanbiao Ma,
Abstract要約: Federated Prompt Learning (FPL)は、大規模モデルを協調的にトレーニングするためのパラメータ効率の高いソリューションを提供する。既存の手法は、アグリゲーションや正規化に重点を置いており、局所的なトレーニングバイアスの根本原因に対処できない。我々は,このバイアスを直接修正する新しいフレームワークであるGeometry-Guided Text Prompt (GGTPC)を提案する。
参考スコア（独自算出の注目度）: 21.766231067185956
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Federated Prompt Learning (FPL) offers a parameter-efficient solution for collaboratively training large models, but its performance is severely hindered by data heterogeneity, which causes locally trained prompts to become biased. Existing methods, focusing on aggregation or regularization, fail to address this root cause of local training bias. To this end, we propose Geometry-Guided Text Prompt Calibration (GGTPC), a novel framework that directly corrects this bias by providing clients with a global geometric prior. This prior, representing the shape of the global data distribution derived from the covariance matrix, is reconstructed on the server in a privacy-preserving manner. Clients then use a novel Geometry-Prior Calibration Layer (GPCL) to align their local feature distributions with this global prior during training. Extensive experiments show GGTPC's effectiveness. On the label-skewed CIFAR-100 dataset ($β$=0.1), it outperforms the state-of-the-art by 2.15\%. Under extreme skew ($β$=0.01), it improves upon the baseline by 9.17\%. Furthermore, as a plug-and-play module on the domain-skewed Office-Home dataset, it boosts FedAvg's performance by 4.60\%. These results demonstrate that GGTPC effectively mitigates data heterogeneity by correcting the fundamental local training bias, serving as a versatile module to enhance various FL algorithms.
Abstract（参考訳）: Federated Prompt Learning (FPL)は、大規模モデルを協調的にトレーニングするためのパラメータ効率のよいソリューションを提供するが、そのパフォーマンスはデータの不均一性によって著しく妨げられ、局所的に訓練されたプロンプトがバイアスとなる。既存の手法は、アグリゲーションや正規化に重点を置いており、局所的なトレーニングバイアスの根本原因に対処できない。そこで我々は,このバイアスを直接修正する新しいフレームワークであるGeometry-Guided Text Prompt Calibration (GGTPC)を提案する。この前者は、共分散行列から導出されるグローバルなデータ分布の形状を表すもので、サーバ上にプライバシ保存方式で再構成される。クライアントは、新しいGeometry-Prior Calibration Layer(GPCL)を使用して、トレーニング中にローカルな特徴分布をこのグローバルな前処理と整合させる。実験によりGGTPCの有効性が示された。ラベル付きCIFAR-100データセット(β$=0.1)では、最先端の2.15\%を上回っている。極端なスキュー(β$=0.01)の下では、ベースラインが9.17\%向上する。さらに、ドメインスキューされたOffice-Homeデータセットのプラグインモジュールとして、FedAvgのパフォーマンスを4.60\%向上させる。これらの結果から,GGTPCは局所学習バイアスを補正することにより,データ不均一性を効果的に軽減し,多様なFLアルゴリズムを強化する汎用モジュールとして機能することを示した。

関連論文リスト

Optimal Transport-based Domain Alignment as a Preprocessing Step for Federated Learning [0.48342038441006796]
Federated Learning(FL)は、機械学習のサブフィールドであり、ローカルデータを中央サーバと共有することを避ける。 FLでは、局所的に訓練されたモデルと不均衡なデータセットを融合させることで、グローバルモデルアグリゲーションの性能が低下する可能性がある。本稿では,エッジデバイスに沿ったデータの分布差を最小化してデータセットを整列する,最適なトランスポートベースの前処理アルゴリズムを提案する。
論文参考訳（メタデータ） (2025-06-04T15:35:55Z)
FedHL: Federated Learning for Heterogeneous Low-Rank Adaptation via Unbiased Aggregation [6.5370850242187855]
フェデレートラーニング(FL)は、分散データソースを使用したファンデーションモデル(FM)の微調整を容易にする。 Low-Rank Adaptation (LoRA) は通信コストの低さと高い性能で人気を博している。既存の手法ではパラメータの切り離しとバイアス付き勾配更新による公式収束保証が欠如している。
論文参考訳（メタデータ） (2025-05-24T04:12:12Z)
SMaRt: Improving GANs with Score Matching Regularity [114.43433222721025]
生成的敵ネットワーク(GAN)は通常、基礎となる多様体が複雑である非常に多様なデータから学ぶのに苦労する。スコアマッチングは、生成したデータポイントを実データ多様体へ持続的にプッシュする能力のおかげで、この問題に対する有望な解決策であることがわかった。提案手法は, 実世界のデータセットにおいて, 近似スコア関数として機能する事前学習拡散モデルを用いて, 最先端のGANの性能を継続的に向上させることができることを示す。
論文参考訳（メタデータ） (2023-11-30T03:05:14Z)
Fed-GraB: Federated Long-tailed Learning with Self-Adjusting Gradient Balancer [47.82735112096587]
本稿では,各クライアントが局所的にヘテロジニアスなデータセットを保持するFed-LT(Federated Long-tailed Learning)タスクについて検討する。本稿では,SGB(Self-Natural Gradient Balancer)モジュールからなる$textttFed-GraB$という手法を提案する。我々は、CIFAR-10-LT、CIFAR-100-LT、ImageNet-LT、iistなどの代表的なデータセットに対して、textttFed-GraB$が最先端のパフォーマンスを達成することを示す。
論文参考訳（メタデータ） (2023-10-11T15:28:39Z)
Locally Adaptive Federated Learning [30.19411641685853]
フェデレートラーニング(Federated Learning)とは、複数のクライアントが中央サーバと協調してモデルを学習する分散機械学習のパラダイムである。 Federated Averaging (FedAvg)のような標準的なフェデレーション最適化手法は、クライアント間の一般化を保証する。本稿では,各クライアント関数の局所的幾何情報を利用する局所的フェデレーション学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2023-07-12T17:02:32Z)
Divide and Contrast: Source-free Domain Adaptation via Adaptive Contrastive Learning [122.62311703151215]
Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。 DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
論文参考訳（メタデータ） (2022-11-12T09:21:49Z)
Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文参考訳（メタデータ） (2022-03-05T02:31:32Z)
Heterogeneous Federated Learning via Grouped Sequential-to-Parallel Training [60.892342868936865]
フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のためのコラボレーション機械学習パラダイムである。本稿では,この課題に対処するため,データヘテロジニアス・ロバストFLアプローチであるFedGSPを提案する。その結果,FedGSPは7つの最先端アプローチと比較して平均3.7%の精度向上を実現していることがわかった。
論文参考訳（メタデータ） (2022-01-31T03:15:28Z)
Tackling the Local Bias in Federated Graph Learning [48.887310972708036]
フェデレーショングラフ学習(FGL)では、グローバルグラフは異なるクライアントに分散し、各クライアントがサブグラフを保持する。既存のFGL手法では、クロスクライアントエッジを効果的に活用できず、トレーニング中に構造情報が失われる。集中型環境で訓練されたモデルと類似した局所モデルを作成するための新しいFGLフレームワークを提案する。
論文参考訳（メタデータ） (2021-10-22T08:22:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。