論文の概要: Perplexity Predicts Protection: Choosing Pretrained Backbones for Worst-Client Fairness in Federated Parameter-Efficient Fine-Tuning

• arxiv url: http://arxiv.org/abs/2609.23463v1
• Date: Sun, 20 Sep 2026 08:46:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.834132
• Title: Perplexity Predicts Protection: Choosing Pretrained Backbones for Worst-Client Fairness in Federated Parameter-Efficient Fine-Tuning
• Title（参考訳）: Perplexity Predicts Protection: Federated Parameter-Efficient Fine-Tuningにおける最悪のクライアントフェアネスのための事前訓練されたバックボーンの選択
• Abstract要約: フェデレーション学習により、複数のパーティがデータをプールすることなく、共有モデルをトレーニングできる。 予めトレーニングしたバックボーンの選択が LoRA の微調整に影響を及ぼすかどうかを問う。 低紛らわしいバックボーンは、最低パフォーマンスのクライアントに対して一貫して大きな利益を生み出した。
• 参考スコア（独自算出の注目度）: 3.202769981275166
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning lets multiple parties train a shared model without pooling their data, but a client with far less data than the others can end up poorly served even when the group's average accuracy looks fine. We ask whether the choice of pretrained backbone affects this under LoRA fine-tuning, and whether per-word perplexity on the target text predicts which backbone helps the worst-off client before federated training starts. We ran 313 experiments across three text-classification datasets and three similarly sized backbones (RoBERTa, BERTweet, PubMedBERT), each compared against a task-specific baseline on identical data splits. Lower-perplexity backbones consistently produced larger gains for the worst-performing client, with a rank correlation of -0.87 across nine dataset-backbone pairs; a backbone held out of the analysis confirmed the pattern. Personalization with Ditto recovered only 4-12% of the gap between training alone and full federation, and removing aggregation entirely erased the benefit. A client's update also showed no sign of conflicting with the group's update; the two are close to orthogonal, ruling out one proposed explanation for this failure. Practically: measure perplexity on a sample of task text before choosing a backbone, and do not rely on personalization to protect a data-poor client. We release our code, predictions, and full results for others to test.
• Abstract（参考訳）: フェデレートラーニング(Federated Learning)は、複数のパーティがデータをプールすることなく、共有モデルをトレーニングすることを可能にする。 予めトレーニングしたバックボーンの選択がLoRAの微調整に影響を及ぼすのか、ターゲットテキスト上の単語ごとのパープレキシティーが、フェデレートされたトレーニングを開始する前に、どのバックボーンが最悪のクライアントに役立つかを予測できるかを問う。 3つのテキスト分類データセットと3つの同様のサイズのバックボーン(RoBERTa, BERTweet, PubMedBERT)で313の実験を行った。 また,9つのデータセットとバックボーンの相関関係が-0.87であり,解析結果から得られたバックボーンがパターンを確認した。 Dittoによるパーソナライゼーションは、トレーニング単独と完全なフェデレーションの間のギャップのわずか4-12%しか回復せず、アグリゲーションを完全に削除した。 クライアントのアップデートは、グループの更新と矛盾する兆候も示していない。2人は直交しており、この失敗について提案された説明を1つ除外している。 実際には、バックボーンを選択する前にタスクテキストのサンプルのパープレキシティを計測し、データポアクライアントを保護するためにパーソナライズに依存しない。 テストするコード、予測、完全な結果をリリースします。

関連論文リスト

• Enhancing Federated Learning Privacy with QUBO [0.0]
  フェデレーテッド・ラーニング(FL)は、プライバシを保ちながらスケーラブルな方法で機械学習(ML)モデルをトレーニングするための広く使われている方法である。 本稿では,トレーニング中のクライアントによる情報漏洩と,グローバルモデルのクエリや取得が可能な敵の2つの脅威ベクトルに着目した。 20ラウンドで300のクライアントを持つMNISTデータセットの実験では、1ラウンドあたり95.2%、累積プライバシー露出が49%減少した。
  論文  参考訳（メタデータ） (2025-11-04T18:06:30Z)
• Bayesian Coreset Optimization for Personalized Federated Learning [15.758663902804075]
  Federated Learningのような分散機械学習環境では、個々の重みを単一の中央サーバに更新する複数のクライアントが存在する。 本稿では、各クライアントのトレーニング更新を、クライアントデータ全体ではなく、個々のクライアントのコアセットベースの代表データポイントのみに基づいて、中央サーバに転送する、パーソナライズされたコアセット重み付き学習環境を提案する。
  論文  参考訳（メタデータ） (2025-11-03T17:58:14Z)
• Tackling Federated Unlearning as a Parameter Estimation Problem [2.9085589574462816]
  本研究は,情報理論に基づく効果的なフェデレート・アンラーニング・フレームワークを提案する。 本手法では, 忘れられているデータに最も敏感なパラメータのみを識別し, 選択的にリセットするために, 2次ヘッセン情報を用いる。
  論文  参考訳（メタデータ） (2025-08-26T14:24:45Z)
• Project-Probe-Aggregate: Efficient Fine-Tuning for Group Robustness [61.45587642780908]
  画像テキスト基礎モデルのパラメータ効率向上のための3段階のアプローチを提案する。 本手法は, マイノリティ標本同定とロバストトレーニングアルゴリズムの2つの重要な要素を改良する。 我々の理論分析は,PPAが少数群の識別を向上し,バランスの取れたグループエラーを最小限に抑えるためにベイズが最適であることを示している。
  論文  参考訳（メタデータ） (2025-03-12T15:46:12Z)
• Client-specific Property Inference against Secure Aggregation in Federated Learning [52.8564467292226]
  フェデレートラーニングは、さまざまな参加者の間で共通のモデルを協調的に訓練するための、広く使われているパラダイムとなっている。 多くの攻撃は、メンバーシップ、資産、または参加者データの完全な再構築のような機密情報を推測することは依然として可能であることを示した。 単純な線形モデルでは、集約されたモデル更新からクライアント固有のプロパティを効果的にキャプチャできることが示される。
  論文  参考訳（メタデータ） (2023-03-07T14:11:01Z)
• Federated Graph-based Sampling with Arbitrary Client Availability [34.95352685954059]
  本稿では,FedGS(Federated Graph-based Smpling)というフレームワークを提案する。 実験結果から,FedGSが公正なクライアントサンプリング方式を実現し,任意のクライアントアベイラビリティの下でモデル性能を向上させるという利点が確認できた。
  論文  参考訳（メタデータ） (2022-11-25T09:38:20Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。