論文の概要: FedAttr: Towards Privacy-preserving Client-Level Attribution in Federated LLM Fine-tuning

• arxiv url: http://arxiv.org/abs/2605.06596v1
• Date: Thu, 07 May 2026 17:21:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:12.033183
• Title: FedAttr: Towards Privacy-preserving Client-Level Attribution in Federated LLM Fine-tuning
• Title（参考訳）: FedAttr:Federated LLMファインチューニングにおけるクライアントレベル属性のプライバシ保護に向けて
• Authors: Su Zhang, Junfeng Guo, Heng Huang,
• Abstract要約: 我々はフェデレート学習のための新しいクライアントレベルの属性プロトコルであるFedAttrを提案する。 FedAttrは、ペア化されたサブセット差分メカニズムを通じて、ウォーターマークされたデータでトレーニングされたクライアントを特定する。 100%のTPRと0%のFPRを達成し、TPRでは少なくとも44.4%、FPRでは19.1%を上回り、FLトレーニング時間に比べて6.3%のオーバーヘッドしか残っていない。
• 参考スコア（独自算出の注目度）: 58.80511162314259
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Watermark radioactivity testing type of methods can detect whether a model was trained on watermarked documents, and have become key tools for protecting data ownership in the fine-tuning of large language models (LLMs). Existing works have proved their effectiveness in centralized LLM fine-tuning. However, this type of method faces several challenges and remains underexplored in federated learning (FL), a widely-applied paradigm for fine-tuning LLMs collaboratively on private data across different users. FL mainly ensures privacy through secure aggregation (SA), which allows the server to aggregate updates while keeping clients' updates private. This mechanism preserves privacy but makes it difficult to identify which client trained on watermarked documents. In this work, we propose FedAttr, a new client-level attribution protocol for FL. FedAttr identifies which clients trained on watermarked data via a paired-subset-difference mechanism, while preserving the privacy guarantees of SA and FL performance. FedAttr proceeds in three steps: (i) estimate each client's update by differencing two SA queries, (ii) score the estimate with the watermark detector via differential scoring, and (iii) combine scores across rounds via Stouffer method. We theoretically show that FedAttr produces an unbiased estimator of each client's update with bounded mutual information leakage (i.e., $O(d^*/N)$ per-round update). Moreover, FedAttr empirically achieves 100% TPR and 0% FPR, outperforming all baselines by at least 44.4% in TPR or 19.1% in FPR, with only 6.3% overhead relative to FL training time. Ablation studies confirm that FedAttr is robust to protocol parameters and configurations.
• Abstract（参考訳）: 透かし放射能試験タイプの手法は、ウォーターマークされた文書でモデルが訓練されたかどうかを検知することができ、大規模言語モデル(LLM)の微調整においてデータの所有権を保護する重要なツールとなっている。 既存の研究は、LLMファインチューニングにおけるその効果を証明している。 しかし、この種の手法はいくつかの課題に直面しており、異なるユーザ間のプライベートデータ上で協調的にLLMを微調整するための広く応用されたパラダイムである、フェデレーションドラーニング(FL)では未熟なままである。 FLは主にセキュアアグリゲーション(SA)を通じてプライバシを保証するため、サーバはクライアントの更新をプライベートに保ちながらアップデートを集約することができる。 このメカニズムは、プライバシを保存するが、ウォーターマークされたドキュメントでトレーニングされたクライアントを特定することは困難である。 本稿では,FLのための新しいクライアントレベルの属性プロトコルであるFedAttrを提案する。 FedAttrは、SAとFLのパフォーマンスのプライバシ保証を維持しながら、ペア化されたサブセット差分メカニズムを介して、ウォーターマークされたデータでトレーニングされたクライアントを特定する。 FedAttrは3つのステップで進む。 i) 2つのSAクエリを区別することで、各クライアントの更新を見積もる。 (二)差分スコアを用いて透かし検出器で見積を採点し、 (iii)Stouffer法によるラウンドごとのスコアの組み合わせ。 理論的には、FedAttrは各クライアントの更新のバイアスのない推定器を相互情報漏洩で生成する(例えば、$O(d^*/N)$ per-round update)。 さらに、FedAttrは100%のTPRと0%のFPRを経験的に達成し、全てのベースラインを少なくとも44.4%、FPR19.1%で上回り、FLトレーニング時間に対してわずか6.3%のオーバーヘッドしか達成していない。 アブレーション研究により、FedAttrはプロトコルパラメータや設定に対して堅牢であることが確認された。

関連論文リスト

• FedFG: Privacy-Preserving and Robust Federated Learning via Flow-Matching Generation [7.120183076762444]
  フェデレートラーニング(FL)は、分散クライアントがローカルなプライベートデータを使用してグローバルモデルを協調的にトレーニングすることを可能にする。 近年の研究では、従来のFLアルゴリズムはプライバシ保護の欠陥をまだ示している。 本稿では,フローマッチング生成に基づく堅牢なFLフレームワークであるFedFGを提案する。
  論文  参考訳（メタデータ） (2026-03-30T03:11:35Z)
• Local Data Quantity-Aware Weighted Averaging for Federated Learning with Dishonest Clients [32.11272564261484]
  フェデレートラーニング(FL)は、データをローカルクライアントを離れることなく、ディープラーニングモデルの協調トレーニングを可能にする。 最も一般的に使用される集約手法は、各クライアントからのデータの量に基づいて、各クライアントのコントリビューションを反映した重み付けアグリゲーションである。 We propose a novel secure underlineFederated underlineData qunderlineuantity-underlineaware weighted averaging method (FedDua)。 これにより、FLサーバはアップロードされたローカルモデル勾配に基づいて、各クライアントからのトレーニングデータの量を正確に予測できる。
  論文  参考訳（メタデータ） (2025-04-17T01:50:24Z)
• FedRand: Enhancing Privacy in Federated Learning with Randomized LoRA Subparameter Updates [58.18162789618869]
  フェデレートラーニング(FL)は、モデルを分散的にトレーニングするための広く使われているフレームワークである。 我々はFedRandフレームワークを提案し、クライアントパラメータの完全な集合を開示するのを避ける。 我々はFedRandがMIAに対するロバスト性を改善することを、関連するベースラインと比較して実証的に検証する。
  論文  参考訳（メタデータ） (2025-03-10T11:55:50Z)
• FedMIA: An Effective Membership Inference Attack Exploiting "All for One" Principle in Federated Learning [17.141646895576145]
  Federated Learning(FL)は、分散データ上で機械学習モデルをトレーニングするための有望なアプローチである。 メンバーシップ推論攻撃(MIA)は、特定のデータポイントがターゲットクライアントのトレーニングセットに属するかどうかを判断することを目的としている。 我々はFedMIAと呼ばれる3段階のメンバーシップ推論攻撃(MIA)手法を導入し、MIAの有効性を高めるため、複数の通信ラウンドにまたがる全クライアントからの更新を平均化する。
  論文  参考訳（メタデータ） (2024-02-09T09:58:35Z)
• Federated Nearest Neighbor Machine Translation [66.8765098651988]
  本稿では,FedNN(FedNN)機械翻訳フレームワークを提案する。 FedNNは1ラウンドの記憶に基づくインタラクションを活用して、異なるクライアント間で知識を共有する。 実験の結果,FedAvgと比較して,FedNNは計算コストと通信コストを著しく削減することがわかった。
  論文  参考訳（メタデータ） (2023-02-23T18:04:07Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Cross-client Label Propagation for Transductive and Semi-Supervised Federated Learning [18.422153315741134]
  XCLPは、複数のクライアントのデータからデータグラフを共同で推定し、ラベル情報をグラフ全体に伝播することによりラベル付きデータのラベルを算出する。 クライアントがデータを誰とでも共有することを避けるため、XCLPは2つの暗号的にセキュアなプロトコルを採用している。
  論文  参考訳（メタデータ） (2022-10-12T17:33:47Z)
• Understanding Clipping for Federated Learning: Convergence and Client-Level Differential Privacy [67.4471689755097]
  本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。 本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
  論文  参考訳（メタデータ） (2021-06-25T14:47:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。