論文の概要: MAUI: Reconstructing Private Client Data in Federated Transfer Learning

• arxiv url: http://arxiv.org/abs/2509.11451v1
• Date: Sun, 14 Sep 2025 21:52:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-16 17:26:23.08945
• Title: MAUI: Reconstructing Private Client Data in Federated Transfer Learning
• Title（参考訳）: MAUI:Federated Transfer Learningにおけるプライベートクライアントデータの再構築
• Authors: Ahaan Dabholkar, Atul Sharma, Z. Berkay Celik, Saurabh Bagchi,
• Abstract要約: 統合学習(FL)におけるデータ再構成攻撃(DRA)は2つの重要な弱点を示す。 モデルアーキテクチャや重みに対するオーバート操作を必要としないステルスなDRAであるMAUIを提案する。 MAUIは再現品質においてDRAよりも優れ、PSNRスコアは40-120%高かった。
• 参考スコア（独自算出の注目度）: 18.64239297166542
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent works in federated learning (FL) have shown the utility of leveraging transfer learning for balancing the benefits of FL and centralized learning. In this setting, federated training happens after a stable point has been reached through conventional training. Global model weights are first centrally pretrained by the server on a public dataset following which only the last few linear layers (the classification head) of the model are finetuned across clients. In this scenario, existing data reconstruction attacks (DRAs) in FL show two key weaknesses. First, strongly input-correlated gradient information from the initial model layers is never shared, significantly degrading reconstruction accuracy. Second, DRAs in which the server makes highly specific, handcrafted manipulations to the model structure or parameters (for e.g., layers with all zero weights, identity mappings and rows with identical weight patterns) are easily detectable by an active client. Improving on these, we propose MAUI, a stealthy DRA that does not require any overt manipulations to the model architecture or weights, and relies solely on the gradients of the classification head. MAUI first extracts "robust" feature representations of the input batch from the gradients of the classification head and subsequently inverts these representations to the original inputs. We report highly accurate reconstructions on the CIFAR10 and ImageNet datasets on a variety of model architectures including convolution networks (CNN, VGG11), ResNets (18, 50), ShuffleNet-V2 and Vision Transformer (ViT B-32), regardless of the batch size. MAUI significantly outperforms prior DRAs in reconstruction quality, achieving 40-120% higher PSNR scores.
• Abstract（参考訳）: 近年のフェデレートラーニング(FL)の研究は、FLと集中型ラーニングの利点のバランスをとるために、トランスファーラーニングを活用できることを示してきた。 この設定では、連合訓練は従来の訓練によって安定点に達した後に行われる。 グローバルモデルの重み付けは、まずパブリックデータセット上のサーバによってトレーニングされる。 このシナリオでは、FLの既存のデータ再構成攻撃(DRA)は2つの重要な弱点を示す。 第一に、初期モデル層からの強い入力関連勾配情報は共有されず、再構成精度を著しく低下させる。 第二に、サーバがモデル構造やパラメータ(例えば、すべてのゼロ重みを持つレイヤ、同一重みパターンを持つIDマッピング、行)に対して、非常に具体的で手作りの操作を行うDRAは、アクティブクライアントによって容易に検出できる。 モデルアーキテクチャや重みに対するオーバート操作を一切必要とせず,分類ヘッドの勾配のみに依存するステルスDRAであるMAUIを提案する。 MAUIはまず、分類ヘッドの勾配から入力バッチの"robust"特徴表現を抽出し、その後、これらの表現を元の入力に反転させる。 CIFAR10とImageNetのデータセットを,バッチサイズに関わらず,畳み込みネットワーク(CNN, VGG11), ResNets (18, 50), ShuffleNet-V2, Vision Transformer (ViT B-32) など,さまざまなモデルアーキテクチャ上で高精度に再構成する。 MAUIは再現品質においてDRAよりも優れ、PSNRスコアは40-120%高かった。

関連論文リスト

• Update Your Transformer to the Latest Release: Re-Basin of Task Vectors [27.63078324151366]
  ファウンデーションモデルは、微調整によって開発された多数の特殊モデルのバックボーンとして機能する。 基礎となる事前訓練されたモデルを更新または再訓練すると、微調整されたモデルは時代遅れになる。 モデルの新しいリリースに微調整を転送することは可能ですか? 本研究では,データフリーで再学習することなく,新たなチェックポイントに微調整を移す方法について検討する。
  論文  参考訳（メタデータ） (2025-05-28T13:55:12Z)
• Is Self-Supervision Enough? Benchmarking Foundation Models Against End-to-End Training for Mitotic Figure Classification [0.37334049820361814]
  ファンデーションモデル(FM)は近年、病理学の領域で広く普及している。 本研究は, 有糸分裂型図形分類にも適用できる程度について検討する。 その結果,データ提供量にかかわらず,エンドツーエンド学習ベースラインがすべてのFM分類器を上回っていることが判明した。
  論文  参考訳（メタデータ） (2024-12-09T10:35:39Z)
• MixtureGrowth: Growing Neural Networks by Recombining Learned Parameters [19.358670728803336]
  ほとんどのディープニューラルネットワークは、固定されたネットワークアーキテクチャの下でトレーニングされており、アーキテクチャの変更時に再トレーニングを必要とする。 これを回避するために、時間とともにランダムな重みを加えて小さなネットワークから成長させ、徐々にターゲットネットワークサイズを達成できる。 このナイーブなアプローチは、成長するプロセスに多くのノイズをもたらすため、実際には不足しています。
  論文  参考訳（メタデータ） (2023-11-07T11:37:08Z)
• NORM: Knowledge Distillation via N-to-One Representation Matching [18.973254404242507]
  本稿では,2つの線形層からなる簡易な特徴変換 (FT) モジュールに依存する2段階の知識蒸留法を提案する。 教師ネットワークが学習した無傷情報を保存するため、我々のFTモジュールは学生ネットワークの最後の畳み込み層にのみ挿入される。 拡張された生徒表現を、教師と同じ数の特徴チャネルを持つN個の非重複特徴セグメントに順次分割することにより、教師表現を同時に近似させる。
  論文  参考訳（メタデータ） (2023-05-23T08:15:45Z)
• BAFFLE: A Baseline of Backpropagation-Free Federated Learning [71.09425114547055]
  フェデレートラーニング(FL)は、分散クライアントがローカルデータを共有せずにサーバモデルをまとめて訓練する一般的な原則である。 我々は、バックプロパゲーションを複数のフォワードプロセスに置き換えて勾配を推定する、BAFFLEと呼ばれる、バックプロパゲーションフリーなフェデレーション学習を開発する。 BAFFLEは、1)メモリ効率が高く、アップロード帯域幅に適しており、2)推論のみのハードウェア最適化とモデル量子化やプルーニングと互換性があり、3)信頼できる実行環境に適している。
  論文  参考訳（メタデータ） (2023-01-28T13:34:36Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• Fast-iTPN: Integrally Pre-Trained Transformer Pyramid Network with Token Migration [138.24994198567794]
  ITPNは2つの精巧な設計で生まれ、1)視覚変換器を用いた最初の事前訓練型特徴ピラミッド(ViT)である。 Fast-iTPNは推論手順を最大70%高速化でき、性能損失は無視できる。
  論文  参考訳（メタデータ） (2022-11-23T06:56:12Z)
• FedAvg with Fine Tuning: Local Updates Lead to Representation Learning [54.65133770989836]
  Federated Averaging (FedAvg)アルゴリズムは、クライアントノードでのいくつかのローカルな勾配更新と、サーバでのモデル平均更新の交互化で構成されている。 我々は、FedAvgの出力の一般化の背景には、クライアントのタスク間の共通データ表現を学習する能力があることを示す。 異種データを用いたフェデレーション画像分類におけるFedAvgの表現学習能力を示す実証的証拠も提供する。
  論文  参考訳（メタデータ） (2022-05-27T00:55:24Z)
• Train your classifier first: Cascade Neural Networks Training from upper layers to lower layers [54.47911829539919]
  我々は,高品質な分類器を探索するアルゴリズムとして見ることのできる,新しいトップダウン学習手法を開発した。 本研究では,自動音声認識(ASR)タスクと言語モデリングタスクについて検討した。 提案手法は,Wall Street Journal 上でのリカレントニューラルネットワーク ASR モデル,Switchboard 上での自己注意型 ASR モデル,WikiText-2 上での AWD-LSTM 言語モデルなど,一貫して改善されている。
  論文  参考訳（メタデータ） (2021-02-09T08:19:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。