論文の概要: Collaborative Synthetic Data Generation for Knowledge Transfer in Federated Learning

• arxiv url: http://arxiv.org/abs/2607.07565v1
• Date: Wed, 08 Jul 2026 15:56:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-09 22:50:30.450553
• Title: Collaborative Synthetic Data Generation for Knowledge Transfer in Federated Learning
• Title（参考訳）: フェデレーション学習における知識伝達のための協調的合成データ生成
• Abstract要約: ワンショット・フェデレーション・ラーニング(OSFL)は、訓練を1ラウンドに制限することで、フェデレーション・ラーニングの通信オーバーヘッドに対処する。 最近の研究は、転送可能な合成データセットや蒸留物の構築を通じて、サーバ上のクライアントの知識を集約することで、この問題に対処している。 我々はニューラル画像圧縮にインスパイアされたフレームワークであるFedKT-CSD(Federated Knowledge Transfer via Collaborative Synthetic Data)を提案する。
• 参考スコア（独自算出の注目度）: 16.981834481629885
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One-shot federated learning (OSFL) addresses the communication overhead of federated learning by limiting training to a single round, but doing so without sacrificing model quality is non-trivial, particularly when client data distributions diverge. Recent work has addressed this challenge by aggregating client knowledge on the server through the construction of transferable synthetic datasets or distillates. However, most of these methods lack formal privacy guarantees, leaving a gap in jointly achieving low communication, robustness to heterogeneity, and rigorous privacy. We propose FedKT-CSD (Federated Knowledge Transfer via Collaborative Synthetic Data), a framework inspired by neural image compression that closes this gap by leveraging publicly pretrained autoencoders as a shared latent space. Each client encodes its private data in a single forward pass, computes class-conditional latent statistics, and transmits these to the server. The server aggregates these statistics via secure aggregation, adds calibrated differential privacy noise, and decodes a synthetic dataset for training a global model and further downstream tasks. This design provides formal $(\varepsilon,δ)$-differential privacy by construction, while keeping client-side computation and communication lightweight. Despite operating under privacy constraints, FedKT-CSD is competitive with and even outperforms non-private baselines across diverse datasets and heterogeneity settings, and scales to a large number of clients. Our code is available at: https://github.com/an7123/FedKT-CSD
• Abstract（参考訳）: ワンショットフェデレーション学習(OSFL)は、訓練を1ラウンドに制限することで、フェデレーション学習の通信オーバーヘッドに対処する。 最近の研究は、転送可能な合成データセットや蒸留物の構築を通じて、サーバ上のクライアントの知識を集約することで、この問題に対処している。 しかし、これらの手法の多くは正式なプライバシー保証を欠いているため、コミュニケーションの低さ、不均一性への堅牢性、厳密なプライバシーのギャップを残している。 我々は、ニューラルネットワーク圧縮にインスパイアされたフレームワークであるFedKT-CSD(Federated Knowledge Transfer via Collaborative Synthetic Data)を提案する。 各クライアントはプライベートデータを1つのフォワードパスにエンコードし、クラス条件付き遅延統計を計算し、これらをサーバに送信する。 サーバは、これらの統計データをセキュアなアグリゲーションを通じて集約し、キャリブレーションされた差分プライバシーノイズを追加し、グローバルモデルとさらに下流タスクをトレーニングするための合成データセットをデコードする。 この設計は、クライアント側の計算と通信を軽量にしながら、建設による形式的な$(\varepsilon,δ)$-差分プライバシーを提供する。 プライバシの制約の下で運用されているにもかかわらず、FedKT-CSDは、さまざまなデータセットや異種性の設定でプライベートでないベースラインよりも優れており、多数のクライアントにスケールする。 私たちのコードは、https://github.com/an7123/FedKT-CSDで利用可能です。

関連論文リスト

• Concordia: Self-Improving Synthetic Tables for Federated LLMs [80.03837595689608]
  フェデレートラーニングは、生データを共有することなく、大きな言語モデル(LLM)をトレーニングすることを可能にする。 合成データ生成とフェデレートされた検証ユーティリティを連携させるフレームワークであるConcordiaを提案する。
  論文  参考訳（メタデータ） (2026-05-11T01:17:58Z)
• Personalized federated learning based on feature fusion [2.943623084019036]
  フェデレートされた学習により、分散クライアントは、クライアントのプライバシを保護するためにデータをローカルに保存しながら、トレーニングで協力することができる。 pFedPMと呼ばれる個人化学習手法を提案する。 このプロセスでは、従来のグラデーションアップロードを機能アップロードに置き換え、通信コストを削減し、異種クライアントモデルを可能にする。
  論文  参考訳（メタデータ） (2024-06-24T12:16:51Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• FewFedPIT: Towards Privacy-preserving and Few-shot Federated Instruction Tuning [54.26614091429253]
  フェデレーション・インストラクション・チューニング(FedIT)は、複数のデータ所有者間で協調的なトレーニングを統合することで、有望なソリューションである。 FedITは、インストラクショナルデータの不足や、トレーニングデータ抽出攻撃への露出リスクなどの制限に直面している。 本稿では,FewFedPITを提案する。このFewFedPITは,フェデレートされた数ショット学習のプライバシー保護とモデル性能を同時に向上する。
  論文  参考訳（メタデータ） (2024-03-10T08:41:22Z)
• Clients Collaborate: Flexible Differentially Private Federated Learning with Guaranteed Improvement of Utility-Privacy Trade-off [31.688806024426928]
  我々は、厳格なプライバシー保証を備えた新しいフェデレーション学習フレームワーク、FedCEOを紹介した。 スペクトル空間における高周波成分を柔軟に切り離す能力を示す。 我々は、異なるプライバシー設定の下で、大幅なパフォーマンス改善と厳格なプライバシー保証を示す。
  論文  参考訳（メタデータ） (2024-02-10T17:39:34Z)
• Personalized Federated Learning with Attention-based Client Selection [57.71009302168411]
  我々は,意図に基づくクライアント選択機構を備えた新しいPFLアルゴリズムであるFedACSを提案する。 FedACSは、類似したデータ分散を持つクライアント間のコラボレーションを強化するためのアテンションメカニズムを統合している。 CIFAR10とFMNISTの実験は、FedACSの優位性を検証する。
  論文  参考訳（メタデータ） (2023-12-23T03:31:46Z)
• PEOPL: Characterizing Privately Encoded Open Datasets with Public Labels [59.66777287810985]
  プライバシとユーティリティのための情報理論スコアを導入し、不誠実なユーザの平均パフォーマンスを定量化する。 次に、ランダムなディープニューラルネットワークの使用を動機付ける符号化スキームのファミリーを構築する際のプリミティブを理論的に特徴づける。
  論文  参考訳（メタデータ） (2023-03-31T18:03:53Z)
• FedLAP-DP: Federated Learning by Sharing Differentially Private Loss Approximations [53.268801169075836]
  我々は,フェデレーション学習のための新しいプライバシ保護手法であるFedLAP-DPを提案する。 公式なプライバシー分析は、FedLAP-DPが典型的な勾配共有方式と同じプライバシーコストを発生させることを示している。 提案手法は, 通常の勾配共有法に比べて高速な収束速度を示す。
  論文  参考訳（メタデータ） (2023-02-02T12:56:46Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• DReS-FL: Dropout-Resilient Secure Federated Learning for Non-IID Clients via Secret Data Sharing [7.573516684862637]
  フェデレートラーニング(FL)は、クライアントのプライベートデータを集中的に収集することなく、機械学習モデルの協調トレーニングを可能にする。 本稿では,ラグランジュコンピューティングに基づくDropout-Resilient Secure Federated Learningフレームワークを提案する。 DReS-FLはクライアントのドロップアウトに対して耐性があり、ローカルデータセットのプライバシ保護を提供する。
  論文  参考訳（メタデータ） (2022-10-06T05:04:38Z)
• Federated Learning in Non-IID Settings Aided by Differentially Private Synthetic Data [20.757477553095637]
  Federated Learning(FL)は、クライアントが機械学習モデルを協調的にトレーニングすることを可能にする、プライバシプロモーティングフレームワークである。 連合学習における大きな課題は、局所データが不均一であるときに生じる。 我々は、クライアントが変動自動エンコーダをデプロイして、遅延データ表現の微分プライベートな手段を用いて、ローカルデータセットを合成するFLアルゴリズムであるFedDPMSを提案する。
  論文  参考訳（メタデータ） (2022-06-01T18:00:48Z)
• Stochastic Coded Federated Learning with Convergence and Privacy Guarantees [8.2189389638822]
  フェデレートラーニング(FL)は、プライバシを保存する分散機械学習フレームワークとして多くの注目を集めている。 本稿では、トラグラー問題を緩和するために、SCFL(Coded Federated Learning)というコード付きフェデレーション学習フレームワークを提案する。 我々は、相互情報差分プライバシー(MI-DP)によるプライバシー保証を特徴付け、連合学習における収束性能を分析する。
  論文  参考訳（メタデータ） (2022-01-25T04:43:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。