論文の概要: PrivFedTalk: Privacy-Aware Federated Diffusion with Identity-Stable Adapters for Personalized Talking-Head Generation

• arxiv url: http://arxiv.org/abs/2604.08037v1
• Date: Thu, 09 Apr 2026 09:41:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-10 18:34:05.846891
• Title: PrivFedTalk: Privacy-Aware Federated Diffusion with Identity-Stable Adapters for Personalized Talking-Head Generation
• Title（参考訳）: PrivFedTalk: 個人化されたトーキングヘッド生成のためのアイデンティティ安定型アダプタによるプライバシ対応フェデレーション拡散
• Authors: Soumya Mazumdar, Vineet Kumar Rakesh, Tapas Samanta,
• Abstract要約: PrivFedTalkは、パーソナライズされたトーキングヘッド生成のためのプライバシ対応のフェデレーションフレームワークである。 共有拡散バックボーンはクライアント間でトレーニングされ、各クライアントはローカルのプライベートオーディオビジュアルデータから軽量なLoRAIDアダプタを学習する。 更新側のプライバシーリスクを制限するために、セキュアアグリゲーションとクライアントレベルの差分プライバシがアダプタ更新に適用される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Talking-head generation has advanced rapidly with diffusion-based generative models, but training usually depends on centralized face-video and speech datasets, raising major privacy concerns. The problem is more acute for personalized talking-head generation, where identity-specific data are highly sensitive and often cannot be pooled across users or devices. PrivFedTalk is presented as a privacy-aware federated framework for personalized talking-head generation that combines conditional latent diffusion with parameter-efficient identity adaptation. A shared diffusion backbone is trained across clients, while each client learns lightweight LoRA identity adapters from local private audio-visual data, avoiding raw data sharing and reducing communication cost. To address heterogeneous client distributions, Identity-Stable Federated Aggregation (ISFA) weights client updates using privacy-safe scalar reliability signals computed from on-device identity consistency and temporal stability estimates. Temporal-Denoising Consistency (TDC) regularization is introduced to reduce inter-frame drift, flicker, and identity drift during federated denoising. To limit update-side privacy risk, secure aggregation and client-level differential privacy are applied to adapter updates. The implementation supports both low-memory GPU execution and multi-GPU client-parallel training on heterogeneous shared hardware. Comparative experiments on the present setup across multiple training and aggregation conditions with PrivFedTalk, FedAvg, and FedProx show stable federated optimization and successful end-to-end training and evaluation under constrained resources. The results support the feasibility of privacy-aware personalized talking-head training in federated environments, while suggesting that stronger component-wise, privacy-utility, and qualitative claims need further standardized evaluation.
• Abstract（参考訳）: トーキングヘッド生成は拡散ベースの生成モデルによって急速に進歩しているが、トレーニングは通常、集中型の顔ビデオと音声データセットに依存し、大きなプライバシー上の懸念を提起する。 パーソナライズされた対話ヘッド生成では、ID固有のデータが非常にセンシティブで、ユーザやデバイス間でプールできない場合が多い。 PrivFedTalkは、条件付き潜在拡散とパラメータ効率の高いアイデンティティ適応を組み合わせたパーソナライズされた対話ヘッド生成のための、プライバシ対応のフェデレーションフレームワークとして提示される。 共有拡散バックボーンはクライアント間でトレーニングされ、各クライアントはローカルのプライベートオーディオ・ビジュアルデータから軽量なLoRAIDアダプタを学習し、生データ共有を避け、通信コストを削減します。 不均一なクライアントディストリビューションに対処するため、Identity-Stable Federated Aggregation (ISFA)は、オンデバイスIDの一貫性と時間的安定性の推定から計算されたプライバシセーフなスカラー信頼性信号を使用して、クライアントのアップデートを重み付けする。 フレーム間のドリフト,フリック,アイデンティティドリフトを減少させるため,TDC正則化を導入している。 更新側のプライバシーリスクを制限するために、セキュアアグリゲーションとクライアントレベルの差分プライバシがアダプタ更新に適用される。 この実装は、低メモリGPU実行と異種共有ハードウェアでのマルチGPUクライアント並列トレーニングの両方をサポートする。 PrivFedTalk、FedAvg、FedProxによる複数のトレーニングおよびアグリゲーション条件における現在のセットアップの比較実験は、安定したフェデレーション最適化と、制約のあるリソース下でのエンドツーエンドのトレーニングと評価の成功を示している。 結果は、フェデレートされた環境におけるプライバシーを意識した個人化されたトーキングヘッドトレーニングの実現性を支持し、より強力なコンポーネント、プライバシーユーティリティ、質的なクレームには、さらなる標準化された評価が必要であることを示唆している。

関連論文リスト

• Cooperative Local Differential Privacy: Securing Time Series Data in Distributed Environments [5.982082746731629]
  本稿では,複数のユーザに対してノイズベクトルを分散させることにより,プライバシを高める,協調的局所微分プライバシー(CLDP)機構を提案する。 提案手法では、ノイズが協調的に生成され、全てのユーザのデータが集約されると、個々のプライバシーを保護しながら、全体の統計特性を保存することをキャンセルする。
  論文  参考訳（メタデータ） (2025-11-12T19:52:03Z)
• DP-FedLoRA: Privacy-Enhanced Federated Fine-Tuning for On-Device Large Language Models [17.265217612125905]
  DP-FedLoRAは、プライバシーを強化したファインチューニングフレームワークである。 LoRAベースの適応と差分プライバシーを通信効率のよい環境で統合する。 DP-FedLoRAは、強力なプライバシ保証を提供しながら、競争性能を提供することを示す。
  論文  参考訳（メタデータ） (2025-09-11T02:16:34Z)
• CoSteer: Collaborative Decoding-Time Personalization via Local Delta Steering [80.54309860395763]
  CoSteerは、ローカライズされたデルタステアリングを通じてデコード時のパーソナライズを可能にする、新しいコラボレーティブフレームワークである。 トークンレベルの最適化をオンライン学習問題として定式化し、ローカルデルタベクトルがリモートLLMのロジットを動的に調整する。 このアプローチは、生のデータや中間ベクトルではなく、最後のステアリングトークンのみを送信することで、プライバシを保護します。
  論文  参考訳（メタデータ） (2025-07-07T08:32:29Z)
• Privacy-preserving Prompt Personalization in Federated Learning for Multimodal Large Language Models [12.406403248205285]
  フェデレート・プロンプト・パーソナライゼーション(FPP)は、データの均一性と局所的なオーバーフィッティングに対処するために開発された。 我々は、パーソナライゼーションとプライバシ保証を調和させるセキュアなFPPプロトコルSecFPPを提案する。 SecFPPは、プライバシ保護ベースラインと非プライバシ保護ベースラインの両方で著しく優れています。
  論文  参考訳（メタデータ） (2025-05-28T15:09:56Z)
• PWC-MoE: Privacy-Aware Wireless Collaborative Mixture of Experts [59.5243730853157]
  クラウドサーバにホストされる大規模言語モデル(LLM)は、ローカルデバイス上の計算とストレージの負担を軽減するが、プライバシの懸念を高める。 小規模言語モデル(SLM)は、ローカルで実行されるためプライバシーが向上するが、複雑なタスクではパフォーマンスが制限される。 帯域幅制約下での計算コスト,性能,プライバシ保護のバランスをとるために,プライバシを意識したPWC-MoE(PWC-MoE)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-13T16:27:07Z)
• Privacy-Preserving Federated Embedding Learning for Localized Retrieval-Augmented Generation [60.81109086640437]
  我々はFedE4RAG(Federated Retrieval-Augmented Generation)と呼ばれる新しいフレームワークを提案する。 FedE4RAGはクライアント側RAG検索モデルの協調トレーニングを容易にする。 モデルパラメータの保護にフェデレート学習の準同型暗号化を適用する。
  論文  参考訳（メタデータ） (2025-04-27T04:26:02Z)
• Privacy-Preserving Federated Learning with Differentially Private Hyperdimensional Computing [5.667290129954206]
  プライバシー保護型フェデレーションハイパー次元コンピューティング(FedHDPrivacy)を提案する。 FedHDPrivacyは、学習ラウンド全体で累積ノイズを監視し、プライバシー制約を満たすために必要な追加ノイズのみを追加する。 FedHDPrivacyは、製造プロセスの監視のための現実世界のアプリケーションであり、標準的なFLフレームワークを超越しながら高性能を維持している。
  論文  参考訳（メタデータ） (2024-11-02T05:00:44Z)
• Noise-Aware Algorithm for Heterogeneous Differentially Private Federated Learning [21.27813247914949]
  本稿では,クライアントモデル更新における真のノイズレベルを効率的に推定するRobust-HDPを提案する。 ユーティリティと収束速度を改善し、不正なプライバシパラメータをサーバに送信する可能性のあるクライアントに対して安全である。
  論文  参考訳（メタデータ） (2024-06-05T17:41:42Z)
• FewFedPIT: Towards Privacy-preserving and Few-shot Federated Instruction Tuning [54.26614091429253]
  フェデレーション・インストラクション・チューニング(FedIT)は、複数のデータ所有者間で協調的なトレーニングを統合することで、有望なソリューションである。 FedITは、インストラクショナルデータの不足や、トレーニングデータ抽出攻撃への露出リスクなどの制限に直面している。 本稿では,FewFedPITを提案する。このFewFedPITは,フェデレートされた数ショット学習のプライバシー保護とモデル性能を同時に向上する。
  論文  参考訳（メタデータ） (2024-03-10T08:41:22Z)
• Unsupervised Model Personalization while Preserving Privacy and Scalability: An Open Problem [55.21502268698577]
  本研究では,非教師なしモデルパーソナライゼーションの課題について検討する。 この問題を探求するための新しいDual User-Adaptation Framework(DUA)を提供する。 このフレームワークは、サーバ上のモデルパーソナライズとユーザデバイス上のローカルデータ正規化に柔軟にユーザ適応を分散させる。
  論文  参考訳（メタデータ） (2020-03-30T09:35:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。