Fugu-MT 論文翻訳(概要): Deduplication-while-Training: A Resilient Paradigm for Privacy-Preserving Cross-Client Deduplication in Federated Learning

論文の概要: Deduplication-while-Training: A Resilient Paradigm for Privacy-Preserving Cross-Client Deduplication in Federated Learning

arxiv url: http://arxiv.org/abs/2609.31262v1
Date: Fri, 25 Sep 2026 13:39:07 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-28 18:27:51.410774
Title: Deduplication-while-Training: A Resilient Paradigm for Privacy-Preserving Cross-Client Deduplication in Federated Learning
Title（参考訳）: Deduplication- While-Training: フェデレーション学習におけるプライバシ保護のクロスクライアントデデュールのためのレジリエントパラダイム
Abstract要約: 大規模言語モデル学習コーパスにおけるクロスクライアント重複データは、フェデレート学習の効率を劣化させる。本稿では,重複度と訓練を同時に行う「重複時間訓練」(DwT)を提案する。 DwT-FLは障害回復と動的接合の時間オーバーヘッドを最大93.04%、94.18%減少させることを示した。
参考スコア（独自算出の注目度）: 2.715405823857134
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Cross-client duplicate data in large language model training corpora degrades the efficiency of federated learning (FL) while exacerbating model memorization and privacy risks. Privacy-preserving cross-client deduplication effectively mitigates this issue by eliminating duplicate training data. However, existing schemes all follow a "Deduplication-before-Training" paradigm. This serially coupled paradigm incurs high fault-tolerance costs and lacks support for dynamic client joining. To this end, we propose an unexplored paradigm called "Deduplication-while-Training (DwT)", which enables concurrent deduplication and training. DwT transforms cross-client deduplication from a one-time, globally synchronous preprocessing operation into a continuous online service with state management, concurrent claiming, and failure recovery. By enabling state synchronization and task takeover, it minimizes the impact of client disconnections on the overall training progress while supporting the dynamic joining of clients. We design DwT-FL, a privacy-preserving deduplication system, to support DwT. By designing a concurrent state-claim mechanism and a hot-cold dual-queue scheduling strategy, DwT-FL enables the parallel execution of secure deduplication and model training, while effectively handling client disconnections and dynamic joins. Experimental evaluations demonstrate that, compared to the state-of-the-art scheme, DwT-FL significantly reduces the time overhead of failure recovery and dynamic joining by up to 93.04% and 94.18%, respectively. This provides an efficient and elastic concurrent deduplication scheme for dynamic and unstable FL environments.
Abstract（参考訳）: 大規模言語モデルトレーニングにおけるクロスクライアント重複データコーパスは、モデル記憶とプライバシリスクを悪化させながら、フェデレートラーニング(FL)の効率を低下させる。プライバシー保護のクロスクライアント重複重複は、重複したトレーニングデータを排除してこの問題を効果的に軽減する。しかし、既存のスキームはすべて "Deduplication-before-Training" パラダイムに従っている。このシリアル結合パラダイムは、高いフォールトトレランスコストを発生させ、動的クライアント結合のサポートを欠いている。そこで本研究では,DwT(Deduplication-while-Training)と呼ばれる非探索的パラダイムを提案する。 DwTは、クロスクライアントの重複を、1回でグローバルに同期した前処理操作から、状態管理、同時主張、障害復旧を備えた継続的オンラインサービスに変換する。状態同期とタスクの乗っ取りを可能にすることで、クライアントの動的結合をサポートしながら、クライアントの切断が全体のトレーニング進捗に与える影響を最小限にする。プライバシ保護復号システムであるDwT-FLを設計し、DwTをサポートする。 DwT-FLは、並列状態解決機構とホットコールのデュアルキュースケジューリング戦略を設計することにより、クライアントの切断と動的結合を効果的に処理しながら、セキュアな重複とモデルトレーニングの並列実行を可能にする。実験により、DwT-FLは最先端のスキームと比較して、障害回復と動的接合の時間オーバーヘッドを最大93.04%、94.18%減少させることが示された。これにより、動的かつ不安定なFL環境に対して、効率的かつ弾力的な同時重複解法が提供される。

関連論文リスト

FRAIN to Train: A Fast-and-Reliable Solution for Decentralized Federated Learning [1.1510009152620668]
非同期学習(FL)は、データの局所性を維持しながら、分散クライアント間で協調的なモデルトレーニングを可能にする。我々は、2つの重要なアイデアを取り入れることでこれらの制限を緩和する新しいFL手法であるFRAIN(Fast-and-Reliable AI Network)を導入する。 CNNイメージ分類モデルとTransformerベースの言語モデルによる実験では、FRAINはFedAvg、FedAsync、BRAINよりも安定的で堅牢な収束を実現している。
論文参考訳（メタデータ） (2025-05-07T08:20:23Z)
LATTEO: A Framework to Support Learning Asynchronously Tempered with Trusted Execution and Obfuscation [6.691450146654845]
本稿では,ネットワークエッジにおける非同期FLアグリゲーションをセキュアにするための,勾配難読化機構とTEE(Trusted Execution Environments)を組み合わせたプライバシー保護フレームワークを提案する。我々のメカニズムは、クライアントが暗黙的にTEEベースのアグリゲーションサービスを確認し、オンデマンドのクライアント参加を効果的に処理し、非同期接続の増加とともにシームレスにスケールできるようにする。
論文参考訳（メタデータ） (2025-02-07T01:21:37Z)
FedAST: Federated Asynchronous Simultaneous Training [27.492821176616815]
フェデレートラーニング(FL)は、デバイスやクライアントがプライベートデータを共有せずに機械学習(ML)モデルを協調的にトレーニングすることを可能にする。 FLにおける既存の作業の多くは、1つのタスクのモデルを効率的に学習することに集中しています。本稿では,共通データセットを用いた複数のFLモデルの同時学習を提案する。
論文参考訳（メタデータ） (2024-06-01T05:14:20Z)
FedFa: A Fully Asynchronous Training Paradigm for Federated Learning [14.4313600357833]
フェデレートラーニング(Federated Learning)は、多数のデバイス上で機械学習モデルのトレーニングをスケールするための、効率的な分散トレーニングパラダイムである。近年の最先端のソリューションでは,半非同期アプローチを用いて収束の保証による待ち時間コストの軽減が提案されている。我々はFedFaと呼ばれる完全な非同期トレーニングパラダイムを提案し、モデル収束を保証し、待ち時間を完全に排除できる。
論文参考訳（メタデータ） (2024-04-17T02:46:59Z)
Scalable Federated Unlearning via Isolated and Coded Sharding [76.12847512410767]
フェデレートされたアンラーニングは、クライアントレベルのデータエフェクトを削除するための有望なパラダイムとして登場した。本稿では,分散シャーディングと符号化コンピューティングに基づく,スケーラブルなフェデレーション・アンラーニング・フレームワークを提案する。
論文参考訳（メタデータ） (2024-01-29T08:41:45Z)
SemiSFL: Split Federated Learning on Unlabeled and Non-IID Data [34.49090830845118]
フェデレートラーニング(FL)は、複数のクライアントがネットワークエッジでプライベートデータ上で機械学習モデルを協調的にトレーニングできるようにするためのものだ。クラスタリング正規化を取り入れて,ラベルなしおよび非IIDクライアントデータでSFLを実行する,Semi-supervised SFLシステムを提案する。本システムは,訓練時間の3.8倍の高速化を実現し,目標精度を達成しつつ通信コストを約70.3%削減し,非IIDシナリオで最大5.8%の精度向上を実現する。
論文参考訳（メタデータ） (2023-07-29T02:35:37Z)
Efficient Parallel Split Learning over Resource-constrained Wireless Edge Networks [44.37047471448793]
本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
論文参考訳（メタデータ） (2023-03-26T16:09:48Z)
Edge Continual Learning for Dynamic Digital Twins over Wireless Networks [68.65520952712914]
デジタルツイン(DT)は、現実世界とメタバースの間の重要なリンクを構成する。本稿では,物理的双生児とそれに対応するサイバー双生児の親和性を正確にモデル化する新しいエッジ連続学習フレームワークを提案する。提案するフレームワークは,破滅的忘れ込みに対して頑健な,高精度かつ同期的なCTモデルを実現する。
論文参考訳（メタデータ） (2022-04-10T23:25:37Z)
Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。 FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
論文参考訳（メタデータ） (2021-08-12T14:18:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。