論文の概要: Federated Nearest Neighbor Machine Translation

• arxiv url: http://arxiv.org/abs/2302.12211v1
• Date: Thu, 23 Feb 2023 18:04:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-24 14:13:01.682314
• Title: Federated Nearest Neighbor Machine Translation
• Title（参考訳）: Federated Nearest Neighbor Machine Translation
• Authors: Yichao Du, Zhirui Zhang, Bingzhe Wu, Lemao Liu, Tong Xu and Enhong Chen
• Abstract要約: 本稿では,FedNN(FedNN)機械翻訳フレームワークを提案する。 FedNNは1ラウンドの記憶に基づくインタラクションを活用して、異なるクライアント間で知識を共有する。 実験の結果,FedAvgと比較して,FedNNは計算コストと通信コストを著しく削減することがわかった。
• 参考スコア（独自算出の注目度）: 66.8765098651988
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To protect user privacy and meet legal regulations, federated learning (FL) is attracting significant attention. Training neural machine translation (NMT) models with traditional FL algorithm (e.g., FedAvg) typically relies on multi-round model-based interactions. However, it is impractical and inefficient for machine translation tasks due to the vast communication overheads and heavy synchronization. In this paper, we propose a novel federated nearest neighbor (FedNN) machine translation framework that, instead of multi-round model-based interactions, leverages one-round memorization-based interaction to share knowledge across different clients to build low-overhead privacy-preserving systems. The whole approach equips the public NMT model trained on large-scale accessible data with a $k$-nearest-neighbor ($$kNN) classifier and integrates the external datastore constructed by private text data in all clients to form the final FL model. A two-phase datastore encryption strategy is introduced to achieve privacy-preserving during this process. Extensive experiments show that FedNN significantly reduces computational and communication costs compared with FedAvg, while maintaining promising performance in different FL settings.
• Abstract（参考訳）: ユーザのプライバシ保護と法的規制を満たすために,フェデレートラーニング(FL)が注目されている。 従来のFLアルゴリズム(例えば、FedAvg)を用いたニューラルネットワーク翻訳(NMT)モデルのトレーニングは通常、マルチラウンドモデルベースのインタラクションに依存する。 しかし、膨大な通信オーバーヘッドと大量の同期のため、機械翻訳タスクには非実用的で非効率である。 本稿では,複数ラウンドのモデルベースインタラクションの代わりに,1ラウンドの記憶に基づくインタラクションを活用して,異なるクライアント間で知識を共有することで,低オーバーヘッドのプライバシ保存システムを構築する,新しいフェデレーション近傍機械翻訳フレームワーク(FedNN)を提案する。 このアプローチ全体は、大規模アクセス可能なデータに基づいてトレーニングされたパブリックNMTモデルに$k$-nearest-neighbor($kNN)分類器を装備し、すべてのクライアントでプライベートテキストデータによって構築された外部データストアを統合して、最終的なFLモデルを形成する。 このプロセス中にプライバシ保存を実現するために、二相データストア暗号化戦略を導入する。 大規模な実験により、FedNNは異なるFL設定で有望な性能を維持しながら、FedAvgと比較して計算と通信のコストを大幅に削減することが示された。

関連論文リスト

• Enhancing Security and Privacy in Federated Learning using Update Digests and Voting-Based Defense [23.280147155814955]
  フェデレートラーニング(FL)は、有望なプライバシー保護機械学習パラダイムである。 その可能性にもかかわらず、FLはクライアントとサーバの信頼性に関する課題に直面している。 underlinetextbfFederated underlinetextbfLearning with underlinetextbfUpdate underlinetextbfDigest (FLUD) という新しいフレームワークを導入する。 FLUDは、分散学習環境におけるビザンチン攻撃に対するプライバシー保護と抵抗の重要な問題に対処する。
  論文  参考訳（メタデータ） (2024-05-29T06:46:10Z)
• Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
  フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。 そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T11:01:10Z)
• Balancing Privacy and Performance for Private Federated Learning Algorithms [4.681076651230371]
  Federated Learning(FL)は、複数のクライアントがプライベートデータを公開せずにモデルをトレーニングする分散機械学習フレームワークである。 FLアルゴリズムは、共有前に各クライアントのモデル更新にノイズを導入する差分プライバシーメカニズムを頻繁に採用する。 ローカルステップの数と通信ラウンドの間に最適なバランスがあることを示し、プライバシー予算内での収束性能を最大化する。
  論文  参考訳（メタデータ） (2023-04-11T10:42:11Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• Heterogeneous Ensemble Knowledge Transfer for Training Large Models in Federated Learning [22.310090483499035]
  フェデレートラーニング(FL)は、エッジデバイスがプライベートデータを中央集約サーバに公開することなく、協調的にモデルを学習することを可能にする。 既存のFLアルゴリズムの多くは、クライアントとサーバにまたがってデプロイされるのと同じアーキテクチャのモデルを必要とする。 本稿では,Fed-ETと呼ばれる新しいアンサンブル知識伝達手法を提案する。
  論文  参考訳（メタデータ） (2022-04-27T05:18:32Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Stochastic Coded Federated Learning with Convergence and Privacy Guarantees [8.2189389638822]
  フェデレートラーニング(FL)は、プライバシを保存する分散機械学習フレームワークとして多くの注目を集めている。 本稿では、トラグラー問題を緩和するために、SCFL(Coded Federated Learning)というコード付きフェデレーション学習フレームワークを提案する。 我々は、相互情報差分プライバシー(MI-DP)によるプライバシー保証を特徴付け、連合学習における収束性能を分析する。
  論文  参考訳（メタデータ） (2022-01-25T04:43:29Z)
• WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
  データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。 本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
  論文  参考訳（メタデータ） (2020-08-13T04:26:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。