論文の概要: HawkEye: Statically and Accurately Profiling the Communication Cost of Models in Multi-party Learning

• arxiv url: http://arxiv.org/abs/2502.11029v1
• Date: Sun, 16 Feb 2025 07:49:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:07:57.588613
• Title: HawkEye: Statically and Accurately Profiling the Communication Cost of Models in Multi-party Learning
• Title（参考訳）: HawkEye: マルチパーティラーニングにおけるモデルの通信コストの統計的かつ正確なプロファイリング
• Authors: Wenqiang Ruan, Xin Lin, Ruisheng Zhou, Guopeng Lin, Shui Yu, Weili Han,
• Abstract要約: マルチパーティコンピューティング(MPC)ベースの機械学習(MPL)は、プライバシ保護を伴う複数のパーティからのデータを活用するための重要な技術となっている。 近年,MPL の通信オーバーヘッドを低減するため,様々な MPC 対応モデルが提案されている。 MPCフレンドリーなモデルの最適化の中で、この課題に取り組む重要な要素は、モデルの通信コストをプロファイリングすることである。
• 参考スコア（独自算出の注目度）: 19.652313502216224
• License:
• Abstract: Multi-party computation (MPC) based machine learning, referred to as multi-party learning (MPL), has become an important technology for utilizing data from multiple parties with privacy preservation. In recent years, in order to apply MPL in more practical scenarios, various MPC-friendly models have been proposedto reduce the extraordinary communication overhead of MPL. Within the optimization of MPC-friendly models, a critical element to tackle the challenge is profiling the communication cost of models. However, the current solutions mainly depend on manually establishing the profiles to identify communication bottlenecks of models, often involving burdensome human efforts in a monotonous procedure. In this paper, we propose HawkEye, a static model communication cost profiling framework, which enables model designers to get the accurate communication cost of models in MPL frameworks without dynamically running the secure model training or inference processes on a specific MPL framework. Firstly, to profile the communication cost of models with complex structures, we propose a static communication cost profiling method based on a prefix structure that records the function calling chain during the static analysis. Secondly, HawkEye employs an automatic differentiation library to assist model designers in profiling the communication cost of models in PyTorch. Finally, we compare the static profiling results of HawkEye against the profiling results obtained through dynamically running secure model training and inference processes on five popular MPL frameworks, CryptFlow2, CrypTen, Delphi, Cheetah, and SecretFlow-SEMI2K. The experimental results show that HawkEye can accurately profile the model communication cost without dynamic profiling.
• Abstract（参考訳）: マルチパーティコンピューティング(MPC)ベースの機械学習(MPL)は、プライバシ保護を伴う複数のパーティからのデータを活用するための重要な技術となっている。 近年、MPLをより実践的なシナリオに適用するために、MPLの異常な通信オーバーヘッドを低減するために、様々なMPCフレンドリーなモデルが提案されている。 MPCフレンドリーなモデルの最適化の中で、この課題に取り組む重要な要素は、モデルの通信コストをプロファイリングすることである。 しかし、現在のソリューションは主にモデルの通信ボトルネックを特定するためのプロファイルを手動で確立することに依存しており、多くの場合、単調な手続きにおいて人的負担を伴う。 本稿では,モデル設計者が特定のMPLフレームワーク上でセキュアなモデルトレーニングや推論プロセスを動的に実行することなく,MPLフレームワークにおけるモデルの正確な通信コストを得ることを可能にする静的モデル通信コストプロファイリングフレームワークであるHawkeEyeを提案する。 まず、複雑な構造を持つモデルの通信コストをプロファイリングするために、静的解析中に関数呼び出しチェーンを記録するプレフィックス構造に基づく静的通信コストプロファイリング手法を提案する。 第二に、HawkeEyeはPyTorchにおけるモデルの通信コストをプロファイリングするモデルデザイナを支援するために、自動微分ライブラリを使用している。 最後に、HawkEyeの静的プロファイリング結果と、CryptFlow2、CrypTen、Delphi、Cheetah、SecretFlow-SEMI2Kという5つの人気のあるMPLフレームワーク上で、セキュアなモデルトレーニングと推論プロセスを動的に実行することで得られるプロファイリング結果を比較した。 実験結果から,HawkeEyeは動的プロファイリングを使わずに,モデル通信コストを正確にプロファイリングできることがわかった。

関連論文リスト

• Order of Magnitude Speedups for LLM Membership Inference [5.124111136127848]
  大規模言語モデル(LLM)は、コンピューティングを広く革新させるという約束を持っているが、その複雑さと広範なトレーニングデータもまた、プライバシの脆弱性を露呈している。 LLMに関連する最も単純なプライバシーリスクの1つは、メンバーシップ推論攻撃(MIA)に対する感受性である。 文書がモデルのトレーニングセットに属しているか否かを判断するために,小さな量子レグレッションモデルのアンサンブルを利用する低コストMIAを提案する。
  論文  参考訳（メタデータ） (2024-09-22T16:18:14Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Majority Kernels: An Approach to Leverage Big Model Dynamics for Efficient Small Model Training [32.154166415680066]
  蒸留、圧縮、量子化といった手法は、高性能な大きなモデルを利用してより小さな性能のモデルを誘導するのに役立つ。 本稿では、単一トレーニングランが同時に、より大きなパフォーマンスモデルをトレーニングし、より小さなデプロイメントモデルを導出できるという仮説を考察する。
  論文  参考訳（メタデータ） (2024-02-07T17:07:41Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Federated Learning from Pre-Trained Models: A Contrastive Learning Approach [43.893267526525904]
  Federated Learning(FL)は、分散型クライアントがプライベートデータを共有せずに協調的に学習できる機械学習パラダイムである。 過剰な計算と通信要求は、現在のFLフレームワークに課題をもたらす。 本稿では、クライアントが複数の固定された事前学習モデルによって生成された表現を融合させることを共同で学習する軽量フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-21T03:16:57Z)
• METRO: Efficient Denoising Pretraining of Large Scale Autoencoding Language Models with Model Generated Signals [151.3601429216877]
  本稿では,補助モデルにより生成された学習信号を用いて,大規模自動符号化言語モデルの事前学習を行う。 我々は「モデル生成dEnoising TRaining Objective」(METRO)というレシピを提案する。 結果、最大54億のパラメータからなるMETRO-LMは、GLUE、SuperGLUE、SQuADベンチマークで新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-04-13T21:39:15Z)
• Adaptive Reliability Analysis for Multi-fidelity Models using a Collective Learning Strategy [6.368679897630892]
  本研究は,信頼性解析のための適応多忠実ガウス法(adaptive multi-fidelity Gaussian process for reliability analysis,AMGPRA)という新しい手法を提案する。 提案手法は,最先端の単相・多相の手法と比較して計算コストを削減し,類似あるいは高い精度を実現する。 AMGPRAのキーとなる応用は、複雑で高価な物理ベースの計算モデルを用いた高忠実度不安定性モデリングである。
  論文  参考訳（メタデータ） (2021-09-21T14:42:58Z)
• Model-Augmented Q-learning [112.86795579978802]
  モデルベースRLの構成要素を付加したMFRLフレームワークを提案する。 具体的には、$Q$-valuesだけでなく、共有ネットワークにおける遷移と報酬の両方を見積もる。 提案手法は,MQL (Model-augmented $Q$-learning) とよばれる提案手法により,真に報いられた学習によって得られる解と同一のポリシ不変解が得られることを示す。
  論文  参考訳（メタデータ） (2021-02-07T17:56:50Z)
• Loosely Coupled Federated Learning Over Generative Models [6.472716351335859]
  プライベートデータをアップロードすることなく、さまざまなクライアント間で協調的な機械学習を実現するために、フェデレートラーニング(FL)が提案された。 本稿では,低通信コストと不均一なフェデレーション学習を実現するために,Losely Coupled Federated Learning (LC-FL)を提案する。
  論文  参考訳（メタデータ） (2020-09-28T01:09:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。