Fugu-MT 論文翻訳(概要): Trustformer: A Trusted Federated Transformer

論文の概要: Trustformer: A Trusted Federated Transformer

arxiv url: http://arxiv.org/abs/2501.11706v1
Date: Mon, 20 Jan 2025 19:38:50 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-22 14:23:03.334651
Title: Trustformer: A Trusted Federated Transformer
Title（参考訳）: Trustformer: 信頼されたフェデレートされたトランスフォーマー
Authors: Ali Abbasi Tadi, Dima Alhadidi, Luis Rueda,
Abstract要約: トランスフォーマーモデルは、大きな言語モデル(LLM)の台頭を促している。フェデレートラーニング(FL)のようなプライバシ保護技術は潜在的な解決策を提供するが、実用的な制限はトランスフォーマートレーニングの有効性を妨げている。本稿では,競争力を維持しつつ通信オーバヘッドを低減する新しいFL法を提案する。
参考スコア（独自算出の注目度）: 0.24578723416255746
License:
Abstract: Transformers, a cornerstone of deep-learning architectures for sequential data, have achieved state-of-the-art results in tasks like Natural Language Processing (NLP). Models such as BERT and GPT-3 exemplify their success and have driven the rise of large language models (LLMs). However, a critical challenge persists: safeguarding the privacy of data used in LLM training. Privacy-preserving techniques like Federated Learning (FL) offer potential solutions, but practical limitations hinder their effectiveness for Transformer training. Two primary issues are (I) the risk of sensitive information leakage due to aggregation methods like FedAvg or FedSGD, and (II) the high communication overhead caused by the large size of Transformer models. This paper introduces a novel FL method that reduces communication overhead while maintaining competitive utility. Our approach avoids sharing full model weights by simulating a global model locally. We apply k-means clustering to each Transformer layer, compute centroids locally, and transmit only these centroids to the server instead of full weights or gradients. To enhance security, we leverage Intel SGX for secure transmission of centroids. Evaluated on a translation task, our method achieves utility comparable to state-of-the-art baselines while significantly reducing communication costs. This provides a more efficient and privacy-preserving FL solution for Transformer models.
Abstract（参考訳）: シーケンシャルデータのためのディープラーニングアーキテクチャの基盤であるTransformersは、自然言語処理(NLP)のようなタスクで最先端の結果を得た。 BERTやGPT-3のようなモデルは、その成功を実証し、大きな言語モデル(LLM)の台頭を促している。しかし、重要な課題は、LLMトレーニングで使用されるデータのプライバシ保護である。フェデレートラーニング(FL)のようなプライバシ保護技術は潜在的な解決策を提供するが、実用的な制限はトランスフォーマートレーニングの有効性を妨げている。主な問題は、(I)FedAvgやFedSGDのような集約手法による機密情報漏洩のリスクと、(II)Transformerモデルの大きなサイズに起因する高い通信オーバーヘッドである。本稿では,競争力を維持しつつ通信オーバヘッドを低減する新しいFL法を提案する。我々のアプローチは、グローバルモデルを局所的にシミュレートすることで、フルモデルウェイトを共有することを避けます。我々は,各トランスフォーマー層にk平均クラスタリングを適用し,各センチロイドを局所的に計算し,全重みや勾配ではなく,これらのセンチロイドのみをサーバに送信する。セキュリティを強化するため、我々はIntel SGXを活用してセントロイドのセキュアな送信を行う。本手法は,翻訳作業において,通信コストを大幅に削減しつつ,最先端のベースラインに匹敵する実用性を実現する。これにより、Transformerモデルのより効率的でプライバシ保護のFLソリューションが提供される。

関連論文リスト

Communication-Efficient and Tensorized Federated Fine-Tuning of Large Language Models [24.07770417615704]
大規模言語モデルの適応手法であるFedTTとFedTT+を紹介する。 FedTTは汎用的で、クロスサイロFLと大規模クロスデバイスFLの両方に適用できる。提案手法は,データ不均一性の問題に対処し,既存のPEFT手法よりも同等あるいはそれ以上の精度で処理する。
論文参考訳（メタデータ） (2024-10-16T23:50:39Z)
ACCESS-FL: Agile Communication and Computation for Efficient Secure Aggregation in Stable Federated Learning Networks [26.002975401820887]
Federated Learning(FL)は、プライバシ対応アプリケーション用に設計された分散学習フレームワークである。従来のFLは、プレーンモデルのアップデートがサーバに送信されると、機密性の高いクライアントデータを露出するリスクにアプローチする。 GoogleのSecure Aggregation(SecAgg)プロトコルは、二重マスキング技術を使用することで、この脅威に対処する。通信・計算効率の高いセキュアアグリゲーション手法であるACCESS-FLを提案する。
論文参考訳（メタデータ） (2024-09-03T09:03:38Z)
Gradient-Congruity Guided Federated Sparse Training [31.793271982853188]
Federated Learning(FL)は、データプライバシを保持しながら、このプロセスを容易にする分散機械学習技術である。 FLはまた、リソース制約のあるデバイスに関する高い計算コストや通信コストといった課題に直面している。本研究では,動的スパーストレーニングと勾配一致検査を統合したFedSGC(Gradient-Congruity Guided Federated Sparse Training)を提案する。
論文参考訳（メタデータ） (2024-05-02T11:29:48Z)
Heterogeneous Federated Learning with Splited Language Model [22.65325348176366]
フェデレート・スプリット・ラーニング(FSL)は、実際には有望な分散学習パラダイムである。本稿では,前訓練画像変換器(PIT)をFedVと呼ばれる初期モデルとして利用し,トレーニングプロセスの高速化とモデルロバスト性の向上を図る。我々は、実世界のデータセット、異なる部分的デバイス参加、異種データ分割におけるPITを用いたFSL手法の体系的評価を初めて行った。
論文参考訳（メタデータ） (2024-03-24T07:33:08Z)
Unleashing the Power of Pre-trained Language Models for Offline Reinforcement Learning [50.9692060692705]
本稿では、オフラインRL用の決定変換器をベースとした一般的なフレームワークである、$textbfMo$tion Control(textbfLaMo$)のための$textbfLanguage Modelsを紹介する。私たちのフレームワークは4つの重要なコンポーネントを強調しています。逐次事前学習したLMを用いた決定変換器の初期化(2)LoRA微細調整法を用いて特に,本手法は,限られたデータサンプルを持つシナリオにおいて,優れた性能を示す。
論文参考訳（メタデータ） (2023-10-31T16:24:17Z)
Client-side Gradient Inversion Against Federated Learning from Poisoning [59.74484221875662]
フェデレートラーニング(FL)により、分散参加者は、データを中央サーバに直接共有することなく、グローバルモデルをトレーニングできる。近年の研究では、FLは元のトレーニングサンプルの再構築を目的とした勾配反転攻撃(GIA)に弱いことが判明している。本稿では,クライアント側から起動可能な新たな攻撃手法であるクライアント側中毒性グレーディエント・インバージョン(CGI)を提案する。
論文参考訳（メタデータ） (2023-09-14T03:48:27Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
論文参考訳（メタデータ） (2023-08-09T04:34:21Z)
FedYolo: Augmenting Federated Learning with Pretrained Transformers [61.56476056444933]
本研究では,デバイス上での学習目標を達成するための事前学習型トランスフォーマー(PTF)について検討する。大規模化により,代替手法間の精度ギャップが小さくなり,ロバスト性も向上することを示す。最後に、クライアントは単一のPTFを使用して複数の無関係なタスクを同時に解決できる。
論文参考訳（メタデータ） (2023-07-10T21:08:52Z)
Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
論文参考訳（メタデータ） (2020-10-16T17:45:08Z)
Continual Local Training for Better Initialization of Federated Models [14.289213162030816]
フェデレートラーニング(Federated Learning、FL)とは、機械学習モデルを分散システムで直接訓練する学習パラダイムである。一般的なFLアルゴリズムであるemphFederated Averaging (FedAvg)は重みのばらつきに悩まされている。本稿では,この問題に対処するための局所的な継続的トレーニング戦略を提案する。
論文参考訳（メタデータ） (2020-05-26T12:27:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。