論文の概要: Fed-urlBERT: Client-side Lightweight Federated Transformers for URL Threat Analysis
- arxiv url: http://arxiv.org/abs/2312.03636v1
- Date: Wed, 6 Dec 2023 17:31:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-18 12:56:06.478365
- Title: Fed-urlBERT: Client-side Lightweight Federated Transformers for URL Threat Analysis
- Title(参考訳): Fed-urlBERT: URL脅威分析のためのクライアント側軽量フェデレーショントランス
- Authors: Yujie Li, Yanbin Wang, Haitao Xu, Zhenhao Guo, Fan Zhang, Ruitong Liu, Wenrui Ma,
- Abstract要約: プライバシの懸念とサイバーセキュリティにおけるクロスドメインコラボレーションの必要性の両方に対処するために設計されたフェデレーションURL事前トレーニングモデル。
我々のアポックは、独立および同一分散(IID)および2つの非IIDデータシナリオの下で、集中モデルに匹敵する性能を達成する。
- 参考スコア(独自算出の注目度): 6.552094912099549
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In evolving cyber landscapes, the detection of malicious URLs calls for cooperation and knowledge sharing across domains. However, collaboration is often hindered by concerns over privacy and business sensitivities. Federated learning addresses these issues by enabling multi-clients collaboration without direct data exchange. Unfortunately, if highly expressive Transformer models are used, clients may face intolerable computational burdens, and the exchange of weights could quickly deplete network bandwidth. In this paper, we propose Fed-urlBERT, a federated URL pre-trained model designed to address both privacy concerns and the need for cross-domain collaboration in cybersecurity. Fed-urlBERT leverages split learning to divide the pre-training model into client and server part, so that the client part takes up less extensive computation resources and bandwidth. Our appraoch achieves performance comparable to centralized model under both independently and identically distributed (IID) and two non-IID data scenarios. Significantly, our federated model shows about an 7% decrease in the FPR compared to the centralized model. Additionally, we implement an adaptive local aggregation strategy that mitigates heterogeneity among clients, demonstrating promising performance improvements. Overall, our study validates the applicability of the proposed Transformer federated learning for URL threat analysis, establishing a foundation for real-world collaborative cybersecurity efforts. The source code is accessible at https://github.com/Davidup1/FedURLBERT.
- Abstract(参考訳): サイバーランドスケープの進化において、悪意のあるURLの検出は、ドメイン間の協調と知識共有を要求する。
しかし、プライバシやビジネス上の感受性に関する懸念によって、コラボレーションが妨げられていることが多い。
フェデレーション学習は、直接データ交換なしでマルチクライアントのコラボレーションを可能にすることで、これらの問題に対処する。
残念ながら、高度に表現力のあるTransformerモデルを使用すると、クライアントは計算負荷が耐え難い場合があり、重みの交換はネットワーク帯域幅を急速に減らす可能性がある。
本稿では,プライバシの懸念とサイバーセキュリティにおけるクロスドメインコラボレーションの必要性に対処するために,フェデレーション付きURL事前トレーニングモデルであるFed-urlBERTを提案する。
Fed-urlBERTは分割学習を利用して、事前学習されたモデルをクライアントとサーバに分割する。
本報告では,独立および同一分散(IID)および2つの非IIDデータシナリオの下で,集中型モデルに匹敵する性能を実現する。
その結果,FPRは中央集権モデルに比べて約7%減少していることがわかった。
さらに、クライアント間の不均一性を緩和し、有望な性能改善を示す適応的な局所集約戦略を実装した。
全体として,提案するトランスフォーマーフェデレーション学習のURL脅威分析への適用性を検証するとともに,現実の協調型サイバーセキュリティ活動の基盤を確立する。
ソースコードはhttps://github.com/Davidup1/FedURLBERTでアクセスできる。
関連論文リスト
- Boosting Communication Efficiency of Federated Learning's Secure Aggregation [22.943966056320424]
Federated Learning(FL)は、クライアントデバイスがモデルをローカルにトレーニングしてサーバに送信する分散機械学習アプローチである。
FLは、トレーニングされたモデルからセンシティブなクライアントデータを推論できる、モデル逆攻撃に対して脆弱である。
GoogleのSecure Aggregation(SecAgg)プロトコルは、各クライアントのトレーニング済みモデルを隠すことによって、このデータプライバシ問題に対処する。
このポスターでは、このオーバーヘッドを大幅に削減する通信効率の高いセキュアアグリゲーション(CESA)プロトコルを紹介している。
論文 参考訳(メタデータ) (2024-05-02T10:00:16Z) - Client-side Gradient Inversion Against Federated Learning from Poisoning [59.74484221875662]
フェデレートラーニング(FL)により、分散参加者は、データを中央サーバに直接共有することなく、グローバルモデルをトレーニングできる。
近年の研究では、FLは元のトレーニングサンプルの再構築を目的とした勾配反転攻撃(GIA)に弱いことが判明している。
本稿では,クライアント側から起動可能な新たな攻撃手法であるクライアント側中毒性グレーディエント・インバージョン(CGI)を提案する。
論文 参考訳(メタデータ) (2023-09-14T03:48:27Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-11T09:58:47Z) - FedDefender: Client-Side Attack-Tolerant Federated Learning [60.576073964874]
フェデレーション学習は、プライバシを損なうことなく、分散化されたデータソースからの学習を可能にする。
悪意のあるクライアントがトレーニングプロセスに干渉する、毒殺攻撃のモデル化には脆弱である。
我々はFedDefenderと呼ばれるクライアントサイドに焦点を当てた新しい防御機構を提案し、クライアントの堅牢なローカルモデルのトレーニングを支援する。
論文 参考訳(メタデータ) (2023-07-18T08:00:41Z) - Client-specific Property Inference against Secure Aggregation in
Federated Learning [52.8564467292226]
フェデレートラーニングは、さまざまな参加者の間で共通のモデルを協調的に訓練するための、広く使われているパラダイムとなっている。
多くの攻撃は、メンバーシップ、資産、または参加者データの完全な再構築のような機密情報を推測することは依然として可能であることを示した。
単純な線形モデルでは、集約されたモデル更新からクライアント固有のプロパティを効果的にキャプチャできることが示される。
論文 参考訳(メタデータ) (2023-03-07T14:11:01Z) - FedPerm: Private and Robust Federated Learning by Parameter Permutation [2.406359246841227]
Federated Learning(FL)は、相互に信頼できないクライアントが共通の機械学習モデルを共同でトレーニングできるようにする分散学習パラダイムである。
クライアントデータのプライバシはFLで最重要である。同時に、モデルが敵のクライアントからの攻撃から保護されなければならない。
我々は、データプライバシを増幅する新しいモデル内パラメータシャッフル技術と、クライアントのモデル更新の暗号化集約を可能にするPrivate Information Retrieval(PIR)ベースの技術を組み合わせることで、これらの問題に対処する新しいFLアルゴリズムであるFedPermを提案する。
論文 参考訳(メタデータ) (2022-08-16T19:40:28Z) - Stochastic Coded Federated Learning with Convergence and Privacy
Guarantees [8.2189389638822]
フェデレートラーニング(FL)は、プライバシを保存する分散機械学習フレームワークとして多くの注目を集めている。
本稿では、トラグラー問題を緩和するために、SCFL(Coded Federated Learning)というコード付きフェデレーション学習フレームワークを提案する。
我々は、相互情報差分プライバシー(MI-DP)によるプライバシー保証を特徴付け、連合学習における収束性能を分析する。
論文 参考訳(メタデータ) (2022-01-25T04:43:29Z) - Comfetch: Federated Learning of Large Networks on Constrained Clients
via Sketching [28.990067638230254]
フェデレートラーニング(FL)は、エッジ上でのプライベートおよびコラボレーティブモデルトレーニングの一般的なパラダイムである。
我々は,グローバルニューラルネットワークの表現を用いて,クライアントが大規模ネットワークをトレーニングできる新しいアルゴリズムであるComdirectionalを提案する。
論文 参考訳(メタデータ) (2021-09-17T04:48:42Z) - Federated Multi-Target Domain Adaptation [99.93375364579484]
フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。
分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。
本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
論文 参考訳(メタデータ) (2021-08-17T17:53:05Z) - Federated Learning with Unreliable Clients: Performance Analysis and
Mechanism Design [76.29738151117583]
Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。
しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。
クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
論文 参考訳(メタデータ) (2021-05-10T08:02:27Z) - A Framework for Evaluating Gradient Leakage Attacks in Federated
Learning [14.134217287912008]
Federated Learning(FL)は、クライアントのネットワークと協調的なモデルトレーニングのための、新興の分散機械学習フレームワークである。
最近の研究では、クライアントからフェデレーションサーバにローカルパラメータの更新を共有しても、グラデーションリーク攻撃の影響を受けやすいことが示されている。
本稿では,クライアントプライバシ漏洩攻撃のさまざまな形態の評価と比較を行うための原則的フレームワークを提案する。
論文 参考訳(メタデータ) (2020-04-22T05:15:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。