論文の概要: Exploring the Robustness of Decentralized Training for Large Language Models

• arxiv url: http://arxiv.org/abs/2312.00843v1
• Date: Fri, 1 Dec 2023 04:04:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 20:41:06.251035
• Title: Exploring the Robustness of Decentralized Training for Large Language Models
• Title（参考訳）: 大規模言語モデルのための分散学習のロバスト性を探る
• Authors: Lin Lu, Chenxi Dai, Wangcheng Tao, Binhang Yuan, Yanan Sun, Pan Zhou
• Abstract要約: 大規模な言語モデルの分散トレーニングは、この技術を民主化するための効果的な方法として現れてきた。 本稿では,3つの主要な視点から,分散学習の堅牢性について考察する。
• 参考スコア（独自算出の注目度）: 51.41850749014054
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decentralized training of large language models has emerged as an effective way to democratize this technology. However, the potential threats associated with this approach have not been carefully discussed, which would hinder the development of decentralized training infrastructures. This paper aims to initiate discussion towards this end by exploring the robustness of decentralized training from three main perspectives. First, we demonstrate the vulnerabilities inherent in decentralized training frameworks in terms of hardware, data, and models. Second, we highlight the fundamental difference between decentralized foundation model training and vanilla federated learning, where the security techniques employed in federated learning cannot be applied directly. Third, we discuss the essential components required for a robust and efficient decentralized training framework and present a case study by modeling a concrete threat model. Our objective in this vision paper is to emphasize the importance of addressing security concerns in the context of decentralized training for large language models.
• Abstract（参考訳）: 大規模言語モデルの分散トレーニングは、この技術を民主化する効果的な方法として登場した。 しかしながら、このアプローチに関連する潜在的な脅威は慎重に議論されておらず、分散トレーニングインフラストラクチャの開発を妨げている。 本稿では,3つの視点から分散トレーニングのロバスト性を検討することにより,この目的に向けて議論を始めることを目的とする。 まず、ハードウェア、データ、モデルの観点から、分散化されたトレーニングフレームワークに固有の脆弱性を実証する。 第2に,分散基盤モデルトレーニングとバニラフェデレーション学習の基本的な違いに注目し,フェデレーション学習で採用されるセキュリティ技術を直接適用できない点について述べる。 第3に,堅牢で効率的な分散トレーニングフレームワークに必要な必須コンポーネントについて検討し,具体的な脅威モデルをモデル化したケーススタディを提案する。 本研究の目的は,大規模言語モデルの分散学習におけるセキュリティ問題に対処することの重要性を強調することである。

関連論文リスト

• FEDLAD: Federated Evaluation of Deep Leakage Attacks and Defenses [50.921333548391345]
  フェデレーテッド・ラーニング(Federated Learning)は、分散型機械学習パラダイムをプライバシ保護するものだ。 近年の研究では、Deep Leakageと呼ばれる勾配技術によって、民間の真実データを復元できることが判明している。 本稿では、Deep Leakage攻撃と防御を評価するための総合的なベンチマークであるFEDLAD Framework(Federated Evaluation of Deep Leakage Attacks and Defenses)を紹介する。
  論文  参考訳（メタデータ） (2024-11-05T11:42:26Z)
• Byzantine-Robust Aggregation for Securing Decentralized Federated Learning [0.32985979395737774]
  Federated Learning(FL)は、デバイス上でAIモデルをローカルにトレーニングすることで、プライバシの問題に対処する分散機械学習アプローチとして登場した。 分散フェデレートラーニング(DFL)は、中央サーバを排除し、単一障害点の回避を通じてスケーラビリティと堅牢性を向上させることで、FLパラダイムを拡張します。 We present a novel byzantine-robust aggregate algorithm to enhance the security of DFL environment, coin, WFAgg。
  論文  参考訳（メタデータ） (2024-09-26T11:36:08Z)
• A Trustworthy AIoT-enabled Localization System via Federated Learning and Blockchain [29.968086297894626]
  そこで我々はDFLocというフレームワークを提案し,正確な3Dローカライゼーションを実現する。 具体的には、信頼性が高く正確な屋内位置決めシステムにおける単一点故障の問題に対処する。 悪意のあるノード攻撃の懸念を軽減するため、ブロックチェーン内にモデル検証機構を更新する。
  論文  参考訳（メタデータ） (2024-07-08T04:14:19Z)
• Mitigating Communications Threats in Decentralized Federated Learning through Moving Target Defense [0.0]
  分散フェデレーションラーニング(DFL)は、フェデレーション参加者間の機械学習モデルのトレーニングを可能にした。 本稿では,DFLプラットフォームに対する通信ベースの攻撃に対抗するセキュリティモジュールを提案する。 セキュリティモジュールの有効性は、MNISTデータセットと日食攻撃の実験を通じて検証される。
  論文  参考訳（メタデータ） (2023-07-21T17:43:50Z)
• Networked Communication for Decentralised Agents in Mean-Field Games [59.01527054553122]
  平均フィールドゲームフレームワークにネットワーク通信を導入する。 当社のアーキテクチャは、中央集権型と独立した学習ケースの双方で保証されていることを証明しています。
  論文  参考訳（メタデータ） (2023-06-05T10:45:39Z)
• On the (In)security of Peer-to-Peer Decentralized Machine Learning [16.671864590599288]
  我々は、受動的・能動的に非中央集権的な敵に対して、新しい攻撃群を紹介した。 分散学習の提案者による主張とは裏腹に、分散学習は連合学習よりもセキュリティ上の優位性を提供していないことを実証する。
  論文  参考訳（メタデータ） (2022-05-17T15:36:50Z)
• Secure Distributed Training at Scale [65.7538150168154]
  ピアの存在下でのトレーニングには、ビザンティン寛容な特殊な分散トレーニングアルゴリズムが必要である。 本稿では,コミュニケーション効率を重視したセキュアな(ビザンチン耐性)分散トレーニングのための新しいプロトコルを提案する。
  論文  参考訳（メタデータ） (2021-06-21T17:00:42Z)
• Consensus Control for Decentralized Deep Learning [72.50487751271069]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上のデバイス上での学習と、大規模計算クラスタへの効率的なスケーリングを可能にする。 理論上、トレーニングコンセンサス距離が重要な量よりも低い場合、分散化されたトレーニングは集中的なトレーニングよりも早く収束することを示す。 私たちの経験的な洞察は、パフォーマンス低下を軽減するために、より分散化されたトレーニングスキームの原則設計を可能にします。
  論文  参考訳（メタデータ） (2021-02-09T13:58:33Z)
• Decentralized Federated Learning Preserves Model and Data Privacy [77.454688257702]
  我々は、訓練されたモデル間で知識を共有することができる、完全に分散化されたアプローチを提案する。 生徒は、合成された入力データを通じて教師の出力を訓練する。 その結果,教師が学習した未学習学生モデルが,教師と同等のF1スコアに達することがわかった。
  論文  参考訳（メタデータ） (2021-02-01T14:38:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。