論文の概要: Exploring the Robustness of Decentralized Training for Large Language
Models
- arxiv url: http://arxiv.org/abs/2312.00843v1
- Date: Fri, 1 Dec 2023 04:04:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 20:41:06.251035
- Title: Exploring the Robustness of Decentralized Training for Large Language
Models
- Title(参考訳): 大規模言語モデルのための分散学習のロバスト性を探る
- Authors: Lin Lu, Chenxi Dai, Wangcheng Tao, Binhang Yuan, Yanan Sun, Pan Zhou
- Abstract要約: 大規模な言語モデルの分散トレーニングは、この技術を民主化するための効果的な方法として現れてきた。
本稿では,3つの主要な視点から,分散学習の堅牢性について考察する。
- 参考スコア(独自算出の注目度): 51.41850749014054
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Decentralized training of large language models has emerged as an effective
way to democratize this technology. However, the potential threats associated
with this approach have not been carefully discussed, which would hinder the
development of decentralized training infrastructures. This paper aims to
initiate discussion towards this end by exploring the robustness of
decentralized training from three main perspectives. First, we demonstrate the
vulnerabilities inherent in decentralized training frameworks in terms of
hardware, data, and models. Second, we highlight the fundamental difference
between decentralized foundation model training and vanilla federated learning,
where the security techniques employed in federated learning cannot be applied
directly. Third, we discuss the essential components required for a robust and
efficient decentralized training framework and present a case study by modeling
a concrete threat model. Our objective in this vision paper is to emphasize the
importance of addressing security concerns in the context of decentralized
training for large language models.
- Abstract(参考訳): 大規模言語モデルの分散トレーニングは、この技術を民主化する効果的な方法として登場した。
しかしながら、このアプローチに関連する潜在的な脅威は慎重に議論されておらず、分散トレーニングインフラストラクチャの開発を妨げている。
本稿では,3つの視点から分散トレーニングのロバスト性を検討することにより,この目的に向けて議論を始めることを目的とする。
まず、ハードウェア、データ、モデルの観点から、分散化されたトレーニングフレームワークに固有の脆弱性を実証する。
第2に,分散基盤モデルトレーニングとバニラフェデレーション学習の基本的な違いに注目し,フェデレーション学習で採用されるセキュリティ技術を直接適用できない点について述べる。
第3に,堅牢で効率的な分散トレーニングフレームワークに必要な必須コンポーネントについて検討し,具体的な脅威モデルをモデル化したケーススタディを提案する。
本研究の目的は,大規模言語モデルの分散学習におけるセキュリティ問題に対処することの重要性を強調することである。
関連論文リスト
- Mitigating Communications Threats in Decentralized Federated Learning
through Moving Target Defense [0.0]
分散フェデレーションラーニング(DFL)は、フェデレーション参加者間の機械学習モデルのトレーニングを可能にした。
本稿では,DFLプラットフォームに対する通信ベースの攻撃に対抗するセキュリティモジュールを提案する。
セキュリティモジュールの有効性は、MNISTデータセットと日食攻撃の実験を通じて検証される。
論文 参考訳(メタデータ) (2023-07-21T17:43:50Z) - When Decentralized Optimization Meets Federated Learning [41.58479981773202]
フェデレーション学習は、分散データから知識を抽出するための新しい学習パラダイムである。
既存のフェデレートされた学習アプローチのほとんどは、単一ポイントの障害に対して脆弱な集中的な設定に集中しています。
この問題に対処する別の戦略は、分散化された通信トポロジである。
論文 参考訳(メタデータ) (2023-06-05T03:51:14Z) - Certified Robustness in Federated Learning [54.03574895808258]
我々は,フェデレーショントレーニングとパーソナライゼーション,および認定ロバストネスの相互作用について検討した。
単純なフェデレーション平均化技術は, より正確であるだけでなく, より精度の高いロバストモデルの構築にも有効であることがわかった。
論文 参考訳(メタデータ) (2022-06-06T12:10:53Z) - On the (In)security of Peer-to-Peer Decentralized Machine Learning [16.671864590599288]
我々は、受動的・能動的に非中央集権的な敵に対して、新しい攻撃群を紹介した。
分散学習の提案者による主張とは裏腹に、分散学習は連合学習よりもセキュリティ上の優位性を提供していないことを実証する。
論文 参考訳(メタデータ) (2022-05-17T15:36:50Z) - Secure Distributed Training at Scale [65.7538150168154]
ピアの存在下でのトレーニングには、ビザンティン寛容な特殊な分散トレーニングアルゴリズムが必要である。
本稿では,コミュニケーション効率を重視したセキュアな(ビザンチン耐性)分散トレーニングのための新しいプロトコルを提案する。
論文 参考訳(メタデータ) (2021-06-21T17:00:42Z) - Consensus Control for Decentralized Deep Learning [72.50487751271069]
ディープラーニングモデルの分散トレーニングは、ネットワーク上のデバイス上での学習と、大規模計算クラスタへの効率的なスケーリングを可能にする。
理論上、トレーニングコンセンサス距離が重要な量よりも低い場合、分散化されたトレーニングは集中的なトレーニングよりも早く収束することを示す。
私たちの経験的な洞察は、パフォーマンス低下を軽減するために、より分散化されたトレーニングスキームの原則設計を可能にします。
論文 参考訳(メタデータ) (2021-02-09T13:58:33Z) - Decentralized Federated Learning Preserves Model and Data Privacy [77.454688257702]
我々は、訓練されたモデル間で知識を共有することができる、完全に分散化されたアプローチを提案する。
生徒は、合成された入力データを通じて教師の出力を訓練する。
その結果,教師が学習した未学習学生モデルが,教師と同等のF1スコアに達することがわかった。
論文 参考訳(メタデータ) (2021-02-01T14:38:54Z) - Improving adversarial robustness of deep neural networks by using
semantic information [17.887586209038968]
対人訓練は、敵の堅牢性を改善するための主要な方法であり、対人攻撃に対する第一線である。
本稿では,ネットワーク全体から,あるクラスに対応する決定境界に近い領域の重要部分に焦点を移す,対向ロバスト性の問題に対する新たな視点を提供する。
MNISTとCIFAR-10データセットの実験的結果は、この手法がトレーニングデータから非常に小さなデータセットを使用しても、敵の堅牢性を大幅に向上することを示している。
論文 参考訳(メタデータ) (2020-08-18T10:23:57Z) - Byzantine-resilient Decentralized Stochastic Gradient Descent [85.15773446094576]
分散学習システムのビザンチンレジリエンスに関する詳細な研究について述べる。
ビザンチンフォールトトレランスを用いた分散学習を支援する新しいアルゴリズムUBARを提案する。
論文 参考訳(メタデータ) (2020-02-20T05:11:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。