論文の概要: Garfield: System Support for Byzantine Machine Learning
- arxiv url: http://arxiv.org/abs/2010.05888v2
- Date: Thu, 31 Dec 2020 13:45:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-08 07:44:05.263613
- Title: Garfield: System Support for Byzantine Machine Learning
- Title(参考訳): Garfield: ビザンティン機械学習のためのシステムサポート
- Authors: Rachid Guerraoui, Arsany Guirguis, J\'er\'emy Max Plassmann, Anton
Alexandre Ragot, S\'ebastien Rouault
- Abstract要約: 私たちは、機械学習(ML)アプリケーションを透過的に作成するライブラリであるGarfieldを紹介します。
Garfield氏は新しいオブジェクト指向設計に依存しており、コーディングの労力を削減している。
ビザンツのレジリエンスのコストに関する興味深い事実をいくつか取り上げる。
- 参考スコア(独自算出の注目度): 5.014047705634666
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present Garfield, a library to transparently make machine learning (ML)
applications, initially built with popular (but fragile) frameworks, e.g.,
TensorFlow and PyTorch, Byzantine-resilient. Garfield relies on a novel
object-oriented design, reducing the coding effort, and addressing the
vulnerability of the shared-graph architecture followed by classical ML
frameworks. Garfield encompasses various communication patterns and supports
computations on CPUs and GPUs, allowing addressing the general question of the
very practical cost of Byzantine resilience in SGD-based ML applications. We
report on the usage of Garfield on three main ML architectures: (a) a single
server with multiple workers, (b) several servers and workers, and (c)
peer-to-peer settings. Using Garfield, we highlight several interesting facts
about the cost of Byzantine resilience. In particular, (a) Byzantine
resilience, unlike crash resilience, induces an accuracy loss, (b) the
throughput overhead comes more from communication than from robust aggregation,
and (c) tolerating Byzantine servers costs more than tolerating Byzantine
workers.
- Abstract(参考訳): garfieldは、マシンラーニング(ml)アプリケーションを透過的に作成するためのライブラリで、最初はtensorflowやpytorch、byzantine-resilientなど、一般的な(ただし脆弱な)フレームワークで構築されています。
Garfield氏は、新しいオブジェクト指向設計に依存し、コーディングの労力を削減し、古典的なMLフレームワークに続く共有グラフアーキテクチャの脆弱性に対処する。
Garfieldは様々な通信パターンを包含し、CPUやGPU上での計算をサポートし、SGDベースのMLアプリケーションにおけるビザンチンレジリエンスの非常に実用的なコストに関する一般的な問題に対処することができる。
主に3つのMLアーキテクチャにおけるGarfieldの使用について報告する。
(a)複数の作業員を持つ1つのサーバ
(b)複数のサーバ及び作業員、及び
(c)ピアツーピアの設定。
Garfieldを使って、ビザンツのレジリエンスのコストに関する興味深い事実をいくつか取り上げる。
特に
(a)ビザンチンの弾力性は、クラッシュの弾力性とは異なり、精度の低下を引き起こす。
b) スループットのオーバーヘッドは、ロバストなアグリゲーションよりもコミュニケーションによるものです。
c) ビザンチンのサーバーのトレーティングは、ビザンチンの労働者をトレーティングする以上のコストがかかる。
関連論文リスト
- Dynamic Byzantine-Robust Learning: Adapting to Switching Byzantine
Workers [11.94958188311599]
Byzantine-robust学習は、フォールトトレラントな分散機械学習フレームワークとして注目されている。
ほとんどのテクニックは静的な設定を考慮しており、学習プロセス中にビザンティンマシンのアイデンティティが固定されている。
我々は、ビザンチンのアイデンティティ変更のラウンドを$mathcalO(sqrtT)$で克服する新しい方法である$textsfBROを提案する。
論文 参考訳(メタデータ) (2024-02-05T12:26:01Z) - Noise Contrastive Estimation-based Matching Framework for Low-Resource
Security Attack Pattern Recognition [49.536368818512116]
TTP(Tactics, Techniques and Procedures)は、サイバーセキュリティドメインにおける高度な攻撃パターンを表す。
そこで本研究では,TTPラベルへのテキストの割り当てが,両者の直接的な意味的類似性によって決定される,異なる学習パラダイムの問題を定式化する。
本稿では,効果的なサンプリングベース学習機構を備えたニューラルマッチングアーキテクチャを提案する。
論文 参考訳(メタデータ) (2024-01-18T19:02:00Z) - Serving Deep Learning Model in Relational Databases [72.72372281808694]
リレーショナルデータ上での深層学習(DL)モデルの実現は、様々な商業分野や科学分野において重要な要件となっている。
最先端のDL-Centricアーキテクチャは、DL計算を専用のDLフレームワークにオフロードします。
UDF-Centricアーキテクチャは、データベースシステム内の1つ以上のテンソル計算をユーザ定義関数(UDF)にカプセル化する。
potentialRelation-Centricアーキテクチャは、演算子による大規模テンソル計算を表現することを目的としている。
論文 参考訳(メタデータ) (2023-10-07T06:01:35Z) - Universal and Transferable Adversarial Attacks on Aligned Language
Models [118.41733208825278]
本稿では,アライメント言語モデルに反抗的な振る舞いを生じさせる,シンプルで効果的な攻撃手法を提案する。
驚いたことに、我々のアプローチによって生じる敵のプロンプトは、かなり伝達可能である。
論文 参考訳(メタデータ) (2023-07-27T17:49:12Z) - Network Fault-tolerant and Byzantine-resilient Social Learning via
Collaborative Hierarchical Non-Bayesian Learning [2.236663830879273]
通信障害や敵攻撃に弱いネットワーク上での非ベイズ学習の問題に対処する。
まず,パケットドロップリンクの頻繁な障害に拘わらず,平均コンセンサスを達成できる階層的頑健なプッシュサムアルゴリズムを提案する。
次に,パケットドロップによるフォールトトレラントな非ベイズ学習アルゴリズムを提案し,コンバージェンス保証を実現する。
論文 参考訳(メタデータ) (2023-07-27T15:46:46Z) - FLVoogd: Robust And Privacy Preserving Federated Learning [12.568409209047505]
プライバシを保護しながら,サーバとクライアントが共同でビザンチン攻撃を除去する,新たなフェデレート学習手法であるoogdを提案する。
サーバは、S2PCと組み合わされたDBSCAN(Spatial Clustering of Applications)の自動密度ベースの空間クラスタリングを使用して、機密性の高い個人情報を取得せずに、良質な多数派をクラスタリングする。
私たちのフレームワークは自動で適応的なので、サーバ/クライアントはトレーニング中にパラメータをチューニングする必要がありません。
論文 参考訳(メタデータ) (2022-06-24T08:48:15Z) - Federated Multi-Armed Bandits Under Byzantine Attacks [13.170519806372075]
本研究では, 偽モデル更新を送信可能なビザンティンクライアントの存在下で, FMAB問題について検討する。
我々は、ビザンツの顧客に対応するために、中央値平均推定器であるFed-MoM-UCBを提案する。
我々は,アルゴリズムパラメータ間の相互作用,回避不能なエラーマージン,後悔,通信コスト,アームの準最適差を分析した。
論文 参考訳(メタデータ) (2022-05-09T09:06:42Z) - Privatized Graph Federated Learning [57.14673504239551]
グラフによって連結された複数の単位からなるグラフフェデレーション学習を導入する。
グラフ準同型摂動はアルゴリズムが微分プライベートであることを保証するためにどのように使用できるかを示す。
論文 参考訳(メタデータ) (2022-03-14T13:48:23Z) - Verifiable Coded Computing: Towards Fast, Secure and Private Distributed
Machine Learning [13.09925205966904]
分散クラウドコンピューティングの主なボトルネックは、ストラグラー、ビザンチン労働者、データプライバシである。
本稿では,Byzantineノード検出チャレンジをトラグラー耐性から分離する検証可能なコード計算フレームワークを提案する。
実験の結果,VCCは分散ロジスティック回帰の非符号化実装を3.2times-6.9times$で高速化することがわかった。
論文 参考訳(メタデータ) (2021-07-27T17:23:09Z) - CARAFE++: Unified Content-Aware ReAssembly of FEatures [132.49582482421246]
この目標を達成するために、ユニバーサルで軽量で高効率なオペレータであるContent-Aware ReAssembly of FEatures(CARAFE++)を提案します。
CARAFE++は、インスタンス固有のコンテンツ認識処理を可能にするアダプティブカーネルをオンザフライで生成する。
計算のオーバーヘッドが無視できるすべてのタスクにおいて、一貫性と実質的な利益を示しています。
論文 参考訳(メタデータ) (2020-12-07T07:34:57Z) - Byzantine-Robust Learning on Heterogeneous Datasets via Bucketing [55.012801269326594]
ビザンチンの堅牢な分散学習では、中央サーバは、複数のワーカーに分散したデータよりも、機械学習モデルを訓練したい。
これらの労働者のごく一部は、所定のアルゴリズムから逸脱し、任意のメッセージを送ることができる。
本稿では,既存のロバストなアルゴリズムを無視可能な計算コストでヘテロジニアスなデータセットに適応させる,シンプルなバケット方式を提案する。
論文 参考訳(メタデータ) (2020-06-16T17:58:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。