論文の概要: FAX: Scalable and Differentiable Federated Primitives in JAX
- arxiv url: http://arxiv.org/abs/2403.07128v1
- Date: Mon, 11 Mar 2024 19:51:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 23:43:40.986690
- Title: FAX: Scalable and Differentiable Federated Primitives in JAX
- Title(参考訳): FAX:JAXにおけるスケーラブルで差別化可能なフェデレーションプリミティブ
- Authors: Keith Rush, Zachary Charles, Zachary Garrett
- Abstract要約: FAX は JAX ベースのライブラリで,大規模分散処理とフェデレーション処理をサポートするように設計されている。
FAXは、データセンターにおけるフェデレーション計算のための、プログラムが容易で、パフォーマンスが高く、スケーラブルなフレームワークを提供する。
- 参考スコア(独自算出の注目度): 10.758021887982784
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present FAX, a JAX-based library designed to support large-scale
distributed and federated computations in both data center and cross-device
applications. FAX leverages JAX's sharding mechanisms to enable native
targeting of TPUs and state-of-the-art JAX runtimes, including Pathways. FAX
embeds building blocks for federated computations as primitives in JAX. This
enables three key benefits. First, FAX computations can be translated to XLA
HLO. Second, FAX provides a full implementation of federated automatic
differentiation, greatly simplifying the expression of federated computations.
Last, FAX computations can be interpreted out to existing production
cross-device federated compute systems. We show that FAX provides an easily
programmable, performant, and scalable framework for federated computations in
the data center. FAX is available at
https://github.com/google-research/google-research/tree/master/fax .
- Abstract(参考訳): 本稿では,大規模分散処理とフェデレーション処理をサポートする JAX ベースのライブラリである FAX について述べる。
FAXはJAXのシャーディングメカニズムを利用して、TPUとPathwaysを含む最先端のJAXランタイムのネイティブターゲティングを可能にする。
FAX は JAX のプリミティブとしてフェデレートされた計算のためのビルディングブロックを埋め込んでいる。
これには3つの大きな利点がある。
まず、FAX計算をXLA HLOに変換する。
第二に、faxはフェデレーション自動微分の完全な実装を提供し、フェデレーション計算の表現を大幅に単純化する。
最後に、FAX計算を既存のデバイス間フェデレーション計算システムに解釈することができる。
FAXは、データセンターにおけるフェデレーション計算のための、プログラムが容易で、パフォーマンスが高く、スケーラブルなフレームワークを提供する。
FAXはhttps://github.com/google-research/google-research/tree/master/faxで入手できる。
関連論文リスト
- JaxDecompiler: Redefining Gradient-Informed Software Design [0.0]
JaxDecompilerは、任意のJAX関数を編集可能なPythonコードに変換するツールである。
この記事では、JAX関数を編集可能なPythonコードに変換するツールであるJaxDecompilerを紹介します。
論文 参考訳(メタデータ) (2024-03-14T20:32:31Z) - JAXbind: Bind any function to JAX [0.0]
JAXbindは、カスタム関数をJAXにバインドするために必要な労力を大幅に削減することを目指している。
JAXbindは、任意のJAX変換をサポートするカスタムのいわゆるJAXプリミティブを定義するための、使い易いPythonインターフェースを提供する。
論文 参考訳(メタデータ) (2024-03-13T16:50:04Z) - JaxMARL: Multi-Agent RL Environments in JAX [107.7560737385902]
我々は、使いやすさとGPU有効性を組み合わせた最初のオープンソースコードベースであるJaxMARLを紹介します。
私たちの実験によると、JAXベースのトレーニングパイプラインの実行は、既存のアプローチよりも最大で12500倍高速です。
また、人気のあるStarCraft Multi-Agent Challengeのベクトル化、単純化されたバージョンであるSMAXを紹介し、ベンチマークする。
論文 参考訳(メタデータ) (2023-11-16T18:58:43Z) - Flexible Job Shop Scheduling via Dual Attention Network Based
Reinforcement Learning [73.19312285906891]
フレキシブルなジョブショップスケジューリング問題(FJSP)では、複数のマシンで操作を処理でき、操作とマシンの間の複雑な関係が生じる。
近年, 深層強化学習(DRL)を用いて, FJSP解決のための優先派遣規則(PDR)を学習している。
本稿では,Deep機能抽出のための自己注意モデルと,スケーラブルな意思決定のためのDRLの利点を生かした,エンドツーエンド学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-09T01:35:48Z) - JaxPruner: A concise library for sparsity research [46.153423603424]
JaxPrunerはスパースニューラルネットワーク研究のためのオープンソースライブラリである。
メモリとレイテンシのオーバーヘッドを最小限に抑えながら、一般的なプルーニングとスパーストレーニングアルゴリズムを実装している。
論文 参考訳(メタデータ) (2023-04-27T10:45:30Z) - The Devil is in the Details: On Models and Training Regimes for Few-Shot
Intent Classification [81.60168035505039]
Few-shot Classification (FSIC) は、モジュラータスク指向の対話システムにおいて重要な課題の1つである。
クロスエンコーダアーキテクチャとエピソードメタラーニングがFSICの最高の性能をもたらすことを示す。
本研究は,FSICにおける最先端研究の実施の道筋をたどるものである。
論文 参考訳(メタデータ) (2022-10-12T17:37:54Z) - Extending Compositional Attention Networks for Social Reasoning in
Videos [84.12658971655253]
ビデオにおけるソーシャルインタラクションを推論するタスクのための,新しいディープアーキテクチャを提案する。
構成注意ネットワーク(MAC)の多段階推論機能を活用し,マルチモーダル拡張(MAC-X)を提案する。
論文 参考訳(メタデータ) (2022-10-03T19:03:01Z) - FedX: Unsupervised Federated Learning with Cross Knowledge Distillation [70.73383643450548]
FedXは教師なしのフェデレーション学習フレームワークである。
分散化および異質なローカルデータからバイアスのない表現を学ぶ。
フェデレートされた設定で、既存の教師なしアルゴリズムのアドオンモジュールとして使用できる。
論文 参考訳(メタデータ) (2022-07-19T09:56:44Z) - FedJAX: Federated learning simulation with JAX [15.552460338562673]
フェデレートラーニング(Federated Learning)は、分散データ間のトレーニングを可能にする機械学習技術である。
我々は、フェデレーション学習シミュレーションのためのJAXベースのオープンソースライブラリであるFedJAXを紹介する。
ベンチマークの結果、FedJAXは、EMNISTデータセットとStack Overflowデータセットを約1時間でフェデレーション平均化したモデルをトレーニングするのに使用できます。
論文 参考訳(メタデータ) (2021-08-04T15:41:32Z) - Scalable federated machine learning with FEDn [0.3316538626812461]
FEDnは地理的に分散した機械学習環境をシミュレートするフレームワークである。
FEDnの主な機能は、クロスデバイスとクロスサイロのトレーニング設定の両方をサポートすることである。
これによりFEDnは、幅広い機械学習アプリケーションを現実的な環境で研究するための強力なツールとなる。
論文 参考訳(メタデータ) (2021-02-27T07:30:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。