論文の概要: Efficient Training of Large-scale Industrial Fault Diagnostic Models
through Federated Opportunistic Block Dropout
- arxiv url: http://arxiv.org/abs/2302.11485v1
- Date: Wed, 22 Feb 2023 16:32:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-23 14:37:28.581746
- Title: Efficient Training of Large-scale Industrial Fault Diagnostic Models
through Federated Opportunistic Block Dropout
- Title（参考訳）: フェデレーション・オポチュニスティック・ブロック・ドロップアウトによる大規模産業断層診断モデルの効率的な訓練
- Authors: Yuanyuan Chen, Zichen Chen, Sheng Guo, Yansong Zhao, Zelei Liu,
Pengcheng Wu, Chengyi Yang, Zengxiang Li, Han Yu
- Abstract要約: 産業用故障診断モデルトレーニングのためのFEDOBD(Federated Opportunistic Block Dropout)アプローチを開発し,展開する。
FEDOBDは大規模モデルをセマンティックブロックに分解し、FL参加者が選択したブロックを定量的にアップロードすることを可能にする。
モデル性能を維持しながら通信オーバーヘッドを大幅に削減する。
- 参考スコア（独自算出の注目度）: 17.784638768688144
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Artificial intelligence (AI)-empowered industrial fault diagnostics is
important in ensuring the safe operation of industrial applications. Since
complex industrial systems often involve multiple industrial plants (possibly
belonging to different companies or subsidiaries) with sensitive data collected
and stored in a distributed manner, collaborative fault diagnostic model
training often needs to leverage federated learning (FL). As the scale of the
industrial fault diagnostic models are often large and communication channels
in such systems are often not exclusively used for FL model training, existing
deployed FL model training frameworks cannot train such models efficiently
across multiple institutions. In this paper, we report our experience
developing and deploying the Federated Opportunistic Block Dropout (FEDOBD)
approach for industrial fault diagnostic model training. By decomposing
large-scale models into semantic blocks and enabling FL participants to
opportunistically upload selected important blocks in a quantized manner, it
significantly reduces the communication overhead while maintaining model
performance. Since its deployment in ENN Group in February 2022, FEDOBD has
served two coal chemical plants across two cities in China to build industrial
fault prediction models. It helped the company reduce the training
communication overhead by over 70% compared to its previous AI Engine, while
maintaining model performance at over 85% test F1 score. To our knowledge, it
is the first successfully deployed dropout-based FL approach.
- Abstract（参考訳）: 人工知能(ai)を応用した産業事故診断は,産業応用の安全な運用を確保する上で重要である。
複雑な産業システムは、しばしば複数の産業プラント(おそらく異なる企業や子会社に属する)が分散的に収集・保存されているため、協調的故障診断モデルトレーニングは連邦学習(FL)を活用する必要がある。
産業的故障診断モデルの規模は大きいことが多く、そのようなシステム内の通信チャネルはFLモデルトレーニングにのみ使用されないことが多いため、既存のFLモデルトレーニングフレームワークは、複数の機関でそのようなモデルを効率的に訓練することはできない。
本稿では,産業故障診断モデルトレーニングのためのFEDOBD(Federated Opportunistic Block Dropout)アプローチの開発と展開経験について報告する。
大規模モデルをセマンティックブロックに分解し、FL参加者が選択した重要なブロックを定量的にアップロードすることで、モデル性能を維持しながら通信オーバーヘッドを大幅に削減する。
2022年2月にENNグループに配備されて以来、FEDOBDは中国の2つの都市に2つの石炭化学プラントを提供し、工業的故障予測モデルを構築してきた。
これまでのAIエンジンと比較して、トレーニングコミュニケーションのオーバーヘッドを70%以上削減し、モデルパフォーマンスを85%以上のテストF1スコアで維持した。
私たちの知る限り、DropoutベースのFLアプローチが最初に成功しました。
関連論文リスト
- Digital Twin-Assisted Federated Learning with Blockchain in Multi-tier Computing Systems [67.14406100332671]
産業用 4.0 システムでは、リソース制約のあるエッジデバイスが頻繁にデータ通信を行う。
本稿では,デジタルツイン (DT) とフェデレーション付きデジタルツイン (FL) 方式を提案する。
提案手法の有効性を数値解析により検証した。
論文 参考訳（メタデータ） (2024-11-04T17:48:02Z) - Federated Learning framework for LoRaWAN-enabled IIoT communication: A case study [41.831392507864415]
異常検出は、産業部品の異常を防止し、発見する上で重要な役割を担っている。
従来の機械学習は、LoRaWANのようなリソース制約のある環境で異常検出モデルをデプロイする際の課題に直面している。
フェデレートラーニング(FL)は、分散モデルのトレーニング、プライバシの問題への対処、データ転送の最小化によって、この問題を解決する。
論文 参考訳（メタデータ） (2024-10-15T13:48:04Z) - Federated Meta-Learning for Few-Shot Fault Diagnosis with Representation
Encoding [21.76802204235636]
本稿では,数発の故障診断のための表現符号化ベースフェデレーションメタラーニング(REFML)を提案する。
REFMLは、トレーニングクライアントの固有の一般化を活用して、効果的に、アウト・オブ・ディストリビューションの利点に変換する。
同じ機器の非表示作業条件でテストすると2.17%-6.50%、全く見えない機器でテストすると13.44%-18.33%の精度で精度が向上する。
論文 参考訳（メタデータ） (2023-10-13T10:48:28Z) - A Generative Approach for Production-Aware Industrial Network Traffic
Modeling [70.46446906513677]
ドイツにあるTrumpf工場に配備されたレーザー切断機から発生するネットワークトラフィックデータについて検討した。
我々は、トラフィック統計を分析し、マシンの内部状態間の依存関係をキャプチャし、ネットワークトラフィックを生産状態依存プロセスとしてモデル化する。
可変オートエンコーダ(VAE)、条件付き可変オートエンコーダ(CVAE)、生成逆ネットワーク(GAN)など、様々な生成モデルの性能の比較を行った。
論文 参考訳（メタデータ） (2022-11-11T09:46:58Z) - Conquering the Communication Constraints to Enable Large Pre-Trained Models in Federated Learning [18.12162136918301]
フェデレートラーニング(FL)は、ローカルデバイス上の生データに一元的にアクセスすることなく、モデルの協調的なトレーニングを可能にするための、有望なパラダイムとして登場した。
最近の最先端の事前訓練モデルでは、より能力が高くなっているが、パラメータも増えている。
FLにおけるこれらの強力で容易に利用できる事前学習モデルが、通信負荷を同時に軽減しつつ優れた性能を達成するためのソリューションを見つけることができるだろうか?
具体的には,FedPEFTの性能を,クライアントの安定性,データ分散,プライバシ設定の違いによって体系的に評価する。
論文 参考訳（メタデータ） (2022-10-04T16:08:54Z) - On a Uniform Causality Model for Industrial Automation [61.303828551910634]
産業自動化の様々な応用分野に対する一様因果モデルを提案する。
得られたモデルは、サイバー物理システムの振る舞いを数学的に記述する。
このモデルは、機械学習に焦点を当てた産業自動化における新しいアプローチの応用の基盤として機能することが示されている。
論文 参考訳（メタデータ） (2022-09-20T11:23:51Z) - FedOBD: Opportunistic Block Dropout for Efficiently Training Large-scale
Neural Networks through Federated Learning [18.357577491590686]
本稿では,大規模ニューラルネットワークを学習するためのFedOBD(Federated Opportunistic Block Dropout)アプローチを提案する。
FedOBDは大規模モデルをセマンティックブロックに分解し、FL参加者が偶然に量子化されたブロックをアップロードできるようにする。
実験によると、FedOBDは最高のパフォーマンスのベースラインアプローチに比べて、全体の通信オーバーヘッドを88%以上削減している。
論文 参考訳（メタデータ） (2022-08-10T06:36:49Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳（メタデータ） (2022-07-20T04:55:18Z) - Asynchronous Decentralized Federated Learning for Collaborative Fault
Diagnosis of PV Stations [0.0]
協調的故障診断モデルを訓練するために,新しい非同期分散フェデレーションラーニング(ADFL)フレームワークを提案する。
グローバルモデルは、中央ノードの障害を避けるために分散的に集約される。
提案手法の有効性を検証するため,実験および数値シミュレーションを行った。
論文 参考訳（メタデータ） (2022-02-28T08:26:48Z) - Decentralized Federated Learning Preserves Model and Data Privacy [77.454688257702]
我々は、訓練されたモデル間で知識を共有することができる、完全に分散化されたアプローチを提案する。
生徒は、合成された入力データを通じて教師の出力を訓練する。
その結果,教師が学習した未学習学生モデルが,教師と同等のF1スコアに達することがわかった。
論文 参考訳（メタデータ） (2021-02-01T14:38:54Z) - UVeQFed: Universal Vector Quantization for Federated Learning [179.06583469293386]
フェデレートラーニング(FL)は、ユーザがプライベートラベル付きデータを共有することなく、そのような学習モデルをトレーニングする、新たなアプローチである。
FLでは、各ユーザが学習モデルのコピーをローカルにトレーニングする。その後、サーバは個々の更新を収集し、それらをグローバルモデルに集約する。
普遍ベクトル量子化法をFLと組み合わせることで、訓練されたモデルの圧縮が最小歪みのみを誘導する分散トレーニングシステムが得られることを示す。
論文 参考訳（メタデータ） (2020-06-05T07:10:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。