論文の概要: Visual Transformer Meets CutMix for Improved Accuracy, Communication Efficiency, and Data Privacy in Split Learning

• arxiv url: http://arxiv.org/abs/2207.00234v1
• Date: Fri, 1 Jul 2022 07:00:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-05 01:28:55.231901
• Title: Visual Transformer Meets CutMix for Improved Accuracy, Communication Efficiency, and Data Privacy in Split Learning
• Title（参考訳）: 分割学習における精度,通信効率,データのプライバシ向上を実現するVisual Transformer
• Authors: Sihun Baek, Jihong Park, Praneeth Vepakomma, Ramesh Raskar, Mehdi Bennis, Seong-Lyun Kim
• Abstract要約: この記事では、ビジュアルトランスフォーマー(ViT)アーキテクチャのための分散学習ソリューションを模索する。 ViTはより大きなモデルサイズを持ち、計算コストがかかるため、連邦学習(FL)は不適当である。 そこで本稿では,元のスマッシュデータをランダムにパンチし,圧縮することで,CutSmashedデータの新しい形式を提案する。 我々は、CutSmashedデータを通信する、CutMixSLというViTのための新しいSLフレームワークを開発した。
• 参考スコア（独自算出の注目度）: 47.266470238551314
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This article seeks for a distributed learning solution for the visual transformer (ViT) architectures. Compared to convolutional neural network (CNN) architectures, ViTs often have larger model sizes, and are computationally expensive, making federated learning (FL) ill-suited. Split learning (SL) can detour this problem by splitting a model and communicating the hidden representations at the split-layer, also known as smashed data. Notwithstanding, the smashed data of ViT are as large as and as similar as the input data, negating the communication efficiency of SL while violating data privacy. To resolve these issues, we propose a new form of CutSmashed data by randomly punching and compressing the original smashed data. Leveraging this, we develop a novel SL framework for ViT, coined CutMixSL, communicating CutSmashed data. CutMixSL not only reduces communication costs and privacy leakage, but also inherently involves the CutMix data augmentation, improving accuracy and scalability. Simulations corroborate that CutMixSL outperforms baselines such as parallelized SL and SplitFed that integrates FL with SL.
• Abstract（参考訳）: この記事では、visual transformer (vit)アーキテクチャのための分散学習ソリューションを求めます。 畳み込みニューラルネットワーク(CNN)アーキテクチャと比較すると、ViTはモデルサイズが大きく、計算コストが高く、フェデレーション学習(FL)が不適当であることが多い。 スプリットラーニング(SL)は、モデルを分割し、スマッシュデータとしても知られる分割層で隠された表現を伝達することで、この問題を回避できる。 それでも、ViTのスマッシュデータは入力データと同等の大きさであり、データのプライバシーを侵害しながらSLの通信効率を低下させる。 これらの問題を解決するために,従来のスマッシュデータをランダムに打ち込んで圧縮することで,CutSmashedデータの新しい形式を提案する。 そこで我々は,CutSmashed データを通信する新しい ViT SL フレームワークである CutMixSL を開発した。 CutMixSLは通信コストとプライバシの漏洩を減らすだけでなく、本質的にはCutMixのデータ拡張、精度の向上とスケーラビリティも伴っている。 CutMixSL は SL と SL を統合した並列化 SL や SplitFed などのベースラインよりも優れていた。

関連論文リスト

• Privacy-Preserving Split Learning with Vision Transformers using Patch-Wise Random and Noisy CutMix [38.370923655357366]
  コンピュータビジョンでは、視覚変換器(ViT)が、精度と堅牢性を改善するために畳み込みニューラルネットワーク(CNN)に取って代わりつつある。 分散学習(SL)は、サーバ側のリソースを活用してViTをトレーニングし、分散デバイスからのプライベートデータを活用する、実行可能なソリューションとして登場した。 本稿では,DP-CutMixSLと呼ばれる,スマッシュデータにガウスノイズを注入し,クライアント間でランダムに選択したスマッシュデータのパッチを混合する,新たなプライバシ保護型SLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-02T06:24:39Z)
• Communication and Storage Efficient Federated Split Learning [19.369076939064904]
  Federated Split LearningはFLの並列モデルトレーニング原則を保存する。 サーバはクライアントごとに別々のモデルをメンテナンスしなければなりません。 本稿では,コミュニケーションと記憶の効率的なフェデレーションと分割学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-02-11T04:44:29Z)
• Robust Split Federated Learning for U-shaped Medical Image Networks [16.046153872932653]
  U字型医療画像ネットワークのためのRoS-FL(Roust Split Federated Learning)を提案する。 RoS-FLは、フェデレートラーニング(FL)とスプリットラーニング(SL)のハイブリッドラーニングパラダイムである
  論文  参考訳（メタデータ） (2022-12-13T05:26:31Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Differentially Private CutMix for Split Learning with Vision Transformer [42.47713044228984]
  ビジョントランス (ViT) はコンピュータビジョンタスクにおける従来のCNNよりも優れている。 ViTを用いた分散学習のプライバシー保護を考えると,DP-CutMixSLを提案する。
  論文  参考訳（メタデータ） (2022-10-28T08:33:29Z)
• Secure Forward Aggregation for Vertical Federated Neural Networks [25.059312670812215]
  我々は、垂直フェデレートラーニング(VFL)におけるよく知られたニューラルネットワークフレームワークであるSplitNNについて研究する。 SplitNNは、生データの代わりに変換データを使ってモデルを共同で訓練するため、モデルパフォーマンスの損失に悩まされる。 セキュリティフォワード・アグリゲーション(SFA)と呼ばれる新しいニューラルネットワークプロトコルをVFLで提案する。 実験の結果,SFAのネットワークはデータセキュリティと高モデル性能の両方を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-06-28T03:13:26Z)
• Server-Side Local Gradient Averaging and Learning Rate Acceleration for Scalable Split Learning [82.06357027523262]
  フェデレーテッド・ラーニング(FL)とスプリット・ラーニング(SL)は、その長所と短所を持つ2つの先駆者であり、多くのユーザ・クライアントや大規模モデルに適している。 本研究では,まずSLの基本ボトルネックを特定し,SGLRという拡張性のあるSLフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-11T08:33:25Z)
• Joint Superposition Coding and Training for Federated Learning over Multi-Width Neural Networks [52.93232352968347]
  本稿では,2つの相乗的技術,フェデレートラーニング(FL)と幅調整可能なスリムブルニューラルネットワーク(SNN)を統合することを目的とする。 FLは、ローカルに訓練されたモバイルデバイスのモデルを交換することによって、データのプライバシを保護している。しかしながら、SNNは、特に時間変化のあるチャネル条件との無線接続下では、非自明である。 局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
  論文  参考訳（メタデータ） (2021-12-05T11:17:17Z)
• Decoupling Pronunciation and Language for End-to-end Code-switching Automatic Speech Recognition [66.47000813920617]
  本稿では,モノリンガルペアデータと未ペアテキストデータを利用するデカップリング変換器モデルを提案する。 モデルはA2P(Audio-to-phoneme)ネットワークとP2T(P2T)ネットワークの2つの部分に分けられる。 モノリンガルデータと未ペアテキストデータを使用することで、分離されたトランスフォーマーモデルは、E2Eモデルのコードスイッチングペアリングトレーニングデータへの高依存性を低減する。
  論文  参考訳（メタデータ） (2020-10-28T07:46:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。