論文の概要: Efficient Image Representation Learning with Federated Sampled Softmax

• arxiv url: http://arxiv.org/abs/2203.04888v1
• Date: Wed, 9 Mar 2022 17:00:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-10 19:19:51.795366
• Title: Efficient Image Representation Learning with Federated Sampled Softmax
• Title（参考訳）: フェデレートサンプルソフトマックスを用いた効率的な画像表現学習
• Authors: Sagar M. Waghmare, Hang Qi, Huizhong Chen, Mikhail Sirotenko and Tomer Meron
• Abstract要約: Federated sampled softmax (FedSS)は、Federated Learningを用いて画像表現を学習するためのリソース効率の高いアプローチである。 提案手法は,クライアントデバイスに転送・最適化されるパラメータの数を大幅に削減することを示す。
• 参考スコア（独自算出の注目度）: 2.5557803548119464
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning image representations on decentralized data can bring many benefits in cases where data cannot be aggregated across data silos. Softmax cross entropy loss is highly effective and commonly used for learning image representations. Using a large number of classes has proven to be particularly beneficial for the descriptive power of such representations in centralized learning. However, doing so on decentralized data with Federated Learning is not straightforward as the demand on FL clients' computation and communication increases proportionally to the number of classes. In this work we introduce federated sampled softmax (FedSS), a resource-efficient approach for learning image representation with Federated Learning. Specifically, the FL clients sample a set of classes and optimize only the corresponding model parameters with respect to a sampled softmax objective that approximates the global full softmax objective. We examine the loss formulation and empirically show that our method significantly reduces the number of parameters transferred to and optimized by the client devices, while performing on par with the standard full softmax method. This work creates a possibility for efficiently learning image representations on decentralized data with a large number of classes under the federated setting.
• Abstract（参考訳）: 分散データでのイメージ表現の学習は、データがデータサイロをまたいで集約できない場合に多くの利点をもたらす。 ソフトマックスクロスエントロピー損失は非常に効果的であり、画像表現の学習によく用いられる。 多数のクラスを使用することは、集中学習におけるこのような表現の記述力に特に有益であることが証明されている。 しかしながら,flクライアントの計算と通信に対する要求はクラス数に比例して増加するため,連合学習による分散データを扱うことは容易ではない。 本研究では,フェデレート学習を用いた画像表現学習において,資源効率の高いFedSS(Federated sampled softmax)を提案する。 具体的には、flクライアントは一連のクラスをサンプリングし、グローバルフルソフトマックス目標に近似するサンプルソフトマックス目標に対して対応するモデルパラメータのみを最適化する。 損失の定式化について検討し,本手法が標準ソフトマックス法と同等の性能を示しながら,クライアント装置に転送および最適化されるパラメータの数を著しく削減することを示す。 本研究は,多数のクラスを含む分散データに対して,フェデレーション設定下で画像表現を効率的に学習する可能性を示す。

関連論文リスト

• Federated Learning Across Decentralized and Unshared Archives for Remote Sensing Image Classification [2.725507329935916]
  フェデレートラーニング(Federated Learning, FL)は、複数のディープラーニングモデルのコラボレーションにより、クライアント上のデータにアクセスせずに、分散化されたデータアーカイブ(クライアント)から学習することができる。 FLは、分散画像アーカイブからの知識発見に十分な機会を提供するが、リモートセンシング(RS)ではめったに考えられない。 本稿では,RS画像分類問題に対する最先端FLアルゴリズムの比較検討を行う。
  論文  参考訳（メタデータ） (2023-11-10T15:58:53Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Joint Adaptive Representations for Image-Language Learning [59.40890927221377]
  画像言語学習のためのレシピを提案し、より大きくて高価なものよりも優れたモデルを作成し、しばしば桁違いに大きなデータセットで訓練する。 我々の重要な発見は、適応的かつ反復的にマルチモーダルな特徴を融合させる、コンパクトな視覚と言語表現の連成学習である。 たった4000万のトレーニング例と39のGFLOPで、私たちの軽量モデルは、2～20倍以上のFLOPの最先端モデルで、さらに大きなデータセットを使用して、1B近くのトレーニング例で何倍もパフォーマンスを上げています。
  論文  参考訳（メタデータ） (2023-05-31T15:02:02Z)
• PFSL: Personalized & Fair Split Learning with Data & Label Privacy for thin clients [0.5144809478361603]
  PFSLは分散分割学習の新しいフレームワークであり、多数のシンクライアントが並列にトランスファー学習を行う。 クライアントモデルのパーソナライズを行うための軽量なステップを実装し,それぞれのデータ分布に対して高いパフォーマンスを実現する。 我々の精度は現在のアルゴリズムSLをはるかに上回り、いくつかの実生活ベンチマークにおける集中学習に非常に近い。
  論文  参考訳（メタデータ） (2023-03-19T10:38:29Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• Few-Max: Few-Shot Domain Adaptation for Unsupervised Contrastive Representation Learning [7.748713051083396]
  対照的な自己教師付き学習手法は、ラベルを必要とせず、画像などのデータポイントを非パラメトリック表現空間にマッピングすることを学ぶ。 本稿では,Few-Maxと呼ばれる自己指導型コントラスト学習のためのドメイン適応手法を提案する。 我々は、Few-MaxをImageNet、VisDA、fastMRIなど、様々なソースおよびターゲットデータセットで評価し、Few-Maxは他のアプローチよりも一貫して優れています。
  論文  参考訳（メタデータ） (2022-06-21T06:46:19Z)
• An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
  フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。 本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。 我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
  論文  参考訳（メタデータ） (2021-11-19T12:58:59Z)
• Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
  本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。 提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。 この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
  論文  参考訳（メタデータ） (2021-02-14T05:36:25Z)
• Personalized Federated Learning with Moreau Envelopes [16.25105865597947]
  フェデレートラーニング(Federated Learning, FL)は、分散されたプライバシ保護機械学習技術である。 FLに関連する課題の1つは、クライアント間の統計的多様性である。 封筒正規化損失関数を用いたパーソナライズFL(FedFedMe)のアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-16T00:55:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。