Fugu-MT 論文翻訳(概要): More Industry-friendly: Federated Learning with High Efficient Design

論文の概要: More Industry-friendly: Federated Learning with High Efficient Design

arxiv url: http://arxiv.org/abs/2012.08809v1
Date: Wed, 16 Dec 2020 09:12:37 GMT
ステータス: 翻訳完了
システム内更新日: 2021-05-03 03:06:02.218151
Title: More Industry-friendly: Federated Learning with High Efficient Design
Title（参考訳）: より業界に優しい:高効率設計による連合学習
Authors: Dingwei Li, Qinglong Chang, Lixue Pang, Yanfang Zhang, Xudong Sun, Jikun Ding, Liang Zhang
Abstract要約: 本論文では,ダブルヘッド設計を用いた高効率フェデレーション学習手法を提案する。実験結果から,本手法の精度は向上し,各種データ分布の通信効率も向上した。
参考スコア（独自算出の注目度）: 3.329502137158763
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Although many achievements have been made since Google threw out the paradigm of federated learning (FL), there still exists much room for researchers to optimize its efficiency. In this paper, we propose a high efficient FL method equipped with the double head design aiming for personalization optimization over non-IID dataset, and the gradual model sharing design for communication saving. Experimental results show that, our method has more stable accuracy performance and better communication efficient across various data distributions than other state of art methods (SOTAs), makes it more industry-friendly.
Abstract（参考訳）: Googleがフェデレートドラーニング(FL)のパラダイムを捨てて以来、多くの成果が達成されているが、研究者がその効率を最適化する余地は依然としてたくさんある。本稿では,非iidデータセットに対するパーソナライズ最適化を目的としたダブルヘッド設計と通信節約のための段階的モデル共有設計を備えた高効率fl手法を提案する。実験結果から,本手法は他の最先端技術手法 (sotas) よりも精度が安定し,様々なデータ分散間での通信効率が向上し,業界フレンドリーであることが判明した。

関連論文リスト

Adaptive Optimization for Enhanced Efficiency in Large-Scale Language Model Training [3.668740611399284]
大規模言語モデル (LLM) は様々なタスクにおいて顕著な成果を上げている。本稿では適応最適化アルゴリズムに基づく改良手法を提案する。
論文参考訳（メタデータ） (2024-12-06T02:17:30Z)
DELIFT: Data Efficient Language model Instruction Fine Tuning [13.538140114667772]
本稿では,3段階の微調整におけるデータ選択を体系的に最適化する新しいアルゴリズムであるDELIFTを紹介する。さまざまなタスクやモデルスケールにわたる実験により、DELIFTはパフォーマンスを損なうことなく、微調整データサイズを最大70%削減できることが示された。
論文参考訳（メタデータ） (2024-11-07T04:38:29Z)
Advancing Automated Knowledge Transfer in Evolutionary Multitasking via Large Language Models [23.28000489481192]
大規模言語モデル(LLM)は、自律プログラミングにおいて顕著な成功を収めた。本研究では,知識伝達モデルを生成する自律型モデルファクトリを構築するために,LLMに基づく最適化パラダイムを導入する。
論文参考訳（メタデータ） (2024-09-06T13:25:43Z)
Implicitly Guided Design with PropEn: Match your Data to Follow the Gradient [52.2669490431145]
PropEnは'matching'にインスパイアされている。一致したデータセットによるトレーニングは、データ分布内に留まりながら、興味のある性質の勾配を近似することを示す。
論文参考訳（メタデータ） (2024-05-28T11:30:19Z)
Multimodal Adaptive Inference for Document Image Classification with Anytime Early Exiting [19.440286956878065]
この作業は、視覚的にリッチな文書理解タスクのためのスケーラブルな運用環境におけるパフォーマンスと効率のバランスのとれたアプローチの必要性に対処する。本稿では,様々なトレーニング戦略,出口層タイプ,配置を組み込んだマルチモーダル早期退避モデルを提案する。本研究は,性能と効率を両立させることにより,実用的なVDU応用に寄与する。
論文参考訳（メタデータ） (2024-05-21T11:52:14Z)
Navigating Heterogeneity and Privacy in One-Shot Federated Learning with Diffusion Models [6.921070916461661]
フェデレートラーニング(FL)は、複数のクライアントがデータのプライバシを保持しながらモデルをまとめてトレーニングすることを可能にする。ワンショットフェデレーション学習は、コミュニケーションラウンドの削減、効率の向上、盗聴攻撃に対するセキュリティ向上によるソリューションとして登場した。
論文参考訳（メタデータ） (2024-05-02T17:26:52Z)
CoLLiE: Collaborative Training of Large Language Models in an Efficient Way [59.09824823710863]
CoLLiEは、大規模な言語モデルの協調トレーニングを容易にする効率的なライブラリである。モジュール設計と包括的な機能により、CoLLiEは効率性、使いやすさ、カスタマイズのバランスのとれたブレンドを提供する。
論文参考訳（メタデータ） (2023-12-01T08:02:16Z)
Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
論文参考訳（メタデータ） (2023-10-23T16:37:59Z)
FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文参考訳（メタデータ） (2023-09-18T12:35:05Z)
FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文参考訳（メタデータ） (2022-07-20T04:55:18Z)
FedDUAP: Federated Learning with Dynamic Update and Adaptive Pruning Using Shared Data on the Server [64.94942635929284]
フェデレーテッド・ラーニング(FL)は2つの重要な課題、すなわち限られた計算資源と訓練効率の低下に悩まされている。本稿では,サーバ上の不感なデータとエッジデバイスの分散データを利用する新しいFLフレームワークであるFedDUAPを提案する。提案するFLモデルであるFedDUAPは,2つの元の手法を統合することで,精度(最大4.8%),効率(最大2.8倍),計算コスト(最大61.9%)において,ベースラインアプローチを著しく上回っている。
論文参考訳（メタデータ） (2022-04-25T10:00:00Z)
A Multi-agent Reinforcement Learning Approach for Efficient Client Selection in Federated Learning [17.55163940659976]
Federated Learning(FL)は、クライアントデバイスが共有モデルを共同で学習することを可能にするトレーニングテクニックである。モデル精度、処理遅延、通信効率を協調的に最適化する効率的なFLフレームワークを設計する。実験により、FedMarlは処理遅延と通信コストを大幅に削減して、モデルの精度を大幅に改善できることが示された。
論文参考訳（メタデータ） (2022-01-09T05:55:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。