論文の概要: Pretraining Federated Text Models for Next Word Prediction

• arxiv url: http://arxiv.org/abs/2005.04828v3
• Date: Mon, 17 Aug 2020 21:51:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-04 19:35:43.810252
• Title: Pretraining Federated Text Models for Next Word Prediction
• Title（参考訳）: 単語予測のためのフェデレーションテキストモデルの事前学習
• Authors: Joel Stremmel and Arjun Singh
• Abstract要約: 我々は、次の単語予測(NWP)のためのフェデレーショントレーニングへのトランスファーラーニングの考え方を採用する。 我々は,ランダムモデルから事前学習アプローチの様々な組み合わせへのフェデレーショントレーニングベースラインの比較を行った。 必要なトレーニングラウンドやメモリフットプリントの数を増大させることなく、事前訓練した埋め込みを用いて、性能向上を実現する。
• 参考スコア（独自算出の注目度）: 0.2219120333734152
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning is a decentralized approach for training models on distributed devices, by summarizing local changes and sending aggregate parameters from local models to the cloud rather than the data itself. In this research we employ the idea of transfer learning to federated training for next word prediction (NWP) and conduct a number of experiments demonstrating enhancements to current baselines for which federated NWP models have been successful. Specifically, we compare federated training baselines from randomly initialized models to various combinations of pretraining approaches including pretrained word embeddings and whole model pretraining followed by federated fine tuning for NWP on a dataset of Stack Overflow posts. We realize lift in performance using pretrained embeddings without exacerbating the number of required training rounds or memory footprint. We also observe notable differences using centrally pretrained networks, especially depending on the datasets used. Our research offers effective, yet inexpensive, improvements to federated NWP and paves the way for more rigorous experimentation of transfer learning techniques for federated learning.
• Abstract（参考訳）: フェデレーション学習(federated learning)は、分散デバイス上でモデルをトレーニングするための、分散的なアプローチである。ローカルな変更を要約し、データそのものではなく、ローカルモデルからクラウドに集約パラメータを送信する。 本研究では、次の単語予測(NWP)のためのフェデレーショントレーニングへのトランスファーラーニングの考え方を採用し、フェデレーションNWPモデルが成功した現在のベースラインの強化を示す実験を多数実施する。 具体的には、ランダムに初期化されたモデルからのフェデレーショントレーニングベースラインと、事前トレーニングされた単語埋め込みやモデル全体の事前トレーニングを含む、さまざまな事前トレーニングアプローチの組み合わせを比較し、スタックオーバーフローポストのデータセット上でnwpのフェデレーション微調整を行う。 必要なトレーニングラウンド数やメモリフットプリントを悪化させることなく,事前学習した組込みによるパフォーマンス向上を実現している。 また、特に使用するデータセットに応じて、集中的に事前訓練されたネットワークを用いて顕著な差異を観察する。 私たちの研究は、フェデレーションnwpを効果的だが安価に改善し、フェデレーション学習のための転校学習技術のより厳密な実験への道を開きます。

関連論文リスト

• Transferable Post-training via Inverse Value Learning [83.75002867411263]
  別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。 このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。 得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
  論文  参考訳（メタデータ） (2024-10-28T13:48:43Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• Statistical Foundations of Prior-Data Fitted Networks [0.7614628596146599]
  近年,機械学習の新しいパラダイムとしてPFNが提案されている。 本稿では,PFNの理論的基盤を確立し,その挙動を制御している統計的メカニズムを照らす。
  論文  参考訳（メタデータ） (2023-05-18T16:34:21Z)
• Where to Begin? On the Impact of Pre-Training and Initialization in Federated Learning [18.138078314019737]
  フェデレート学習における事前学習モデルから始めることの影響について検討する。 事前訓練されたモデルから始めると、ターゲットエラー率に達するのに必要なトレーニング時間を短縮する。
  論文  参考訳（メタデータ） (2022-10-14T20:25:35Z)
• Where to Begin? On the Impact of Pre-Training and Initialization in Federated Learning [18.138078314019737]
  フェデレート学習における事前学習モデルから始めることの影響について検討する。 事前訓練されたモデルから始めると、ターゲットエラー率に達するのに必要なトレーニング時間を短縮する。
  論文  参考訳（メタデータ） (2022-06-30T16:18:21Z)
• Certified Robustness in Federated Learning [54.03574895808258]
  我々は,フェデレーショントレーニングとパーソナライゼーション,および認定ロバストネスの相互作用について検討した。 単純なフェデレーション平均化技術は, より正確であるだけでなく, より精度の高いロバストモデルの構築にも有効であることがわかった。
  論文  参考訳（メタデータ） (2022-06-06T12:10:53Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Deep Ensembles for Low-Data Transfer Learning [21.578470914935938]
  我々は、事前訓練されたモデルからアンサンブルを作成する様々な方法を研究する。 プレトレーニング自体が多様性の優れた源であることが示される。 本稿では,任意の下流データセットに対して,事前学習したモデルのサブセットを効率的に同定する実用的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-14T07:59:00Z)
• The Lottery Ticket Hypothesis for Pre-trained BERT Networks [137.99328302234338]
  自然言語処理(NLP)では、BERTのような巨大な事前学習モデルがトレーニングの標準出発点となっている。 並行して、抽選券仮説の研究により、NLPとコンピュータビジョンのモデルには、完全精度で個別にトレーニングできる小さなマッチングワークが含まれていることが示されている。 これらの観測と組み合わせて、トレーニング済みのBERTモデルにそのようなトレーニング可能なトランスファーブルワークが存在するかどうかを評価する。
  論文  参考訳（メタデータ） (2020-07-23T19:35:39Z)
• Reinforced Curriculum Learning on Pre-trained Neural Machine Translation Models [20.976165305749777]
  我々は,既存のトレーニングセットから影響力のあるデータサンプルを再選択することで,事前学習したNMTモデルを改善するカリキュラムを学習する。 本稿では,決定論的アクタ批判に基づくデータ選択フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-13T03:40:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。