論文の概要: MrTF: Model Refinery for Transductive Federated Learning

• arxiv url: http://arxiv.org/abs/2305.04201v1
• Date: Sun, 7 May 2023 06:46:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-09 17:01:01.051800
• Title: MrTF: Model Refinery for Transductive Federated Learning
• Title（参考訳）: MSTF: トランスダクティブフェデレーション学習のためのモデルリファクトリー
• Authors: Xin-Chun Li, Yang Yang, De-Chuan Zhan
• Abstract要約: 本稿では,トランスダクティブ・フェデレーション・ラーニング(TFL)と呼ばれる新しい学習パラダイムを提案する。 モデル精錬プロセスを容易にするため, 安定化教員, 改質蒸留, クラスタ化ラベル精錬などいくつかの技術を提案する。
• 参考スコア（独自算出の注目度）: 37.42117876325847
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We consider a real-world scenario in which a newly-established pilot project needs to make inferences for newly-collected data with the help of other parties under privacy protection policies. Current federated learning (FL) paradigms are devoted to solving the data heterogeneity problem without considering the to-be-inferred data. We propose a novel learning paradigm named transductive federated learning (TFL) to simultaneously consider the structural information of the to-be-inferred data. On the one hand, the server could use the pre-available test samples to refine the aggregated models for robust model fusion, which tackles the data heterogeneity problem in FL. On the other hand, the refinery process incorporates test samples into training and could generate better predictions in a transductive manner. We propose several techniques including stabilized teachers, rectified distillation, and clustered label refinery to facilitate the model refinery process. Abundant experimental studies verify the superiorities of the proposed \underline{M}odel \underline{r}efinery framework for \underline{T}ransductive \underline{F}ederated learning (MrTF). The source code is available at \url{https://github.com/lxcnju/MrTF}.
• Abstract（参考訳）: 我々は,新たに設立されたパイロットプロジェクトが,プライバシー保護ポリシーの下で他の当事者の助けを借りて,新たに収集されたデータの推測を行う必要がある現実のシナリオを考察する。 現在のフェデレーション学習(fl)パラダイムは、推定されるデータを考慮することなく、データの不均一性問題を解決することに専念している。 to-be-inferredデータの構造情報を同時に考慮し,tfl(transductive federated learning)と呼ばれる新しい学習パラダイムを提案する。 一方、サーバは、事前利用可能なテストサンプルを使用して、FLのデータ不均一性問題に取り組む堅牢なモデル融合のために集約されたモデルを洗練することができる。 一方, 精錬工程では, 試験試料を訓練に取り入れ, トランスダクティブな方法でより良い予測を得られる。 モデル精製プロセスを容易にするために, 教師の安定化, 蒸留精錬, クラスターラベル精錬などの技術を提案する。 豊富な実験研究により,提案手法である<m>odel \underline{r}efinery framework for \underline{t}ransductive \underline{f}ederated learning (mrtf) の有効性が検証された。 ソースコードは \url{https://github.com/lxcnju/MrTF} で入手できる。

関連論文リスト

• Data-Free Federated Class Incremental Learning with Diffusion-Based Generative Memory [27.651921957220004]
  拡散型生成メモリ(DFedDGM)を用いた新しいデータフリーフェデレーションクラスインクリメンタルラーニングフレームワークを提案する。 FLにおける一般の非IID問題を軽減するために拡散モデルの訓練を支援するために,新しいバランスの取れたサンプルを設計する。 また、情報理論の観点からエントロピーに基づくサンプルフィルタリング手法を導入し、生成サンプルの品質を向上させる。
  論文  参考訳（メタデータ） (2024-05-22T20:59:18Z)
• Disperse-Then-Merge: Pushing the Limits of Instruction Tuning via Alignment Tax Reduction [75.25114727856861]
  大規模言語モデル(LLM)は、スーパービジョンされた微調整プロセスの後半で劣化する傾向にある。 この問題に対処するための単純な分散結合フレームワークを導入する。 我々のフレームワークは、一連の標準知識と推論ベンチマークに基づいて、データキュレーションや正規化の訓練など、様々な高度な手法より優れています。
  論文  参考訳（メタデータ） (2024-05-22T08:18:19Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• FedSym: Unleashing the Power of Entropy for Benchmarking the Algorithms for Federated Learning [1.4656078321003647]
  Federated Learning(FL)は、独立した学習者がデータをプライベートに処理する分散機械学習アプローチである。 現在普及しているデータ分割技術について検討し、その主な欠点を可視化する。 エントロピーと対称性を利用して「最も困難」かつ制御可能なデータ分布を構築する手法を提案する。
  論文  参考訳（メタデータ） (2023-10-11T18:39:08Z)
• DFRD: Data-Free Robustness Distillation for Heterogeneous Federated Learning [20.135235291912185]
  Federated Learning(FL)は、プライバシに制約のある分散機械学習パラダイムである。 本研究では,データヘテロジニアスおよびモデルヘテロジニアスFLシナリオにおいて,ロバストなグローバルモデルを学習するための新しいFL法(DFRD)を提案する。
  論文  参考訳（メタデータ） (2023-09-24T04:29:22Z)
• Diverse Data Augmentation with Diffusions for Effective Test-time Prompt Tuning [73.75282761503581]
  DiffTPTを提案する。DiffTPTは,事前学習した拡散モデルを用いて,多種多様な情報データを生成する。 DiffTPTがゼロショット精度を平均5.13%向上することを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:36:31Z)
• Federated Learning from Only Unlabeled Data with Class-Conditional-Sharing Clients [98.22390453672499]
  Supervised Federated Learning (FL)は、複数のクライアントがラベル付きデータを共有せずにトレーニングされたモデルを共有することを可能にする。 本研究では,教師なし学習(FedUL)のフェデレーションを提案し,各クライアントのラベル付きデータにラベル付きデータを変換する。
  論文  参考訳（メタデータ） (2022-04-07T09:12:00Z)
• FedSemi: An Adaptive Federated Semi-Supervised Learning Framework [23.90642104477983]
  フェデレートラーニング(FL)は、データを共有し、プライバシーを漏らすことなく、機械学習モデルをコトレーニングするための効果的なテクニックとして登場した。 既存のFL法の多くは、教師付き設定に重点を置いて、ラベルなしデータの利用を無視している。 本稿では,FedSemiを提案する。FedSemiは,教師-学生モデルを用いてFLに整合性正則化を導入する新しい,適応的で汎用的なフレームワークである。
  論文  参考訳（メタデータ） (2020-12-06T15:46:04Z)
• MMCGAN: Generative Adversarial Network with Explicit Manifold Prior [78.58159882218378]
  本稿では,モード崩壊を緩和し,GANのトレーニングを安定させるために,明示的な多様体学習を採用することを提案する。 玩具データと実データの両方を用いた実験により,MMCGANのモード崩壊緩和効果,トレーニングの安定化,生成サンプルの品質向上効果が示された。
  論文  参考訳（メタデータ） (2020-06-18T07:38:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。