論文の概要: Robust Training of Federated Models with Extremely Label Deficiency

• arxiv url: http://arxiv.org/abs/2402.14430v1
• Date: Thu, 22 Feb 2024 10:19:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-23 15:32:45.471789
• Title: Robust Training of Federated Models with Extremely Label Deficiency
• Title（参考訳）: 極端にラベル欠損を有するフェデレートモデルのロバストトレーニング
• Authors: Yonggang Zhang, Zhiqin Yang, Xinmei Tian, Nannan Wang, Tongliang Liu, Bo Han
• Abstract要約: フェデレーション半教師付き学習(FSSL)は、ラベル不足を伴う分散データを用いて機械学習モデルを協調訓練するための強力なパラダイムとして登場した。 我々は,ラベル付きおよびラベルなしデータの異なる視点から洞察を提供することにより相互指導を強化するために,ツインサイトと呼ばれる新しいツインモデルパラダイムを提案する。 4つのベンチマークデータセットに関する包括的な実験は、Twin-sightが様々な実験環境において最先端の手法を著しく上回っていることを示す重要な証拠となる。
• 参考スコア（独自算出の注目度）: 84.00832527512148
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated semi-supervised learning (FSSL) has emerged as a powerful paradigm for collaboratively training machine learning models using distributed data with label deficiency. Advanced FSSL methods predominantly focus on training a single model on each client. However, this approach could lead to a discrepancy between the objective functions of labeled and unlabeled data, resulting in gradient conflicts. To alleviate gradient conflict, we propose a novel twin-model paradigm, called Twin-sight, designed to enhance mutual guidance by providing insights from different perspectives of labeled and unlabeled data. In particular, Twin-sight concurrently trains a supervised model with a supervised objective function while training an unsupervised model using an unsupervised objective function. To enhance the synergy between these two models, Twin-sight introduces a neighbourhood-preserving constraint, which encourages the preservation of the neighbourhood relationship among data features extracted by both models. Our comprehensive experiments on four benchmark datasets provide substantial evidence that Twin-sight can significantly outperform state-of-the-art methods across various experimental settings, demonstrating the efficacy of the proposed Twin-sight.
• Abstract（参考訳）: フェデレーション半教師付き学習(FSSL)は、ラベル不足を伴う分散データを用いて機械学習モデルを協調訓練するための強力なパラダイムとして登場した。 高度なFSSLメソッドは主に、各クライアントで単一のモデルをトレーニングすることに焦点を当てている。 しかし、このアプローチはラベル付きデータとラベルなしデータの目的関数の相違を招き、勾配の衝突をもたらす可能性がある。 そこで我々は,ラベル付きデータとラベルなしデータの異なる観点からの洞察を提供することにより相互指導を強化するために,ツインサイトと呼ばれる新しいツインモデルパラダイムを提案する。 特にツインサイトは、教師なし客観関数を用いて教師なしモデルを訓練しながら、教師なし客観関数で教師なしモデルを同時に訓練する。 これら2つのモデル間の相乗効果を高めるため、ツインサイトは近傍保存制約を導入し、両方のモデルによって抽出されたデータ特徴間の近傍関係の保存を促進する。 4つのベンチマークデータセットに関する包括的な実験は、Twin-sightが様々な実験環境において最先端の手法を著しく上回り、提案したTwin-sightの有効性を実証する証拠となる。

関連論文リスト

• Convergence Behavior of an Adversarial Weak Supervision Method [10.409652277630133]
  Weak Supervisionは、機械学習のサブ領域を仮定するパラダイムである。 ラベル付きデータを用いて最新の機械学習手法を訓練することにより、大量のラベル付きデータを取得するコストを改善することができる。 ツムブのルールを組み合わせるための2つのアプローチは、2つのキャンプに分かれ、統計的推定の異なるイデオロギーを反映している。
  論文  参考訳（メタデータ） (2024-05-25T02:33:17Z)
• Adversarial Augmentation Training Makes Action Recognition Models More Robust to Realistic Video Distribution Shifts [13.752169303624147]
  アクション認識モデルは、トレーニングデータとテストデータの間の自然な分散シフトに直面したとき、堅牢性を欠くことが多い。 そこで本研究では,そのような分布格差に対するモデルレジリエンスを評価するための2つの新しい評価手法を提案する。 提案手法は,3つの動作認識モデルにまたがるベースラインよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-01-21T05:50:39Z)
• Co-guiding for Multi-intent Spoken Language Understanding [53.30511968323911]
  本稿では,2つのタスク間の相互指導を実現するための2段階のフレームワークを実装した,コガイドネットと呼ばれる新しいモデルを提案する。 第1段階では,単一タスクによる教師付きコントラスト学習を提案し,第2段階ではコガイドによる教師付きコントラスト学習を提案する。 マルチインテリジェントSLU実験の結果,我々のモデルは既存のモデルよりも大きなマージンで優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-22T08:06:22Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Leveraging Diffusion Disentangled Representations to Mitigate Shortcuts in Underspecified Visual Tasks [92.32670915472099]
  拡散確率モデル(DPM)を用いた合成カウンターファクトの生成を利用したアンサンブルの多様化フレームワークを提案する。 拡散誘導型分散化は,データ収集を必要とする従来の手法に匹敵するアンサンブル多様性を達成し,ショートカットからの注意を回避できることを示す。
  論文  参考訳（メタデータ） (2023-10-03T17:37:52Z)
• Universal Semi-supervised Model Adaptation via Collaborative Consistency Training [92.52892510093037]
  我々は、Universal Semi-supervised Model Adaptation (USMA)と呼ばれる現実的で挑戦的なドメイン適応問題を導入する。 本稿では,2つのモデル間の予測整合性を規則化する協調的整合性トレーニングフレームワークを提案する。 実験により,いくつかのベンチマークデータセットにおける本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-07-07T08:19:40Z)
• Integrated Weak Learning [25.47289093245517]
  統合弱学習(Integrated Weak Learning)は、弱い監督を機械学習モデルのトレーニングプロセスに統合する、原則化されたフレームワークである。 提案手法は,6つのベンチマーク分類データセットの集合において,既存の弱い学習手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-19T22:13:59Z)
• TOV: The Original Vision Model for Optical Remote Sensing Image Understanding via Self-supervised Learning [13.57667361338603]
  リモートセンシングにおけるtextbfOriginal textbfVision Model (TOV) を提案する。 人のような自己教師付き学習経路に沿って、巨大なラベルのない光学データによって訓練されたTOVモデルは、様々なRSIUタスクに容易に適応できる。 RSIUのTOVモデル構築における2つの要因の影響を分析する。
  論文  参考訳（メタデータ） (2022-04-10T16:25:05Z)
• Adversarial Dual-Student with Differentiable Spatial Warping for Semi-Supervised Semantic Segmentation [70.2166826794421]
  本研究では、教師なしデータ拡張を行うために、微分可能な幾何ワープを提案する。 また,平均教師数を改善するために,新しい対角的二重学習フレームワークを提案する。 我々のソリューションは、両方のデータセットで得られるパフォーマンスと最先端の結果を大幅に改善します。
  論文  参考訳（メタデータ） (2022-03-05T17:36:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。