論文の概要: Understanding the Robustness of Distributed Self-Supervised Learning Frameworks Against Non-IID Data

• arxiv url: http://arxiv.org/abs/2607.02447v1
• Date: Thu, 02 Jul 2026 17:17:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 19:45:08.940886
• Title: Understanding the Robustness of Distributed Self-Supervised Learning Frameworks Against Non-IID Data
• Title（参考訳）: 非IIDデータに対する分散自己監督学習フレームワークのロバスト性理解
• Authors: Xuanyu Chen, Nan Yang, Shuai Wang, Dong Yuan,
• Abstract要約: 非IID環境下でのD-SSLフレームワークのロバスト性に関する理論的解析を行う。 以上の結果から,Masked Image Modeling (MIM) を用いた事前学習は,コントラスト学習 (CL) よりも本質的に不均一なデータに対して堅牢であることが示された。 これらの発見は、将来のD-SSLアルゴリズムの設計を導くための確かな理論基盤を提供する。
• 参考スコア（独自算出の注目度）: 12.791994483385409
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent research has introduced distributed self-supervised learning (D-SSL) approaches to leverage vast amounts of unlabeled decentralized data. However, D-SSL faces the critical challenge of data heterogeneity, and there is limited theoretical understanding of how different D-SSL frameworks respond to this challenge. To fill this gap, we present a rigorous theoretical analysis of the robustness of D-SSL frameworks under non-IID (non-independent and identically distributed) settings. Our results show that pre-training with Masked Image Modeling (MIM) is inherently more robust to heterogeneous data than Contrastive Learning (CL), and that the robustness of decentralized SSL increases with average network connectivity, implying that federated learning (FL) is no less robust than decentralized learning (DecL). These findings provide a solid theoretical foundation for guiding the design of future D-SSL algorithms. To further illustrate the practical implications of our theory, we introduce MAR loss, a refinement of the MIM objective with local-to-global alignment regularization. Extensive experiments across model architectures and distributed settings validate our theoretical insights, and additionally confirm the effectiveness of MAR loss as an application of our analysis.
• Abstract（参考訳）: 最近の研究は、大量のラベルのない分散データを活用するために分散自己教師付き学習(D-SSL)アプローチを導入している。 しかし、D-SSLはデータの異種性において重要な課題に直面しており、異なるD-SSLフレームワークがこの課題にどう対処するかについての理論的理解は限られている。 このギャップを埋めるために、D-SSLフレームワークの非IID(非独立かつ同一の分散)環境下での堅牢性に関する厳密な理論的解析を行う。 以上の結果から,Masked Image Modeling (MIM) を用いた事前学習は,コントラスト学習 (CL) よりも本質的に不均一なデータに対して堅牢であり,分散SSLの堅牢性は平均的なネットワーク接続によって増大し,フェデレート学習 (FL) が分散学習 (DecL) よりもロバストであることが示唆された。 これらの発見は、将来のD-SSLアルゴリズムの設計を導くための確かな理論基盤を提供する。 この理論の実践的意味を更に説明するために,MIM目標の洗練と局所-グローバルアライメントの正則化を導入するMAR損失を導入する。 モデルアーキテクチャと分散設定の広範な実験は、我々の理論的な洞察を検証し、分析の応用としてMAR損失の有効性を検証した。

関連論文リスト

• Consolidation or Adaptation? PRISM: Disentangling SFT and RL Data via Gradient Concentration [56.074760766965085]
  PRISMは、モデルの既存の知識との認知的対立度に基づいてデータを調停する動的認識フレームワークを実現する。 この結果から,内部最適化方式に基づくデータ分離が,スケーラブルでロバストなエージェントアライメントに不可欠であることが示唆された。
  論文  参考訳（メタデータ） (2026-01-12T05:43:20Z)
• Preference-Based Multi-Agent Reinforcement Learning: Data Coverage and Algorithmic Techniques [65.55451717632317]
  PbMARL(Preference-based Multi-Agent Reinforcement Learning)について検討する。 一般ゲームにおける嗜好のみのオフラインデータセットからナッシュ平衡を同定する。 以上の結果から,PbMARLの多面的アプローチが示唆された。
  論文  参考訳（メタデータ） (2024-09-01T13:14:41Z)
• On the Discriminability of Self-Supervised Representation Learning [38.598160031349686]
  自己教師付き学習(SSL)は、最近、様々な視覚的タスクで顕著な成功を収めた。 しかし、差別性という点では、SSLは依然として教師あり学習(SL)と同等ではない。 本稿では,異なるクラスの特徴が十分に分離されていない「群集問題」について論じる。
  論文  参考訳（メタデータ） (2024-07-18T14:18:03Z)
• FSDA-DG: Improving Cross-Domain Generalizability of Medical Image Segmentation with Few Source Domain Annotations [10.362970759633543]
  医用画像セグメンテーションのクロスドメイン一般化性を改善するための新しい手法としてFSDA-DGを提案する。 FSDA-DGは、画像をグローバルな広域領域とセマンティクスに誘導されたローカルリージョンに分割し、データ分散の強化のために異なる拡張戦略を適用する。
  論文  参考訳（メタデータ） (2023-11-05T07:44:40Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• ArCL: Enhancing Contrastive Learning with Augmentation-Robust Representations [30.745749133759304]
  我々は,自己教師付きコントラスト学習の伝達可能性を分析する理論的枠組みを開発する。 対照的な学習は、その伝達可能性を制限するような、ドメイン不変の機能を学ぶのに失敗することを示す。 これらの理論的知見に基づき、Augmentation-robust Contrastive Learning (ArCL) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-03-02T09:26:20Z)
• Does Decentralized Learning with Non-IID Unlabeled Data Benefit from Self Supervision? [51.00034621304361]
  自己教師型学習(SSL)のレンズによるラベルなしデータによる分散学習の研究 本研究では,分散学習環境下でのコントラスト学習アルゴリズムの有効性について検討する。
  論文  参考訳（メタデータ） (2022-10-20T01:32:41Z)
• CARE: Certifiably Robust Learning with Reasoning via Variational Inference [26.210129662748862]
  推論パイプライン(CARE)を用いた頑健な学習を提案する。 CAREは、最先端のベースラインに比べて、かなり高い信頼性のロバスト性を達成する。 さらに,CAREの実証的ロバスト性および知識統合の有効性を示すために,異なるアブレーション研究を行った。
  論文  参考訳（メタデータ） (2022-09-12T07:15:52Z)
• Revisiting Deep Semi-supervised Learning: An Empirical Distribution Alignment Framework and Its Generalization Bound [97.93945601881407]
  経験分布アライメントによる半教師あり学習(SLEDA)と呼ばれる深層半教師あり学習フレームワークを提案する。 ラベル付きデータに対するトレーニング誤差を最小化することにより,半教師付き学習の一般化誤差を効果的にバウンドできることを示す。 新しい枠組みと理論的境界に基づいて、Augmented Distribution Alignment Network(ADA-Net)と呼ばれるシンプルで効果的な深層半教師付き学習手法を開発した。
  論文  参考訳（メタデータ） (2022-03-13T11:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。