論文の概要: Boosting Federated Domain Generalization: Understanding the Role of Advanced Pre-Trained Architectures

• arxiv url: http://arxiv.org/abs/2409.13527v2
• Date: Thu, 26 Sep 2024 01:59:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 06:41:58.326859
• Title: Boosting Federated Domain Generalization: Understanding the Role of Advanced Pre-Trained Architectures
• Title（参考訳）: フェデレートされたドメインの一般化を促進する - 先進的な事前学習アーキテクチャの役割を理解する
• Authors: Avi Deb Raha, Apurba Adhikary, Mrityunjoy Gain, Yu Qiao, Choong Seon Hong,
• Abstract要約: 本稿では,ViT,ConvNeXt,Swin Transformersといった先進的な事前学習型アーキテクチャの有効性について検討した。 我々は、ImageNet-1K、ImageNet-21K、JFT-300M、ImageNet-22Kといった広範囲な事前学習データセットを用いて、これらのアーキテクチャの様々なバリエーションを評価する。 パラメータが少ないにもかかわらず、より大規模なResNetモデルよりも優れたモデルが存在することを観察する。
• 参考スコア（独自算出の注目度）: 27.386915138058416
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In this study, we explore the efficacy of advanced pre-trained architectures, such as Vision Transformers (ViT), ConvNeXt, and Swin Transformers in enhancing Federated Domain Generalization. These architectures capture global contextual features and model long-range dependencies, making them promising candidates for improving cross-domain generalization. We conduct a broad study with in-depth analysis and systematically evaluate different variants of these architectures, using extensive pre-training datasets such as ImageNet-1K, ImageNet-21K, JFT-300M, and ImageNet-22K. Additionally, we compare self-supervised and supervised pre-training strategies to assess their impact on FDG performance. Our findings suggest that self-supervised techniques, which focus on reconstructing masked image patches, can better capture the intrinsic structure of images, thereby outperforming their supervised counterparts. Comprehensive evaluations on the Office-Home and PACS datasets demonstrate that adopting advanced architectures pre-trained on larger datasets establishes new benchmarks, achieving average accuracies of 84.46\% and 92.55\%, respectively. Additionally, we observe that certain variants of these advanced models, despite having fewer parameters, outperform larger ResNet models. This highlights the critical role of utilizing sophisticated architectures and diverse pre-training strategies to enhance FDG performance, especially in scenarios with limited computational resources where model efficiency is crucial. Our results indicate that federated learning systems can become more adaptable and efficient by leveraging these advanced methods, offering valuable insights for future research in FDG.
• Abstract（参考訳）: 本研究では,ビジョントランスフォーマー(ViT)やConvNeXt,Swinトランスフォーマーといった先進的な事前学習型アーキテクチャが,フェデレートドメイン一般化の促進に有効であることを示す。 これらのアーキテクチャは、グローバルなコンテキストの特徴を捉え、長距離依存関係をモデル化し、ドメイン間の一般化を改善するための有望な候補となる。 本研究では,ImageNet-1K, ImageNet-21K, JFT-300M, ImageNet-22Kなどの事前学習データセットを用いて,詳細な解析を行い,これらのアーキテクチャの様々なバリエーションを体系的に評価する。 さらに,FDG性能への影響を評価するために,自己指導型および指導型事前学習戦略を比較した。 マスク画像パッチの再構成に焦点をあてた自己監督技術は,画像の内在的構造をよりよく捉え,教師付き手法よりも優れていることが示唆された。 Office-HomeデータセットとPACSデータセットの総合的な評価は、より大きなデータセットに事前トレーニングされた高度なアーキテクチャを採用することで、それぞれ84.46\%と92.55\%の平均的な精度を達成する新しいベンチマークを確立することを示している。 さらに,パラメータが少ないにもかかわらず,より大規模なResNetモデルよりも優れたモデルが存在することも確認した。 このことは、特にモデル効率が不可欠である限られた計算資源を持つシナリオにおいて、高度なアーキテクチャとFDGの性能を高めるための多様な事前学習戦略を活用する重要な役割を強調している。 本稿は,これらの先進的な手法を活用し,FDGの今後の研究に有用な知見を提供することにより,フェデレーション学習システムがより適応し,効率的になることを示唆する。

関連論文リスト

• Advances in Diffusion Models for Image Data Augmentation: A Review of Methods, Models, Evaluation Metrics and Future Research Directions [6.2719115566879236]
  拡散モデル(DM)は画像データ拡張のための強力なツールとして登場した。 DMは、基礎となるデータ分布を学習することで、現実的で多様な画像を生成する。 この分野における現在の課題と今後の研究方向性について論じる。
  論文  参考訳（メタデータ） (2024-07-04T18:06:48Z)
• Parameter-Efficient Active Learning for Foundational models [7.799711162530711]
  基礎的な視覚変換器モデルは、多くの視覚タスクにおいて、驚くほどのショットパフォーマンスを示している。 本研究は,アクティブラーニング(AL)フレームワークにおけるパラメータ効率の良い微調整手法の適用に関する新たな研究である。
  論文  参考訳（メタデータ） (2024-06-13T16:30:32Z)
• Unveiling Backbone Effects in CLIP: Exploring Representational Synergies and Variances [49.631908848868505]
  コントラスト言語-画像事前学習(CLIP)は画像表現学習において顕著な手法である。 各種ニューラルアーキテクチャにおけるCLIP性能の違いについて検討する。 我々は、複数のバックボーンからの予測を組み合わせるためのシンプルで効果的なアプローチを提案し、最大6.34%のパフォーマンス向上につながった。
  論文  参考訳（メタデータ） (2023-12-22T03:01:41Z)
• Back to Basics: A Simple Recipe for Improving Out-of-Domain Retrieval in Dense Encoders [63.28408887247742]
  得られたモデルにおいて,より優れた一般化能力を得るために,トレーニング手順の改善が可能であるかを検討する。 我々は、高密度エンコーダをトレーニングするための簡単なレシピを推奨する: LoRAのようなパラメータ効率のよいMSMARCOのトレーニング。
  論文  参考訳（メタデータ） (2023-11-16T10:42:58Z)
• Data-Centric Long-Tailed Image Recognition [49.90107582624604]
  ロングテールモデルは高品質なデータに対する強い需要を示している。 データ中心のアプローチは、モデルパフォーマンスを改善するために、データの量と品質の両方を強化することを目的としています。 現在、情報強化の有効性を説明するメカニズムに関する研究が不足している。
  論文  参考訳（メタデータ） (2023-11-03T06:34:37Z)
• Multi-Scale and Multi-Layer Contrastive Learning for Domain Generalization [5.124256074746721]
  深部畳み込みニューラルネットワークの一般化能力は、ネットワークの多層的および多スケール的表現を活用することで向上できると論じる。 画像分類器の領域一般化を目的とした,低レベル特徴と高レベル特徴を複数スケールで組み合わせたフレームワークを提案する。 我々のモデルは従来のDG手法よりも優れており、全てのデータセットにおいて競争力と最先端の結果を連続的に生成できることを示す。
  論文  参考訳（メタデータ） (2023-08-28T08:54:27Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• A Generic Approach for Enhancing GANs by Regularized Latent Optimization [79.00740660219256]
  本稿では,事前学習したGANを効果的かつシームレスに拡張できる,エミュレーティブモデル推論と呼ばれる汎用フレームワークを提案する。 我々の基本的な考え方は、ワッサーシュタイン勾配流法を用いて与えられた要求に対する最適潜時分布を効率的に推算することである。
  論文  参考訳（メタデータ） (2021-12-07T05:22:50Z)
• Benchmarking the Robustness of Instance Segmentation Models [3.1287804585804073]
  本稿では,実世界の画像の破損や領域外画像の収集に関して,インスタンス分割モデルの包括的評価を行う。 領域外画像評価は、実世界のアプリケーションにおいて重要な側面であるモデルの一般化能力を示している。 具体的には、最先端のネットワークアーキテクチャ、ネットワークバックボーン、正規化レイヤ、スクラッチからトレーニングされたモデル、ImageNet事前訓練ネットワークが含まれる。
  論文  参考訳（メタデータ） (2021-09-02T17:50:07Z)
• Optimized Generic Feature Learning for Few-shot Classification across Domains [96.4224578618561]
  我々は、ハイパーパラメータ最適化(HPO)の検証対象として、クロスドメイン、クロスタスクデータを用いることを提案する。 本手法は,領域内および領域内における少数ショット画像分類における有効性を示す。 学習した機能は、以前の数ショットとメタラーニングのアプローチよりも優れています。
  論文  参考訳（メタデータ） (2020-01-22T09:31:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。