論文の概要: Towards Privacy-preserved Pre-training of Remote Sensing Foundation Models with Federated Mutual-guidance Learning

• arxiv url: http://arxiv.org/abs/2503.11051v1
• Date: Fri, 14 Mar 2025 03:38:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:07:30.574472
• Title: Towards Privacy-preserved Pre-training of Remote Sensing Foundation Models with Federated Mutual-guidance Learning
• Title（参考訳）: 相互指導学習によるリモートセンシング基礎モデルのプライバシ保護事前学習に向けて
• Authors: Jieyi Tan, Chengwei Zhang, Bo Dang, Yansheng Li,
• Abstract要約: リモートセンシングファウンデーションモデル(RSFM)は、大規模にキュレートされたリモートセンシングデータの自己監督を通じて、データ分散パラダイムで事前訓練される。 各機関について、RSFMの予備訓練を単体で行うと、最適以下の性能が得られ、また複数の機関からのリモートセンシングデータを集約して、集中的な事前トレーニングを行うとプライバシー上の懸念が生じる。 本研究では、複数の機関がプライベートデータを共有せずにRSFMを協調訓練できる新しいプライバシ保護事前学習フレームワーク(FedSense)を提案する。
• 参考スコア（独自算出の注目度）: 3.568395115478331
• License:
• Abstract: Traditional Remote Sensing Foundation models (RSFMs) are pre-trained with a data-centralized paradigm, through self-supervision on large-scale curated remote sensing data. For each institution, however, pre-training RSFMs with limited data in a standalone manner may lead to suboptimal performance, while aggregating remote sensing data from multiple institutions for centralized pre-training raises privacy concerns. Seeking for collaboration is a promising solution to resolve this dilemma, where multiple institutions can collaboratively train RSFMs without sharing private data. In this paper, we propose a novel privacy-preserved pre-training framework (FedSense), which enables multiple institutions to collaboratively train RSFMs without sharing private data. However, it is a non-trivial task hindered by a vicious cycle, which results from model drift by remote sensing data heterogeneity and high communication overhead. To break this vicious cycle, we introduce Federated Mutual-guidance Learning. Specifically, we propose a Server-to-Clients Guidance (SCG) mechanism to guide clients updates towards global-flatness optimal solutions. Additionally, we propose a Clients-to-Server Guidance (CSG) mechanism to inject local knowledge into the server by low-bit communication. Extensive experiments on four downstream tasks demonstrate the effectiveness of our FedSense in both full-precision and communication-reduced scenarios, showcasing remarkable communication efficiency and performance gains.
• Abstract（参考訳）: 従来のリモートセンシングファウンデーションモデル(RSFM)は、大規模にキュレートされたリモートセンシングデータの自己監督を通じて、データ分散パラダイムで事前訓練されている。 しかし,各機関のRSFMの事前学習は,単独で限られたデータしか持たないため,準最適性能が期待できる一方で,複数の機関からのリモートセンシングデータを集約することで,プライバシー上の懸念が高まる。 複数の機関がプライベートデータを共有することなく、共同でRSFMをトレーニングすることができる。 本稿では、複数の機関がプライベートデータを共有せずにRSFMを協調的にトレーニングできる新しいプライバシ保護事前学習フレームワーク(FedSense)を提案する。 しかし、リモートセンシングデータの不均一性と高い通信オーバーヘッドによるモデルドリフトから生じる悪循環によって妨げられる非自明なタスクである。 この悪循環を打破するために、フェデレート・ミューチュアル・ガイダンス・ラーニングを紹介します。 具体的には、クライアントの更新をグローバルフラットネス最適ソリューションへと導くためのサーバ間ガイダンス(SCG)機構を提案する。 さらに,低ビット通信によりローカルな知識をサーバに注入するCSG機構を提案する。 4つの下流タスクに関する大規模な実験は、FedSenseが完全精度とコミュニケーション再現シナリオの両方で有効であることを示し、顕著な通信効率と性能向上を示す。

関連論文リスト

• TRAIL: Trust-Aware Client Scheduling for Semi-Decentralized Federated Learning [13.144501509175985]
  本稿では、クライアントの状態とコントリビューションを評価するTRAILと呼ばれるTRust-Aware clIent scheduLing機構を提案する。 我々は、エッジサーバとクライアントが信頼できないクラスタ内モデルアグリゲーションとクラスタ間モデルコンセンサスを使用して、共有グローバルモデルをトレーニングする半分散FLフレームワークに焦点を当てる。 実世界のデータセットで行われた実験では、TRAILは最先端のベースラインを上回っ、テスト精度が8.7%向上し、トレーニング損失が15.3%減少した。
  論文  参考訳（メタデータ） (2024-12-16T05:02:50Z)
• FedMoE-DA: Federated Mixture of Experts via Domain Aware Fine-grained Aggregation [22.281467168796645]
  Federated Learning(FL)は、複数のクライアントがプライベートデータを共有せずにモデルをトレーニングできる、コラボレーティブな機械学習アプローチである。 我々は、新しいドメイン認識、きめ細かい集約戦略を取り入れた新しいFLモデルトレーニングフレームワークであるFedMoE-DAを提案し、ロバスト性、パーソナライズ性、通信効率を同時に向上する。
  論文  参考訳（メタデータ） (2024-11-04T14:29:04Z)
• Blockchain-enabled Trustworthy Federated Unlearning [50.01101423318312]
  フェデレートアンラーニング(Federated Unlearning)は、分散クライアントのデータオーナシップを保護するための、有望なパラダイムである。 既存の作業では、分散クライアントからの履歴モデルパラメータを保持するために、中央サーバが必要である。 本稿では,ブロックチェーンによる信頼性の高いフェデレーションアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-29T07:04:48Z)
• Personalized Federated Learning with Attention-based Client Selection [57.71009302168411]
  我々は,意図に基づくクライアント選択機構を備えた新しいPFLアルゴリズムであるFedACSを提案する。 FedACSは、類似したデータ分散を持つクライアント間のコラボレーションを強化するためのアテンションメカニズムを統合している。 CIFAR10とFMNISTの実験は、FedACSの優位性を検証する。
  論文  参考訳（メタデータ） (2023-12-23T03:31:46Z)
• FedICT: Federated Multi-task Distillation for Multi-access Edge Computing [11.37078089754479]
  マルチアクセスエッジ計算(FedICT)のためのMultI-task蒸留法を提案する。 FedICTによるクライアントとサーバ間の双方向蒸留プロセスにおけるローカル・グローバルな知識の活用 FedICTは、さまざまなデータ異種およびモデルアーキテクチャ設定で比較されたベンチマークを著しく上回っている。
  論文  参考訳（メタデータ） (2023-01-01T11:50:58Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• Personalization Improves Privacy-Accuracy Tradeoffs in Federated Optimization [57.98426940386627]
  局所的な学習とプライベートな集中学習の協調は、総合的に有用であり、精度とプライバシのトレードオフを改善していることを示す。 合成および実世界のデータセットに関する実験により理論的結果について述べる。
  論文  参考訳（メタデータ） (2022-02-10T20:44:44Z)
• Federated Multi-Target Domain Adaptation [99.93375364579484]
  フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。 分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。 本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:53:05Z)
• Decentralised Learning from Independent Multi-Domain Labels for Person Re-Identification [69.29602103582782]
  ディープラーニングは多くのコンピュータビジョンタスクで成功している。 しかし、プライバシー問題に対する意識の高まりは、特に人物の再識別(Re-ID)において、ディープラーニングに新たな課題をもたらす。 我々は,複数のプライバシ保護されたローカルモデル(ローカルクライアント)を同時に学習することにより,汎用的なグローバルモデル(中央サーバ)を構築するための,フェデレート・パーソナライゼーション(FedReID)と呼ばれる新しいパラダイムを提案する。 このクライアントサーバ共同学習プロセスは、プライバシコントロールの下で反復的に実行されるため、分散データを共有したり、収集したりすることなく、分散学習を実現することができる。
  論文  参考訳（メタデータ） (2020-06-07T13:32:33Z)
• Concentrated Differentially Private and Utility Preserving Federated Learning [24.239992194656164]
  フェデレーション・ラーニング(Federated Learning)とは、エッジデバイスのセットが、中央サーバのオーケストレーションの下でモデルを協調的にトレーニングする、機械学習環境である。 本稿では,モデルユーティリティの劣化を伴わずに,プライバシ問題に対処するフェデレーション学習手法を開発する。 このアプローチのエンドツーエンドのプライバシ保証を厳格に提供し、理論的収束率を分析します。
  論文  参考訳（メタデータ） (2020-03-30T19:20:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。