論文の概要: Vertical Federated Learning with Missing Features During Training and Inference
- arxiv url: http://arxiv.org/abs/2410.22564v1
- Date: Tue, 29 Oct 2024 22:09:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-31 14:26:00.581358
- Title: Vertical Federated Learning with Missing Features During Training and Inference
- Title（参考訳）: 訓練と推論中に欠落する特徴をもつ垂直的フェデレーション学習
- Authors: Pedro Valdeira, Shiqiang Wang, Yuejie Chi,
- Abstract要約: 本稿では,ニューラルネットワークに基づくモデルの学習と推論を効率的に行うための垂直連合学習手法を提案する。
私たちのアプローチは単純だが効果的であり、タスクサンプリングと推論におけるパラメータの戦略的共有に依存しています。
数値実験により, ベースライン上におけるLASER-VFLの性能が向上した。
- 参考スコア（独自算出の注目度）: 37.44022318612869
- License:
- Abstract: Vertical federated learning trains models from feature-partitioned datasets across multiple clients, who collaborate without sharing their local data. Standard approaches assume that all feature partitions are available during both training and inference. Yet, in practice, this assumption rarely holds, as for many samples only a subset of the clients observe their partition. However, not utilizing incomplete samples during training harms generalization, and not supporting them during inference limits the utility of the model. Moreover, if any client leaves the federation after training, its partition becomes unavailable, rendering the learned model unusable. Missing feature blocks are therefore a key challenge limiting the applicability of vertical federated learning in real-world scenarios. To address this, we propose LASER-VFL, a vertical federated learning method for efficient training and inference of split neural network-based models that is capable of handling arbitrary sets of partitions. Our approach is simple yet effective, relying on the strategic sharing of model parameters and on task-sampling to train a family of predictors. We show that LASER-VFL achieves a $\mathcal{O}({1}/{\sqrt{T}})$ convergence rate for nonconvex objectives in general, $\mathcal{O}({1}/{T})$ for sufficiently large batch sizes, and linear convergence under the Polyak-{\L}ojasiewicz inequality. Numerical experiments show improved performance of LASER-VFL over the baselines. Remarkably, this is the case even in the absence of missing features. For example, for CIFAR-100, we see an improvement in accuracy of $21.4\%$ when each of four feature blocks is observed with a probability of 0.5 and of $12.2\%$ when all features are observed.
- Abstract（参考訳）: 垂直連合学習は、複数のクライアントにまたがる特徴分割データセットからモデルを訓練する。
標準的なアプローチでは、トレーニングと推論の両方で、すべての機能パーティションが利用できると仮定している。
しかし、実際には、多くのサンプルではクライアントのサブセットだけが分割を観察するので、この仮定はめったに成立しない。
しかし、トレーニング中に不完全なサンプルを使わないと一般化が損なわれ、推論中にそれらをサポートしない場合には、モデルの有用性が制限される。
さらに、任意のクライアントがトレーニング後にフェデレーションを離れると、そのパーティションは利用不能になり、学習したモデルを使用不能にします。
したがって、機能ブロックの欠落は、現実世界のシナリオにおける垂直連合学習の適用性を制限する重要な課題である。
そこで本研究では,任意の分割を処理可能な分割ニューラルネットワークベースモデルの学習と推論を効率的に行うための,垂直フェデレーション学習手法であるLASER-VFLを提案する。
モデルパラメータの戦略的共有とタスクサンプリングに頼り、予測者のファミリーを訓練する。
LASER-VFLは、一般に非凸対象に対する$\mathcal{O}({1}/{\sqrt{T}})$収束率、十分に大きなバッチサイズに対する$\mathcal{O}({1}/{T})$およびPolyak-{\L}ojasiewiczの不等式に対する線形収束率を達成することを示す。
数値実験により, ベースライン上におけるLASER-VFLの性能が向上した。
注目すべきは、この機能が欠如している場合でも、これが当てはまることだ。
例えば、CIFAR-100では、4つの特徴ブロックのそれぞれが0.5の確率で観測され、全ての特徴が観測された場合には12.2\%の精度で21.4\%の精度が向上する。
関連論文リスト
- Federated Learning under Partially Class-Disjoint Data via Manifold Reshaping [64.58402571292723]
我々はFedMRと呼ばれる多様体再構成手法を提案し、局所訓練の特徴空間を校正する。
我々は、FedMRがはるかに高い精度と通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行います。
論文 参考訳（メタデータ） (2024-05-29T10:56:13Z) - Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。
近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。
本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-11T13:44:49Z) - On the Convergence of Federated Averaging under Partial Participation for Over-parameterized Neural Networks [13.2844023993979]
フェデレートラーニング(FL)は、ローカルデータを共有せずに複数のクライアントから機械学習モデルを協調的に作成するための分散パラダイムである。
本稿では,FedAvgが世界規模で世界規模で収束していることを示す。
論文 参考訳（メタデータ） (2023-10-09T07:56:56Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - Test-Time Adaptation with CLIP Reward for Zero-Shot Generalization in
Vision-Language Models [76.410400238974]
モデル出力を補正し、モデルが盲目的に自信を持たないようにするためのフィードバック付きTTAを提案する。
CLIPモデルは、TTA中に報酬モデルとして採用され、VLMにフィードバックを提供する。
提案したCLIPフィードバック(RLCF)フレームワークによるテキスト強化学習は非常に柔軟で普遍的である。
論文 参考訳（メタデータ） (2023-05-29T11:03:59Z) - FedIN: Federated Intermediate Layers Learning for Model Heterogeneity [7.781409257429762]
フェデレートラーニング(FL)は、エッジデバイスがローカルおよびプライベートにトレーニングデータを維持しながら、グローバルな共有モデルを協調的にトレーニングすることを促進する。
本研究では,FedIN(Federated Intermediate Layers Learning)と呼ばれるFL手法を提案する。
実験結果から, 異種モデル環境におけるFedINの性能は, 最先端のアルゴリズムと比較して優れていた。
論文 参考訳（メタデータ） (2023-04-03T07:20:43Z) - GLASU: A Communication-Efficient Algorithm for Federated Learning with
Vertically Distributed Graph Data [44.02629656473639]
本稿では,クライアントとサーバ間でバックボーンGNNを分割するモデル分割手法と通信効率のよいGLASUを提案する。
提案アルゴリズムは,実世界のデータセットに対する理論的解析と広範な数値実験を行い,中央集権的な学習を行うと,バックボーンのGNNと性能が一致するGNNモデルを効果的に訓練することを示した。
論文 参考訳（メタデータ） (2023-03-16T17:47:55Z) - One-shot Federated Learning without Server-side Training [42.59845771101823]
クライアントとサーバ間の通信コストを削減する手段として,ワンショットのフェデレーション学習が人気を集めている。
既存のワンショットFL法のほとんどは知識蒸留に基づいているが、蒸留に基づくアプローチでは追加のトレーニングフェーズが必要であり、公開されているデータセットや生成された擬似サンプルに依存する。
本研究では,サーバサイドのトレーニングなしで,ローカルモデル上で1ラウンドのパラメータアグリゲーションを実行するという,新しいクロスサイロ設定について考察する。
論文 参考訳（メタデータ） (2022-04-26T01:45:37Z) - Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文 参考訳（メタデータ） (2021-02-14T05:36:25Z) - FedCVT: Semi-supervised Vertical Federated Learning with Cross-view Training [9.638604434238882]
フェデレート・クロスビュー・トレーニング(Federated Cross-view Training, FedCVT)は、縦型フェデレーション学習モデルの性能を向上させる半教師付き学習手法である。
FedCVTは独自のデータとモデルパラメータを共有する必要はなく、データのプライバシを保存する。
論文 参考訳（メタデータ） (2020-08-25T06:20:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。