論文の概要: Domain Borders Are There to Be Crossed With Federated Few-Shot Adaptation
- arxiv url: http://arxiv.org/abs/2507.10160v1
- Date: Mon, 14 Jul 2025 11:18:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-15 18:48:24.763277
- Title: Domain Borders Are There to Be Crossed With Federated Few-Shot Adaptation
- Title(参考訳): ドメイン境界はフェデレーションされたFew-Shot適応と交差する
- Authors: Manuel Röder, Christoph Raab, Frank-Michael Schleif,
- Abstract要約: 産業環境における現実世界のクライアント適応に適した,効率的でスケーラブルなフェデレート学習フレームワークを提案する。
リソース制約のあるデバイス上でのクライアント適応時のバックボーンと分類器を凍結することにより、ドメイン適応線形層が対象のドメイン適応を処理することができる。
本フレームワークは,資源制約のある環境下での散発的モデル更新に対応し,実用的かつシームレスなデプロイメントを実現する。
- 参考スコア(独自算出の注目度): 0.6554326244334866
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Federated Learning has emerged as a leading paradigm for decentralized, privacy-preserving learning, particularly relevant in the era of interconnected edge devices equipped with sensors. However, the practical implementation of Federated Learning faces three primary challenges: the need for human involvement in costly data labelling processes for target adaptation, covariate shift in client device data collection due to environmental factors affecting sensors, leading to discrepancies between source and target samples, and the impracticality of continuous or regular model updates in resource-constrained environments due to limited data transmission capabilities and technical constraints on channel availability and energy efficiency. To tackle these issues, we expand upon an efficient and scalable Federated Learning framework tailored for real-world client adaptation in industrial settings. This framework leverages a pre-trained source model comprising a deep backbone, an adaptation module, and a classifier running on a powerful server. By freezing the backbone and classifier during client adaptation on resource-constrained devices, we allow the domain adaptive linear layer to handle target domain adaptation, thus minimizing overall computational overhead. Furthermore, this setup, designated as FedAcross+, is extended to encompass the processing of streaming data, thereby rendering the solution suitable for non-stationary environments. Extensive experimental results demonstrate the effectiveness of FedAcross+ in achieving competitive adaptation on low-end client devices with limited target samples, successfully addressing the challenge of domain shift. Moreover, our framework accommodates sporadic model updates within resource-constrained environments, ensuring practical and seamless deployment.
- Abstract(参考訳): フェデレートラーニング(Federated Learning)は、特にセンサを備えた相互接続エッジデバイスの時代において、分散化されたプライバシ保護学習の主要なパラダイムとして登場した。
しかし、フェデレートラーニングの実践的な実装は、ターゲット適応のためのコストの高いデータラベリングプロセスへの人間による関与の必要性、センサに影響を与える環境要因によるクライアントデバイスデータの収集の共変、ソースとターゲットのサンプルの相違、データ送信能力の制限とチャネルの可用性とエネルギー効率の技術的制約によるリソース制約のある環境における継続的または定期的なモデル更新の非現実性、の3つの課題に直面している。
これらの課題に対処するため、産業環境での現実世界のクライアント適応に適した、効率的でスケーラブルなフェデレーション学習フレームワークを拡張しました。
このフレームワークは、ディープバックボーン、アダプティブモジュール、強力なサーバ上で動作する分類器からなる事前訓練されたソースモデルを活用する。
リソース制約のあるデバイス上でのクライアント適応時のバックボーンと分類器を凍結することにより、ドメイン適応線形層が対象のドメイン適応を処理することができるので、全体的な計算オーバーヘッドを最小限に抑えることができる。
さらに、FedAcross+として指定されたこの設定は、ストリーミングデータの処理を含むように拡張され、非定常環境に適したソリューションがレンダリングされる。
FedAcross+は、限られたターゲットサンプルを持つローエンドクライアントデバイスに対して、競争力のある適応を実現し、ドメインシフトの課題に対処することに成功した。
さらに,本フレームワークは,資源制約のある環境下での散発的モデル更新に対応し,実用的かつシームレスなデプロイメントを実現する。
関連論文リスト
- AFLoRA: Adaptive Federated Fine-Tuning of Large Language Models with Resource-Aware Low-Rank Adaption [3.805501490912696]
フェデレートされた微調整は、分散データを使用して下流タスクにファンデーションモデルを適用するための有望なアプローチとして現れている。
大規模言語モデルのための適応的で軽量なファインチューニングフレームワークであるAFLoRAを提案する。
論文 参考訳(メタデータ) (2025-05-30T16:35:32Z) - Optimal Transport-Guided Source-Free Adaptation for Face Anti-Spoofing [58.56017169759816]
本稿では,テスト時に顔のアンチスプーフィングモデルをクライアント自身でターゲットドメインに適応させる新しい手法を提案する。
具体的には,プロトタイプベースモデルと最適トランスポート誘導型アダプタを開発した。
近年の手法と比較して、クロスドメインおよびクロスアタック設定では、HTERが19.17%、AUCが8.58%の平均相対的改善が達成されている。
論文 参考訳(メタデータ) (2025-03-29T06:10:34Z) - Client-Centric Federated Adaptive Optimization [78.30827455292827]
Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。
本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
論文 参考訳(メタデータ) (2025-01-17T04:00:50Z) - Modality Alignment Meets Federated Broadcasting [9.752555511824593]
フェデレートラーニング(FL)は、ローカルデータを集中化せずに、分散エッジデバイス間でモデルをトレーニングすることで、データのプライバシを保護する強力なアプローチとして登場した。
本稿では,テキストエンコーダをサーバ上に配置し,画像エンコーダをローカルデバイス上で動作させる,モダリティアライメントを利用した新しいFLフレームワークを提案する。
論文 参考訳(メタデータ) (2024-11-24T13:30:03Z) - HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization [55.972018549438964]
LLM(Federated Fine-tuning of Pre-trained Large Language Models)は、さまざまなデータセットにまたがるタスク固有の適応を可能にすると同時に、プライバシの保護を可能にする。
本研究では, HAFLQ (Heterogeneous Adaptive Federated Low-Rank Adaptation Fine-tuned LLM with Quantization) を提案する。
テキスト分類タスクの実験結果から,HAFLQはメモリ使用量を31%削減し,通信コストを49%削減し,精度を50%向上し,ベースライン法よりも高速な収束を実現している。
論文 参考訳(メタデータ) (2024-11-10T19:59:54Z) - Efficient Cross-Domain Federated Learning by MixStyle Approximation [0.3277163122167433]
ハードウェア制約環境におけるクライアント適応のための,プライバシ保護,リソース効率の高いフェデレーション学習の概念を導入する。
このアプローチには、ソースデータに対するサーバモデル事前トレーニングと、ローエンドクライアントによるターゲットデータへの微調整が含まれる。
予備的な結果は,下流タスクにおける競合性能を維持しながら,計算コストと伝送コストを削減できることを示唆している。
論文 参考訳(メタデータ) (2023-12-12T08:33:34Z) - Informative Data Mining for One-Shot Cross-Domain Semantic Segmentation [84.82153655786183]
Informative Data Mining (IDM) と呼ばれる新しいフレームワークを提案し、セマンティックセグメンテーションのための効率的なワンショットドメイン適応を実現する。
IDMは、最も情報性の高いサンプルを特定するために不確実性に基づく選択基準を提供し、迅速に適応し、冗長なトレーニングを減らす。
提案手法は,GTA5/SYNTHIAからCityscapesへの適応タスクにおいて,既存の手法より優れ,56.7%/55.4%の最先端のワンショット性能を実現している。
論文 参考訳(メタデータ) (2023-09-25T15:56:01Z) - REFT: Resource-Efficient Federated Training Framework for Heterogeneous
and Resource-Constrained Environments [2.117841684082203]
分散システムでは、フェデレートラーニング(FL)が重要な役割を果たす。
FLは、機械学習のプライバシ強化サブドメインとして出現する。
我々は「不均一・資源制約環境のための資源効率の良いフェデレーション・トレーニング・フレームワーク」を提案する。
論文 参考訳(メタデータ) (2023-08-25T20:33:30Z) - Feed-Forward Latent Domain Adaptation [17.71179872529747]
本研究では,資源制約されたエッジデバイスが事前学習したモデルをローカルなデータ分布に適応させることのできる,新しい高度に実践的な問題設定について検討する。
エッジデバイスの制限を考慮すると、バックプロパゲーションを使わず、ソースデータにアクセスせずに、事前訓練されたモデルのみを使用し、フィードフォワード方式で適応することを目指している。
我々の解決策は、混合関連ターゲットデータセットを埋め込み、クロスアテンションを用いてターゲットサンプルに対する推論を動的に適応できるネットワークをメタラーニングすることである。
論文 参考訳(メタデータ) (2022-07-15T17:37:42Z) - Federated Multi-Target Domain Adaptation [99.93375364579484]
フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。
分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。
本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
論文 参考訳(メタデータ) (2021-08-17T17:53:05Z) - Unsupervised Domain Adaptation in Person re-ID via k-Reciprocal
Clustering and Large-Scale Heterogeneous Environment Synthesis [76.46004354572956]
個人再識別のための教師なし領域適応手法を提案する。
実験結果から,ktCUDA法とSHRED法は,再同定性能において,+5.7 mAPの平均的改善を実現することがわかった。
論文 参考訳(メタデータ) (2020-01-14T17:43:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。