論文の概要: FAST: Federated Active Learning with Foundation Models for Communication-efficient Sampling and Training
- arxiv url: http://arxiv.org/abs/2504.03783v2
- Date: Thu, 10 Apr 2025 14:42:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-11 12:23:38.319209
- Title: FAST: Federated Active Learning with Foundation Models for Communication-efficient Sampling and Training
- Title（参考訳）: FAST: コミュニケーション効率のよいサンプリングとトレーニングのための基礎モデルによるアクティブラーニング
- Authors: Haoyuan Li, Mathias Funk, Jindong Wang, Aaqib Saeed,
- Abstract要約: Federated Active Learning (FAL)は、分散クライアント間で大量のラベル付けされていないデータを活用するための、有望なフレームワークとして登場した。
本稿では,アノテータの最小限の労力で,ループ学習におけるコミュニケーションコストを削減するためのベストプラクティスについて述べる。
予備パスで弱ラベル付けのための基礎モデルを利用する2パスFALフレームワークであるFASTと、最も不確実なサンプルにのみ焦点を絞った改良パスを紹介する。
- 参考スコア（独自算出の注目度）: 24.99793611363916
- License:
- Abstract: Federated Active Learning (FAL) has emerged as a promising framework to leverage large quantities of unlabeled data across distributed clients while preserving data privacy. However, real-world deployments remain limited by high annotation costs and communication-intensive sampling processes, particularly in a cross-silo setting, when clients possess substantial local datasets. This paper addresses the crucial question: What is the best practice to reduce communication costs in human-in-the-loop learning with minimal annotator effort? Existing FAL methods typically rely on iterative annotation processes that separate active sampling from federated updates, leading to multiple rounds of expensive communication and annotation. In response, we introduce FAST, a two-pass FAL framework that harnesses foundation models for weak labeling in a preliminary pass, followed by a refinement pass focused exclusively on the most uncertain samples. By leveraging representation knowledge from foundation models and integrating refinement steps into a streamlined workflow, FAST substantially reduces the overhead incurred by iterative active sampling. Extensive experiments on diverse medical and natural image benchmarks demonstrate that FAST outperforms existing FAL methods by an average of 4.36% while reducing communication rounds eightfold under a limited 5% labeling budget.
- Abstract（参考訳）: フェデレートされたアクティブラーニング(FAL)は、データプライバシを保持しながら、分散クライアント間で大量のラベル付けされていないデータを活用するための、有望なフレームワークとして登場した。
しかし、クライアントが相当なローカルデータセットを持っている場合、特にクロスサイロ環境では、高アノテーションコストと通信集約的なサンプリングプロセスによって、現実世界のデプロイメントは制限され続けています。
本稿では、アノテータの最小限の労力で、ループ内学習における通信コストを削減するためのベストプラクティスについて述べる。
既存のFALメソッドは、一般的に、フェデレートされた更新からアクティブサンプリングを分離する反復的なアノテーションプロセスに依存しており、複数の高価な通信とアノテーションに繋がる。
これに対し、FASTは2パスのFALフレームワークであり、基礎モデルを予備パスで弱ラベル付けに利用し、次いで、最も不確実なサンプルにのみ焦点を絞った改良パスを導入する。
基礎モデルからの表現的知識を活用し、洗練されたステップを合理化されたワークフローに統合することにより、FASTは反復的なアクティブサンプリングによって引き起こされるオーバーヘッドを大幅に削減する。
様々な医学および自然画像のベンチマークに関する大規模な実験は、FASTが既存のFAL法を平均4.36%上回り、通信ラウンドを5%の予算で8倍に減らすことを示した。
関連論文リスト
- Maximally Separated Active Learning [32.98415531556376]
固定等角超球面点をクラスプロトタイプとして利用する能動的学習法を提案する。
5つのベンチマークデータセットにまたがる既存のアクティブラーニング技術よりも高いパフォーマンスを示す。
論文 参考訳（メタデータ） (2024-11-26T14:02:43Z) - Learn from the Learnt: Source-Free Active Domain Adaptation via Contrastive Sampling and Visual Persistence [60.37934652213881]
ドメイン適応(DA)は、ソースドメインから関連するターゲットドメインへの知識伝達を容易にする。
本稿では、ソースデータフリーなアクティブドメイン適応(SFADA)という実用的なDAパラダイムについて検討する。
本稿では,学習者学習(LFTL)というSFADAの新たなパラダイムを紹介し,学習した学習知識を事前学習モデルから活用し,余分なオーバーヘッドを伴わずにモデルを積極的に反復する。
論文 参考訳（メタデータ） (2024-07-26T17:51:58Z) - SFPrompt: Communication-Efficient Split Federated Fine-Tuning for Large Pre-Trained Models over Resource-Limited Devices [10.10998320880871]
SFPromptは、フェデレーション設定に適したプライバシー保護のための微調整手法である。
分割学習と連合学習を組み合わせてこれらの課題に対処する。
SFPromptは、フェデレートされた完全な微調整アプローチとして、競争力のあるパフォーマンスを提供する。
論文 参考訳（メタデータ） (2024-07-24T04:22:37Z) - Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。
DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。
10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
論文 参考訳（メタデータ） (2024-07-20T01:34:13Z) - Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-03-01T03:27:08Z) - Take the Bull by the Horns: Hard Sample-Reweighted Continual Training
Improves LLM Generalization [165.98557106089777]
大きな言語モデル(LLM)の能力を高めることが大きな課題だ。
本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。
次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
論文 参考訳（メタデータ） (2024-02-22T04:10:57Z) - An Experimental Design Framework for Label-Efficient Supervised Finetuning of Large Language Models [55.01592097059969]
命令データセットの監視された微調整は、目覚ましいゼロショットの一般化能力を達成する上で重要な役割を担っている。
アクティブラーニングは、未ラベルのプールからアノテートするサンプルの有用なサブセットを特定するのに効果的である。
本研究では,能動学習の計算ボトルネックを回避するための実験設計を提案する。
論文 参考訳（メタデータ） (2024-01-12T16:56:54Z) - SalientGrads: Sparse Models for Communication Efficient and Data Aware
Distributed Federated Training [1.0413504599164103]
フェデレートラーニング(FL)は、データを収集せずにプライバシを保ちながら、クライアントサイトの分散データを活用したモデルのトレーニングを可能にする。
FLの重要な課題の1つは、リソース制限されたエッジクライアントノードにおける計算の制限と通信帯域の低さである。
本稿では,学習前にデータ認識サブネットワークを選択することで,スパーストレーニングのプロセスを簡単にするSalient Gradsを提案する。
論文 参考訳（メタデータ） (2023-04-15T06:46:37Z) - FedDBL: Communication and Data Efficient Federated Deep-Broad Learning
for Histopathological Tissue Classification [65.7405397206767]
本稿では,FedDBL(Federated Deep-Broad Learning)を提案する。
FedDBLは1ラウンドの通信と限られたトレーニングサンプルで競合相手をはるかに上回り、マルチラウンドの通信で同等のパフォーマンスを達成している。
異なるクライアント間でのデータやディープモデルを共有しないため、プライバシ問題は十分に解決されており、モデルのセキュリティはモデル反転攻撃のリスクなしに保証される。
論文 参考訳（メタデータ） (2023-02-24T14:27:41Z) - One-shot Federated Learning without Server-side Training [42.59845771101823]
クライアントとサーバ間の通信コストを削減する手段として,ワンショットのフェデレーション学習が人気を集めている。
既存のワンショットFL法のほとんどは知識蒸留に基づいているが、蒸留に基づくアプローチでは追加のトレーニングフェーズが必要であり、公開されているデータセットや生成された擬似サンプルに依存する。
本研究では,サーバサイドのトレーニングなしで,ローカルモデル上で1ラウンドのパラメータアグリゲーションを実行するという,新しいクロスサイロ設定について考察する。
論文 参考訳（メタデータ） (2022-04-26T01:45:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。