論文の概要: Feature-Aware One-Shot Federated Learning via Hierarchical Token Sequences

• arxiv url: http://arxiv.org/abs/2601.03882v1
• Date: Wed, 07 Jan 2026 12:48:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-09 02:15:23.560611
• Title: Feature-Aware One-Shot Federated Learning via Hierarchical Token Sequences
• Title（参考訳）: 階層型トークンシーケンスによる特徴認識ワンショットフェデレーション学習
• Authors: Shudong Liu, Hanwen Zhang, Xiuling Wang, Yuesheng Zhu, Guibo Luo,
• Abstract要約: ワンショットフェデレーション学習(OSFL)は、反復フェデレーション学習の通信コストとプライバシリスクを低減する。 FALCONは、非IID画像データに対するOSFLの有効性を高めるフレームワークである。 医学および自然画像の実験は、多種多様な非IIDデータセットにおけるFALCONの有効性を検証する。
• 参考スコア（独自算出の注目度）: 22.05272371517286
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One-shot federated learning (OSFL) reduces the communication cost and privacy risks of iterative federated learning by constructing a global model with a single round of communication. However, most existing methods struggle to achieve robust performance on real-world domains such as medical imaging, or are inefficient when handling non-IID (Independent and Identically Distributed) data. To address these limitations, we introduce FALCON, a framework that enhances the effectiveness of OSFL over non-IID image data. The core idea of FALCON is to leverage the feature-aware hierarchical token sequences generation and knowledge distillation into OSFL. First, each client leverages a pretrained visual encoder with hierarchical scale encoding to compress images into hierarchical token sequences, which capture multi-scale semantics. Second, a multi-scale autoregressive transformer generator is used to model the distribution of these token sequences and generate the synthetic sequences. Third, clients upload the synthetic sequences along with the local classifier trained on the real token sequences to the server. Finally, the server incorporates knowledge distillation into global training to reduce reliance on precise distribution modeling. Experiments on medical and natural image datasets validate the effectiveness of FALCON in diverse non-IID scenarios, outperforming the best OSFL baselines by 9.58% in average accuracy.
• Abstract（参考訳）: ワンショットフェデレートラーニング(OSFL)は,単一ラウンドのコミュニケーションでグローバルモデルを構築することにより,反復フェデレーションラーニングの通信コストとプライバシリスクを低減する。 しかし、既存のほとんどの手法は、医用画像のような現実世界の領域で堅牢なパフォーマンスを達成するのに苦労している。 これらの制約に対処するため,非IID画像データに対するOSFLの有効性を高めるフレームワークであるFALCONを導入する。 FALCONの中核となる考え方は、機能対応の階層型トークンシーケンスの生成と知識蒸留をOSFLに活用することである。 まず、各クライアントは事前訓練されたビジュアルエンコーダと階層的なスケールのエンコードを使用して、画像を階層的なトークンシーケンスに圧縮し、マルチスケールのセマンティクスをキャプチャする。 第二に、これらのトークンシーケンスの分布をモデル化し、合成シーケンスを生成するために、マルチスケールの自己回帰トランスジェネレータが使用される。 第3に、クライアントは、実トークンシーケンスに基づいてトレーニングされたローカル分類器とともに、合成シーケンスをサーバにアップロードする。 最後に、サーバは知識蒸留をグローバルトレーニングに取り入れ、正確な分布モデリングへの依存を減らす。 医学および自然画像データセットの実験は、FALCONの様々な非IIDシナリオにおける有効性を検証し、OSFLベースラインの平均精度を9.58%上回った。

関連論文リスト

• FedRE: A Representation Entanglement Framework for Model-Heterogeneous Federated Learning [46.7918908485135]
  Federated Representation Entanglement (FedRE) は、クライアント知識の新たな形態を基盤としたフレームワークである。 FedREは、モデルパフォーマンス、プライバシ保護、通信オーバーヘッドの効果的なトレードオフを実現している。
  論文  参考訳（メタデータ） (2025-11-27T09:42:22Z)
• A New One-Shot Federated Learning Framework for Medical Imaging Classification with Feature-Guided Rectified Flow and Knowledge Distillation [13.353672721534627]
  ワンショットフェデレートラーニング(OSFL)は,通信オーバーヘッドの低さから注目を集めている。 既存の生成モデルベースのOSFLメソッドは、トレーニング効率の低下と、医療領域における潜在的なプライバシー漏洩に悩まされている。 本稿では,新しいFG-RF(Feature-Guided Rectified Flow Model)とDLKD(Dual-Layer Knowledge Distillation)アグリゲーション手法を開発したOSFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-07-25T08:05:47Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Semantic Image Synthesis via Diffusion Models [174.24523061460704]
  Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。 セマンティック画像合成に関する最近の研究は、主に事実上のGANベースのアプローチに従っている。 意味画像合成のためのDDPMに基づく新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-30T18:31:51Z)
• Robust Semi-supervised Federated Learning for Images Automatic Recognition in Internet of Drones [57.468730437381076]
  プライバシー保護型UAV画像認識のための半教師付きフェデレートラーニング(SSFL)フレームワークを提案する。 異なるカメラモジュールを使用したUAVによって収集されたローカルデータの数、特徴、分布には大きな違いがある。 本稿では,クライアントがトレーニングに参加する頻度,すなわちFedFreqアグリゲーションルールに基づくアグリゲーションルールを提案する。
  論文  参考訳（メタデータ） (2022-01-03T16:49:33Z)
• HAT: Hierarchical Aggregation Transformers for Person Re-identification [87.02828084991062]
  我々は,CNNとトランスフォーマーの両方の利点を,高性能な画像ベース人物Re-IDに適用する。 作業は、画像ベースのRe-IDのためのCNNとTransformerの両方の利点を初めて活用する。
  論文  参考訳（メタデータ） (2021-07-13T09:34:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。