論文の概要: Provable Sparse Inversion and Token Relabel Enhanced One-shot Federated Learning with ViTs

• arxiv url: http://arxiv.org/abs/2605.10748v1
• Date: Mon, 11 May 2026 15:49:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.952397
• Title: Provable Sparse Inversion and Token Relabel Enhanced One-shot Federated Learning with ViTs
• Title（参考訳）: ViTを用いたワンショットフェデレーション学習の確率的スパースインバージョンとToken Relabel
• Authors: Li Shen, Xiaolei Hao, Qinglun Li, Xiaochun Cao, Zhifeng Hao, Xun Yang,
• Abstract要約: ワンショットフェデレートラーニング(One-Shot Federated Learning)は、単一のコミュニケーションラウンドでグローバルモデルを学ぶ中央サーバが、有望なパラダイムとして登場したものだ。 本稿では,合成画像の全パッチをフル活用してグローバルモデルをトレーニングする,新しいフェデレーションモデルインバージョンとトークンリラベルフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 77.42033827176806
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One-Shot Federated Learning, where a central server learns a global model in a single communication round, has emerged as a promising paradigm. However, under extremely non-IID settings, existing data-free methods often generate low-quality data that suffers from severe semantic misalignment with ground-truth labels. To overcome these issues, we propose a novel Federated Model Inversion and Token Relabel (FedMITR) framework, which trains the global model by fully exploiting all patches of synthetic images. Specifically, FedMITR employs sparse model inversion during data generation, selectively inverting semantic foregrounds while halting the inversion of uninformative backgrounds. To address semantically meaningless tokens that hinder ViT predictions, we implement a differentiated strategy: patches with high information density utilize generated pseudo-labels, while patches with low information density are relabeled via ensemble models for robust distillation. Theoretically, our analysis based on algorithmic stability reveals that Sparse Model Inversion eliminates gradient instability arising from background noise, while Token Relabel effectively reduces gradient variance, collectively guaranteeing a tighter generalization bound. Empirically, extensive experimental results demonstrate that FedMITR substantially outperforms existing baselines under various settings.
• Abstract（参考訳）: ワンショットフェデレートラーニング(One-Shot Federated Learning)は、単一のコミュニケーションラウンドでグローバルモデルを学ぶ中央サーバが、有望なパラダイムとして登場したものだ。 しかし、極端に非IIDな設定では、既存のデータフリーな手法は、しばしば、地上構造ラベルとの深刻なセマンティックなミスアライメントに苦しむ低品質なデータを生成する。 これらの課題を克服するために,合成画像のパッチをすべて活用してグローバルモデルをトレーニングする,新しいフェデレーションモデルインバージョンとトークンリラベル(FedMITR)フレームワークを提案する。 具体的には、FedMITRはデータ生成中にスパースモデル逆転を採用し、意味的前景を選択的に反転させ、非形式的背景の逆転を停止させる。 高情報密度のパッチは生成した擬似ラベルを利用しており、低情報密度のパッチは頑健な蒸留のためのアンサンブルモデルによって実現されている。 理論的には,Sparse Model Inversionは背景雑音による勾配不安定を解消し,Token Relabelは勾配分散を効果的に低減し,より厳密な一般化境界を保証している。 実験的に広範な実験結果から、FedMITRは様々な設定下で既存のベースラインを大幅に上回っていることが示されている。

関連論文リスト

• Self-Improving Tabular Language Models via Iterative Group Alignment [76.43372236405664]
  自動フィードバックによるデータ生成のための,最初の自己改善フレームワークであるTabGRAAを紹介する。 新たに生成されたサンプルを高品質なグループと低品質なグループに分割し、グループ相対的な有利な目標を優先順位付けする。 実験では、TabGRAAは、忠実さ、ユーティリティ、プライバシにおいて、既存のメソッドよりも優れています。
  論文  参考訳（メタデータ） (2026-04-21T01:29:52Z)
• Enhancing Gradient Inversion Attacks in Federated Learning via Hierarchical Feature Optimization [56.95448807869383]
  フェデレートラーニング(FL)は、プライバシを保存する分散機械学習の魅力的なパラダイムとして登場した。 近年の研究では、FLシステムで交換される勾配もプライバシー漏洩に弱いことが報告されている。 我々は textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD) を提案する。
  論文  参考訳（メタデータ） (2026-04-01T14:32:15Z)
• Variational Rectification Inference for Learning with Noisy Labels [74.85528327499662]
  損失関数の適応的補正を定式化するために, 変分補正推論(VRI)を提案する。 VRIは、補正ベクトルを潜在変数として扱うことによって階層ベイズとして構成される。 VRIで変分項を導入することにより、条件付き後部を正確に推定し、ディラックデルタ関数への崩壊を避ける。
  論文  参考訳（メタデータ） (2026-03-18T01:25:08Z)
• SCOPE: Semantic Coreset with Orthogonal Projection Embeddings for Federated learning [0.7799711162530713]
  現在のMLアプローチでは、非現実的なデータアグリゲーションを必要とするか、クラス不均衡のため失敗する。 SCOPEは,異常をフィルタし,冗長なデータを長期スキューに適応させる,フェデレートされたデータのためのコアセットフレームワークである。 SCOPEは、アップリンク帯域幅を128倍から512倍に削減しながら、競争力のあるグローバル精度と堅牢な収束をもたらす。
  論文  参考訳（メタデータ） (2026-03-13T13:24:12Z)
• TIP: Resisting Gradient Inversion via Targeted Interpretable Perturbation in Federated Learning [8.156452885913108]
  フェデレートラーニング(FL)は、データの局所性を維持しながら協調的なモデルトレーニングを促進する。 勾配の交換により、システムはグラディエント・インバージョン・アタック(GIAs)に弱い。 本稿では、モデル解釈可能性と周波数領域解析を統合する新しい防御フレームワークTIPを提案する。
  論文  参考訳（メタデータ） (2026-02-12T06:32:49Z)
• Semi-Supervised Regression with Heteroscedastic Pseudo-Labels [50.54050677867914]
  両レベル最適化の観点から,疑似ラベルの影響を動的に調整する不確実性認識型擬似ラベル化フレームワークを提案する。 我々は、様々なベンチマークSSRデータセットにまたがって、我々のアプローチを検証するための理論的洞察と広範な実験を提供する。
  論文  参考訳（メタデータ） (2025-10-17T03:06:23Z)
• Reliable Active Learning from Unreliable Labels via Neural Collapse Geometry [5.1511135538176]
  アクティブラーニング(AL)は、情報的なサンプルを優先順位付けすることでアノテーションのコストを削減することを約束するが、ラベルがうるさい場合やデータ分散がシフトした場合、その信頼性は低下する。 本稿では,深層ネットワークの創発的幾何学的規則性を活用し,信頼できない監視に対処するフレームワークである能動学習(NCAL-R)を提案する。
  論文  参考訳（メタデータ） (2025-10-10T17:50:31Z)
• Federated Learning Meets LLMs: Feature Extraction From Heterogeneous Clients [0.0]
  フェデレートラーニング(FL)は、生データを共有せずに協調的なモデルトレーニングを可能にする。 我々は,事前学習された大規模言語モデル(LLM)を普遍的特徴抽出器として利用するフレームワークであるFedLLM-Alignを提案する。 冠動脈疾患予測におけるFedLLM-Alignの評価は,シミュレートされたスキーマ分岐を用いた分割データセットを用いて行われる。
  論文  参考訳（メタデータ） (2025-09-29T14:06:52Z)
• Crafting Imperceptible On-Manifold Adversarial Attacks for Tabular Data [38.89245780759371]
  本稿では,混合入力変分オートエンコーダ(VAE)を用いた遅延空間摂動フレームワークを提案し,統計的に一貫した逆の例を生成する。 提案手法は,従来の入力空間攻撃と比較して,アウトレーラ率と一貫した性能を著しく低下させることを示す。
  論文  参考訳（メタデータ） (2025-07-15T05:34:44Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。