論文の概要: OvA-LP: A Simple and Efficient Framework for Federated Learning on Non-IID Data

• arxiv url: http://arxiv.org/abs/2511.05028v1
• Date: Fri, 07 Nov 2025 07:00:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-10 21:00:44.696831
• Title: OvA-LP: A Simple and Efficient Framework for Federated Learning on Non-IID Data
• Title（参考訳）: OvA-LP:非IIDデータによるフェデレーション学習のためのシンプルで効率的なフレームワーク
• Authors: Dongjin Park, Hasung Yeo, Joon-Woo Lee,
• Abstract要約: OvA-LPはPEFTベースのFFTパラダイム内でのドリフトを抑制するように設計されている。 100のクライアントを持つCIFAR-100では、OvA-LPはIID精度の95.9%を維持し、最先端のFFTベースラインは10.1%(PFPT)と34.5%(FFT-MoE)しか保持していない。
• 参考スコア（独自算出の注目度）: 3.2207230906189945
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated fine-tuning (FFT) adapts foundation models to decentralized data but remains fragile under heterogeneous client distributions due to local drift, i.e., client-level update divergences that induce systematic bias and amplified variance in the global model. Existing aggregation and personalization methods largely correct drift post hoc, which proves brittle under extreme non-IID conditions. We introduce OvA-LP, a minimalist framework that is, to our knowledge, the first explicitly designed to suppress drift at its source within the PEFT-based FFT paradigm. OvA-LP combines linear probing on a frozen encoder with a one-vs-all head and a simple two-stage procedure, preserving pretrained feature geometry and decoupling logits to prevent the mechanisms that amplify drift. On CIFAR-100 with 100 clients, averaged over shard-1, shard-2, and Bernoulli-Dirichlet partitions, OvA-LP retains 95.9% of its IID accuracy, whereas state-of-the-art FFT baselines retain only 10.1% (PFPT) and 34.5% (FFT-MoE) under the same conditions. OvA-LP further maintains resilience under both symmetric and asymmetric label noise. In addition, precomputing encoder features makes per-round cost nearly independent of encoder size. Together, these results demonstrate that OvA-LP provides a principled and efficient basis for robust FFT under heterogeneity.
• Abstract（参考訳）: Federated Fine-tuning (FFT) は、基礎モデルを分散データに適用するが、局所的なドリフトによる不均一なクライアント分布、すなわち、グローバルモデルにおける体系的なバイアスと増幅された分散を誘発するクライアントレベルの更新分散により、脆弱なままである。 既存の凝集法とパーソナライズ法は、極度の非IID条件下での脆さを証明し、主にドリフト後ホックを補正する。 OvA-LPは,PEFTに基づくFFTパラダイム内でのドリフトを抑えるために最初に設計された,最小限のフレームワークである。 OvA-LPは、凍結エンコーダ上の線形プローブと1-vs-allヘッドと単純な2段プロシージャを組み合わせることで、事前訓練された特徴幾何を保存し、ドリフトを増幅するメカニズムを避けるためにロジットを分離する。 100のクライアントを持つCIFAR-100では、平均してシャード-1、シャード-2、ベルヌーイ-ディリクレのパーティションで、OvA-LPはICDの精度の95.9%を維持し、最先端のFFTベースラインは10.1%(PFPT)と34.5%(FFT-MoE)しか保持していない。 OvA-LPは、対称と非対称の両方のラベルノイズ下でのレジリエンスをさらに維持する。 さらに、前処理のエンコーダ機能により、ラウンドごとのコストはエンコーダサイズからほぼ独立している。 これらの結果は、OvA-LPが不均一条件下での堅牢なFFTの原理的かつ効率的な基礎を提供することを示した。

関連論文リスト

• Winning the Pruning Gamble: A Unified Approach to Joint Sample and Token Pruning for Efficient Supervised Fine-Tuning [71.30276778807068]
  サンプルプルーニングとトークンプルーニングを戦略的に協調する統合フレームワークを提案する。 Q-Tuningは、トレーニングデータの12.5%しか使用せず、全データSFTベースラインに対する平均38%の改善を実現している。
  論文  参考訳（メタデータ） (2025-09-28T13:27:38Z)
• FedReFT: Federated Representation Fine-Tuning with All-But-Me Aggregation [12.544628972135905]
  本稿では,クライアントの隠れ表現を微調整する新しい手法であるFederated Representation Fine-Tuning(FedReFT)を紹介する。 FedReFTは、隠された表現を直接操作するためにスパース介入層を適用し、軽量でセマンティックにリッチな微調整の代替を提供する。 We evaluate FedReFT on commonsense reasoning, arithmetic reasoning, instruction-tuning, and GLUE。
  論文  参考訳（メタデータ） (2025-08-27T22:03:19Z)
• FFT-MoE: Efficient Federated Fine-Tuning for Foundation Models via Large-scale Sparse MoE under Heterogeneous Edge [7.976167864455345]
  フェデレート・ラーニング(FL)はフェデレーション・ファイン・チューニング(FFT)を通じて魅力的なソリューションを提供する FFT MoE は LoRA を sparse Mixture of Experts (MoE) アダプタに置き換える新しい FFT フレームワークである。 MoEは、一般化性能とトレーニング効率において、アートFFTベースラインの状態を一貫して上回る。
  論文  参考訳（メタデータ） (2025-08-26T04:09:18Z)
• Efficient Federated Learning with Heterogeneous Data and Adaptive Dropout [62.73150122809138]
  Federated Learning(FL)は、複数のエッジデバイスを使用したグローバルモデルの協調トレーニングを可能にする、有望な分散機械学習アプローチである。 動的不均一モデルアグリゲーション(FedDH)と適応ドロップアウト(FedAD)の2つの新しい手法を備えたFedDHAD FLフレームワークを提案する。 これら2つの手法を組み合わせることで、FedDHADは精度(最大6.7%)、効率(最大2.02倍高速)、コスト(最大15.0%小型)で最先端のソリューションを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-07-14T16:19:00Z)
• FedAPM: Federated Learning via ADMM with Partial Model Personalization [12.72555825043549]
  FL(Federated Learning)では、異なるデバイスからのデータセットが独立であり、同じ分散(すなわち、同じ分散)であるという仮定は、ユーザ差によって保持されないことが多い。 本稿では、FedAPMと呼ばれる乗算器の交互方向法(ADMM)に基づくFLフレームワークを提案し、クライアントのドリフトを緩和する。
  論文  参考訳（メタデータ） (2025-06-05T06:38:29Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Parametric Feature Transfer: One-shot Federated Learning with Foundation Models [14.97955440815159]
  ワンショットのフェデレーション学習では、クライアントは単一のコミュニケーションでグローバルモデルを協調的にトレーニングする。 本稿では,基礎モデルの転送可能性を利用してワンショットFLの精度と通信効率を向上させる手法であるFedPFTを紹介する。
  論文  参考訳（メタデータ） (2024-02-02T19:34:46Z)
• Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
  我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。 半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-03T03:27:51Z)
• Disentangled Federated Learning for Tackling Attributes Skew via Invariant Aggregation and Diversity Transferring [104.19414150171472]
  属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。 本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。 実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
  論文  参考訳（メタデータ） (2022-06-14T13:12:12Z)
• FedADMM: A Robust Federated Deep Learning Framework with Adaptivity to System Heterogeneity [4.2059108111562935]
  Federated Learning(FL)は、エッジデバイスによる大規模データの分散処理のための新興フレームワークである。 本稿では,FLAD FedADMMに基づく新しいプロトコルを提案する。 我々は,FedADMMが通信効率の点で,すべてのベースライン手法を一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2022-04-07T15:58:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。