論文の概要: Federated Lightweight Fine-Tuning

• arxiv url: http://arxiv.org/abs/2607.18343v1
• Date: Mon, 20 Jul 2026 07:03:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-22 19:05:05.190569
• Title: Federated Lightweight Fine-Tuning
• Title（参考訳）: フェデレーション軽量ファインチューニング
• Abstract要約: ファインチューニングのフェデレーションはコミュニケーションによってボトルネックとなる。 マッピングネットワークは、凍結したアフィンプロジェクションを通じて、小さなトレーニング可能なラテントからネットワークの重みを生成する。 マップは共有されアフィンであるため、潜伏量の平均は生成した重量を正確に平均化している。 ResNet-18+GroupNormのCIFAR-100では、1ラウンドあたり1,280フロート(5KB)を通信し、フルウェイトFedAvgの0.5pp以内で74.67%に達した。
• 参考スコア（独自算出の注目度）: 1.552674656890411
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated fine-tuning is bottlenecked by communication: FedAvg and pseudo-gradient schemes transmit a payload that scales with the model, and gradient compression shrinks it by only a constant factor. We take a different lever. Mapping networks generate a network's weights from a small trainable latent through a frozen affine projection; because the map is shared and affine, averaging latents is exactly averaging the generated weights. We turn this into a practical low-bandwidth federated channel with two changes: a low-rank, seed-regenerable factorisation of the projection (cutting generator memory from ~80 GB to ~10 MB), and a delta formulation $θ= θ^{\mathrm{pre}} + U V^{\top} z$ that learns an additive correction around a shared centrally-pretrained base -- federated fine-tuning, which is what makes the method work at scale. A frozen orthogonal classifier head further removes the head from the payload while improving accuracy. On CIFAR-100 with ResNet-18+GroupNorm, our method (FLITE, Federated Low-rank Iterative Training Engine) communicates 1,280 floats (~5 KB) per client per round -- an 8718x reduction -- and reaches 74.67%, within ~0.5 pp of full-weight FedAvg. The averaging identity holds to floating-point precision ($6 \times 10^{-8}$); the method sits one to two orders of magnitude below PowerSGD and top-k on the bandwidth-accuracy Pareto; it matches or exceeds full-weight FedAvg under strong non-IID skew. int4 latents reach 648 bytes per round at unchanged accuracy, whereas int4 full-weight FedAvg collapses to chance.
• Abstract（参考訳）: FedAvgと擬似階調スキームは、モデルとスケールするペイロードを送信し、勾配圧縮は、定数係数だけでそれを縮小する。 私たちは別のレバーを取ります。 マッピングネットワークは、凍結したアフィン射影を通じて、小さなトレーニング可能な潜伏剤からネットワークの重量を生成し、マップは共有され、アフィンであるので、平均的な潜伏剤は生成した重量を正確に平均化する。 プロジェクションの低ランクでシード再生可能な分解(80 GBから10 MB)とデルタ定式化 $θ= θ^{\mathrm{pre}} + U V^{\top} z$ の2つの変更があり、これは共有された中央に制限されたベースに関する付加的な補正を学習する、フェデレートされた微調整である。 凍結直交分類器ヘッドは、精度を向上しつつペイロードからヘッドを除去する。 In CIFAR-100 with ResNet-18+GroupNorm, our method (FLITE, Federated Low-rank Iterative Training Engine) communicates 1,280 floats (~5 KB) per round -- a 8718x reduction -- and reach 74.67%, within ~0.5 pp of full-weight FedAvg。 平均的なアイデンティティは浮動小数点精度($6 \times 10^{-8}$)であり、このメソッドはPowerSGDより1～2桁低く、バンド幅精度のParetoではトップkである。 int4ラテントは1ラウンドあたり648バイトに達するが、int4フルウェイトFedAvgは偶然崩壊する。

関連論文リスト

• Task-Distribution-Aware Counterweight Synthesis and Constrained Co-Design for Serial Manipulators [0.0]
  本稿では,タスク分散を意識した合成フレームワークを開発する。 回復した3リンクマニピュレータをケーススタディとして使用する。 非重力面は、好ましい質量半径対が宣言された工学的境界に依存することを示している。
  論文  参考訳（メタデータ） (2026-09-14T05:51:56Z)
• SS-ESOAP: Self-Scaled Adaptive Preconditioning for Physics-Informed Learning [70.71795707610961]
  メソッドは、Kronecker幾何に適応したスカラーセマントエネルギー補正でSOAPスタイルのプレコンディショニングを強化する。 メソッドは8つのPDEベンチマークのうち6つで最下位の残差に達する。 4つの代表PDEの3列の$L2$と$H1$エラーは、低い残差と改善された解精度の間のリンクをサポートする。
  論文  参考訳（メタデータ） (2026-08-29T21:34:47Z)
• Wiring Beats Blending: What Transfers Between Transformer Sizes -- and What Doesn't [0.0]
  Wecharacterize the 1.4B->410M conversion in the Pythia family end to end。 重量の残留物は、ノイズアンダーシャッフル制御と統計的に区別できない。 補償は普遍的よりもトークン効率が高く低予算の勝利である。
  論文  参考訳（メタデータ） (2026-08-03T19:44:08Z)
• SpiralFovea: Input-Adaptive Foveated Tokenization as a Third Lever of Resource-Adaptive Inference [0.0]
  パラメータフリーで入力適応型トークンサーであるSpralFoveaを提案する。 コンテンツ駆動型ホットスポットアンカーの周辺では、マルチスケールのスパイラルリングが78個のパッチを生成し、入力段階で標準の196パッチのViTグリッドを置き換える。 標準的な4つのベンチマークで、SpiralFoveaは1.7-2.1ppの精度で入力トークンの60%の削減、トランスフォーマー層毎の自己アテンションFLOPの84%の削減、マッチした静的トークン化ベースラインの18-29%のスループット向上を実現している。
  論文  参考訳（メタデータ） (2026-07-01T11:09:07Z)
• Sigma-Branch: Hierarchical Single-Path Network Reconstruction for Dynamic Inference with Reduced Active Parameters [0.0]
  本稿では,事前学習した高密度ネットワークを,共有バックボーン,階層ルータ,特殊葉からなる階層二分木に再構成するフレームワークを提案する。 CIFAR-100 / ResNet-50, ImageNet-1K / ResNet-50, ModelNet40 / PointNet++ 全体で、SigmaB-Net は高密度ベースライン Top-1 の 1.72 ポイント (pp) に留まりながら、参照毎のアクティブパラメータを58-60%削減する。
  論文  参考訳（メタデータ） (2026-06-07T09:19:44Z)
• Normalized Architectures are Natively 4-Bit [49.13186675123547]
  重みと隠れ表現を単位超球面に制限するアーキテクチャであるnGPTは、本質的に低精度算術よりも堅牢である。 本手法は,最大3B/30Bパラメータの1.2B密度モデルとハイブリッド(Mamba-Transformer)MoEモデルの両方で検証する。
  論文  参考訳（メタデータ） (2026-05-07T11:54:07Z)
• Heterogeneous Connectivity in Sparse Networks: Fan-in Profiles, Gradient Hierarchy, and Topological Equilibria [0.0]
  Profiled Sparse Networks (PSN) は、一様接続を決定論的で不均一なファンインプロファイルに置き換える。 90%の間隔で、全ての静的プロファイルは、データセットの密度の高いベースラインの0.2-0.6%以内の精度を達成する。 この結果は、スパーシリティレベル(80-99.9%)、プロファイル形状(8つのパラメトリック族、対数正規、パワーロー)、ファンイン係数が0から2.5である。
  論文  参考訳（メタデータ） (2026-04-12T10:04:48Z)
• FedEMA-Distill: Exponential Moving Average Guided Knowledge Distillation for Robust Federated Learning [1.1393603788068776]
  フェデレーテッド・ラーニング(FL)は、クライアントが不均一な非独立性(non-Independent)およびIdentically Distributed(non-IID)データを保持すると、しばしば劣化する。 本稿では,グローバルモデルの指数移動平均(EMA)とクライアント負荷予測ロジットからのアンサンブル知識蒸留を組み合わせたサーバサイドプロシージャであるFedEMA-Distillを提案する。
  論文  参考訳（メタデータ） (2026-02-15T01:40:45Z)
• Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
  本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。 本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-31T02:46:57Z)
• lo-fi: distributed fine-tuning without communication [61.87390899015787]
  完全局所微調整をlo-fiと呼ぶ。 lo-fiの間、各ノードは通信なしで独立に微調整される。 通信要求を取り除くことで、lo-fiは大規模モデルの微調整のためのリソースバリアを低減する。
  論文  参考訳（メタデータ） (2022-10-19T20:15:18Z)
• Sparse Random Networks for Communication-Efficient Federated Learning [23.614934319624826]
  連合学習における大きな課題の1つは、各ラウンドでクライアントからサーバへの重み付け更新を交換する通信コストが大きいことである。 重みをまったく更新しない、根本的に異なるアプローチを提案する。 代わりに,本手法は,初期エンファンドム値の重みを凍結し,最適な性能を得るためにランダムネットワークのスパース化方法を学ぶ。
  論文  参考訳（メタデータ） (2022-09-30T09:11:09Z)
• Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
  textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。 クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
  論文  参考訳（メタデータ） (2020-12-07T21:05:31Z)
• Second-Order Provable Defenses against Adversarial Attacks [63.34032156196848]
  ネットワークの固有値が有界であれば、凸最適化を用いて$l$ノルムの証明を効率的に計算できることを示す。 認証精度は5.78%,44.96%,43.19%であった。
  論文  参考訳（メタデータ） (2020-06-01T05:55:18Z)
• Training with Quantization Noise for Extreme Model Compression [57.51832088938618]
  与えられたモデルサイズに対する精度を最大化しながら、コンパクトなモデルを作成するという問題に取り組む。 標準的な解決策は、トレーニング中に重みが定量化され、勾配がストレート・スルー推定器に近似される量子化意識訓練(Quantization Aware Training)でネットワークをトレーニングすることである。 本稿では, この手法を, 極端な圧縮法を用いて, int8 の固定点量子化を超えて機能するように拡張する。
  論文  参考訳（メタデータ） (2020-04-15T20:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。