論文の概要: AlignFed: Alignment-Aware Asynchronous Federated Fine-Tuning for Large Language Models in Heterogeneous Edge Environments

• arxiv url: http://arxiv.org/abs/2606.08197v1
• Date: Sat, 06 Jun 2026 14:28:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:05.959299
• Title: AlignFed: Alignment-Aware Asynchronous Federated Fine-Tuning for Large Language Models in Heterogeneous Edge Environments
• Title（参考訳）: AlignFed: 異種エッジ環境における大規模言語モデルのためのアライメント対応非同期ファインタニング
• Authors: Yan Wang, Ziyi Gao, Rui Wang,
• Abstract要約: 大規模言語モデル(LLM)は、自律運転、産業検査、パーソナライズされたIoTサービスなど、さまざまなシナリオに広くデプロイされている。 異種エッジ環境に適したLLMのための非同期フェデレーションファインチューニングフレームワークであるAlignFedを提案する。
• 参考スコア（独自算出の注目度）: 7.335282879368365
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have significantly propelled the advancement of edge intelligence and have been widely deployed across various scenarios, including autonomous driving, industrial inspection, and personalized IoT services. However, the collaborative adaptation of LLMs on edge devices continues to face formidable challenges due to strict data privacy constraints, highly heterogeneous computing and communication resources, and the non-independent and identically distributed (non-IID) nature of local data. Federated Fine-Tuning (FFT) enables the collaborative optimization of distributed models without exposing raw data. Yet, traditional synchronous aggregation suffers from a severe straggler effect, resulting in high system latency and low resource utilization. Existing asynchronous federated learning methods are predominantly designed for small-to-medium-scale models and struggle to address the specific challenges inherent in LLM fine-tuning namely, model drift caused by stale updates, aggravated client drift stemming from data heterogeneity, and aggregation fairness imbalance resulting from the dominance of fast clients. To address these issues, this paper proposes AlignFed, an asynchronous federated fine-tuning framework for LLMs tailored to heterogeneous edge environments. AlignFed employs a lightweight multi-stage semantic alignment mechanism comprising three core modules: version-aware update grouping, cross-version semantic alignment based on a mini-batch calibration set, and fairness-aware aggregation that integrates both update freshness and client participation frequency. This framework effectively mitigates cross-version model drift and client drift while enhancing aggregation fairness, thereby achieving stable and efficient asynchronous federated optimization in scenarios characterized by high heterogeneity and significant update staleness.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、エッジインテリジェンスの進歩を著しく促進し、自律運転、産業検査、パーソナライズされたIoTサービスなど、さまざまなシナリオに広くデプロイされている。 しかし、エッジデバイスへのLCMの協調適用は、厳密なデータプライバシー制約、高度に異質なコンピューティングと通信資源、および非独立で同一に分散されたローカルデータの性質など、深刻な課題に直面し続けている。 Federated Fine-Tuning (FFT) は、生データを公開せずに分散モデルの協調的な最適化を可能にする。 しかし、従来の同期アグリゲーションは重度のトラグラー効果に悩まされ、システム遅延が高く、リソース利用が低くなる。 既存の非同期フェデレーション学習手法は、主に小規模から中規模モデル向けに設計されており、LLMの微調整、古い更新によるモデルドリフト、データの異質性に起因するクライアントドリフト、高速クライアントの優位性に起因するアグリゲーションフェアネスの不均衡など、特定の課題に対処する上で苦労している。 これらの問題に対処するために、異種エッジ環境に適したLLMのための非同期フェデレーションファインチューニングフレームワークであるAlignFedを提案する。 AlignFedは3つのコアモジュールからなる軽量なマルチステージセマンティックアライメント機構を採用している。バージョンアウェア更新グループ、ミニバッチキャリブレーションセットに基づくクロスバージョンセマンティックアライメント、更新鮮度とクライアント参加頻度の両方を統合するフェアネスアグリゲーションである。 このフレームワークは、アグリゲーションフェアネスを高めつつ、クロスバージョンモデルドリフトとクライアントドリフトを効果的に軽減し、高い不均一性と著しい更新安定化を特徴とするシナリオにおいて、安定かつ効率的な非同期フェデレーション最適化を実現する。

関連論文リスト

• Replacing Parameters with Preferences: Federated Alignment of Heterogeneous Vision-Language Models [63.70401095689976]
  VLM(Vision-Language Models)は、医療や金融といったプライバシに敏感な分野において大きな可能性を秘めている。 ヘテロジニアスVLMのためのGRPOとMixture-of-Rewardsを組み合わせた協調アライメントフレームワークであるMoRを提案する。 MoRは、一般化とクロスクライアント適応性において、フェデレートされたアライメントベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-05T07:02:50Z)
• Adaptive Dual-Weighting Framework for Federated Learning via Out-of-Distribution Detection [53.45696787935487]
  Federated Learning (FL)は、大規模分散サービスノード間の協調的なモデルトレーニングを可能にする。 実世界のサービス指向デプロイメントでは、異種ユーザ、デバイス、アプリケーションシナリオによって生成されたデータは本質的にIIDではない。 FLoodは、オフ・オブ・ディストリビューション(OOD)検出にインスパイアされた新しいFLフレームワークである。
  論文  参考訳（メタデータ） (2026-02-01T05:54:59Z)
• CO-PFL: Contribution-Oriented Personalized Federated Learning for Heterogeneous Networks [51.43780477302533]
  コントリビューション指向型PFL(CO-PFL)は,グローバルアグリゲーションに対する各クライアントのコントリビューションを動的に推定するアルゴリズムである。 CO-PFLは、パーソナライズ精度、堅牢性、スケーラビリティ、収束安定性において、最先端の手法を一貫して超越している。
  論文  参考訳（メタデータ） (2025-10-23T05:10:06Z)
• Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
  フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。 我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
  論文  参考訳（メタデータ） (2025-05-29T19:59:18Z)
• FedRTS: Federated Robust Pruning via Combinatorial Thompson Sampling [11.913924455236652]
  フェデレートラーニング(FL)は、データ共有なしで分散クライアント間で協調的なモデルトレーニングを可能にする。 現在の手法では、疎密性を維持しながらスパースモデルトポロジを周期的に調整することで、動的プルーニングを用いて効率を向上させる。 我々は,堅牢なスパースモデルの開発を目的とした新しいフレームワークであるThompson Sampling (FedRTS) によるフェデレートロバスト刈取を提案する。
  論文  参考訳（メタデータ） (2025-01-31T13:26:22Z)
• Client-Centric Federated Adaptive Optimization [78.30827455292827]
  Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。 本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
  論文  参考訳（メタデータ） (2025-01-17T04:00:50Z)
• Asynchronous Federated Learning: A Scalable Approach for Decentralized Machine Learning [1.2604738912025477]
  フェデレートラーニング(FL)は、分散機械学習の強力なパラダイムとして登場した。 従来のFLアプローチは、同期クライアントのアップデートに依存しているため、スケーラビリティと効率の制限に直面することが多い。 本稿では、クライアントが独立して非同期にグローバルモデルを更新できる非同期フェデレートラーニング(AFL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-12-23T17:11:02Z)
• Modality Alignment Meets Federated Broadcasting [9.752555511824593]
  フェデレートラーニング(FL)は、ローカルデータを集中化せずに、分散エッジデバイス間でモデルをトレーニングすることで、データのプライバシを保護する強力なアプローチとして登場した。 本稿では,テキストエンコーダをサーバ上に配置し,画像エンコーダをローカルデバイス上で動作させる,モダリティアライメントを利用した新しいFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-24T13:30:03Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。