論文の概要: Priority-Aware Learning-Unlearning Correction for Dynamic Decentralized LoRA Fine-Tuning

• arxiv url: http://arxiv.org/abs/2606.22878v1
• Date: Mon, 22 Jun 2026 05:43:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 03:53:11.501678
• Title: Priority-Aware Learning-Unlearning Correction for Dynamic Decentralized LoRA Fine-Tuning
• Title（参考訳）: 動的分散LoRAファインチューニングのための優先度認識学習-学習補正
• Authors: Nuocheng Yang, Yechen He, Sihua Wang, Zihan Chen, Tony Q. S. Quek, Changchuan Yin,
• Abstract要約: 大規模言語モデル(LLM)は、広範に生成可能なAIサービスを提供するために、ネットワークエッジにデプロイされることが増えている。 トポロジ調整による知識評価を向上できる優先認識型学習非学習補正フレームワークを提案する。 実験により、提案したフレームワークは、イベントの結合と離脱の両方に対して堅牢な後修正を実現することが示された。
• 参考スコア（独自算出の注目度）: 46.1516553596062
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As large language models (LLMs) are increasingly deployed at the network edge to provide pervasive generative AI services, decentralized federated learning (DFL) provides a vital mechanism for privacy-preserving, domain-specific fine-tuning through peer-to-peer exchanges of parameter-efficient updates. However, the dynamic nature of practical decentralized edge networks, where devices may dynamically join or leave the collaborative training process, requires the system to continuously adapt to new data while selectively removing prior contributions. This correction process remains a significant bottleneck, as individual device updates become deeply entangled within the global fine-tuned parameters. To address this challenge, we propose a priority-aware learning-unlearning correction framework based on orthogonal LoRA that can enhance the knowledge evaluation through topology adjustment. Specifically, we first design an orthogonal LoRA mechanism that yields post-training contribution coordinates, enabling history-free projection addition and deletion in response to membership changes. We then analyze the correction bottleneck and develop a priority-aware policy that selects among topology refinement, local correction, proximal damping, and synchronization scheduling according to the dominant residual term. A resource allocation algorithm is further developed to allocate limited communication across layer groups, prioritizing the primary bottlenecks within per-round wireless constraints. Experiments demonstrate that the proposed framework achieves robust post-event correction for both device join and leave events and validate that different residual regimes necessitate distinct correction actions.
• Abstract（参考訳）: 大規模言語モデル(LLM)が広汎な生成AIサービスを提供するためにネットワークエッジにますますデプロイされるにつれて、分散フェデレーション学習(DFL)は、パラメータ効率の更新のピアツーピア交換を通じて、プライバシ保護、ドメイン固有の微調整に不可欠なメカニズムを提供する。 しかし、デバイスが協調トレーニングプロセスに動的に参加または離脱する実用的な分散エッジネットワークの動的な性質は、事前のコントリビューションを選択的に取り除きつつ、新しいデータに継続的に適応する必要がある。 この修正プロセスは、個々のデバイスのアップデートが、グローバルな微調整されたパラメータに深く絡み合っているため、大きなボトルネックのままである。 この課題に対処するために,直交LoRAに基づく優先認識型学習非学習補正フレームワークを提案し,トポロジ調整による知識評価を向上する。 具体的には、まず、学習後コントリビューション座標を出力し、メンバシップの変更に応じて履歴のないプロジェクションの追加と削除を可能にする直交LoRA機構を設計する。 次に、補正ボトルネックを分析し、トポロジの洗練、局所補正、近位減衰、および支配的残留項に応じた同期スケジューリングの中から選択する優先順位対応ポリシーを開発する。 資源割当アルゴリズムはさらに、層群間での限られた通信を割り当て、ラウンドごとの無線制約における主要なボトルネックを優先順位付けするために開発されている。 実験により、提案フレームワークは、イベントの結合と離脱の両方に対して堅牢な後修正を達成し、異なる残留状態が異なる補正動作を必要とすることを検証する。

関連論文リスト

• Wireless Federated Multi-Task LLM Fine-Tuning via Sparse-and-Orthogonal LoRA [61.12136997430116]
  低ランク適応(LoRA)に基づく分散連合学習(DFL)により、マルチタスクデータセットを持つモバイルデバイスは、ローカルに更新されたパラメータを、無線接続を介して近隣デバイスのサブセットと交換することで、大きな言語モデル(LLM)を協調的に微調整することができる。 不均一データセットに微調整されたパラメータを直接集約すると、DFLライフサイクルの3つの主要な問題が発生する: (i) 微調整プロセス中に忘れる破滅的な知識、(ii) データの異種性に起因する更新方向の矛盾に起因する。
  論文  参考訳（メタデータ） (2026-02-24T02:45:32Z)
• Local adapt-then-combine algorithms for distributed nonsmooth optimization: Achieving provable communication acceleration [50.67878993903822]
  通信効率のよいAdapt-Then-Combine (ATC) フレームワークであるFlexATCを提案する。 ローカル更新がATCベースの分散アルゴリズムの通信高速化につながることを示すのはこれが初めてである。
  論文  参考訳（メタデータ） (2026-02-18T02:47:05Z)
• Stabilizing Decentralized Federated Fine-Tuning via Topology-Aware Alternating LoRA [20.00589625873043]
  textttTAD-LoRAは、フェデレーション学習のサーバレス版である。 我々は, TextttTAD-LoRA が強い連結トポロジにおいて競合し, 適度かつ弱い連結トポロジの下で明確なゲインをもたらすことを示す。
  論文  参考訳（メタデータ） (2026-01-31T01:57:53Z)
• Dynamic Rank Reinforcement Learning for Adaptive Low-Rank Multi-Head Self Attention in Large Language Models [0.0]
  大規模言語モデル(LLM)におけるマルチヘッド自己認識(MHSA)の低ランク分解を適応的に最適化する新しいフレームワークである動的ランク強化学習(DR-RL)を提案する。 DR-RLは、浮動小数点演算(FLOP)を著しく低減しつつ、フルランクアテンションと統計的に等価な下流精度を維持している この研究は、MHSAの適応効率と理論的厳密さのギャップを埋め、リソース制約の深層学習におけるランク低減技術に代えて、原理的に数学的に基礎付けられた代替手段を提供する。
  論文  参考訳（メタデータ） (2025-12-17T21:09:19Z)
• Efficient Split Federated Learning for Large Language Models over Communication Networks [45.02252893286613]
  分散方式で訓練済みの大規模言語モデル(LLM)を微調整することで、リソース制約のあるエッジネットワークにおいて大きな課題が生じる。 本稿では,分割フェデレーション学習とパラメータ効率のよい微調整技術を統合する新しいフレームワークであるSflLLMを提案する。 モデル分割とローランク適応(LoRA)を活用することにより、SflLLMはエッジデバイスの計算負担を軽減する。
  論文  参考訳（メタデータ） (2025-04-20T16:16:54Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Progressive Conservative Adaptation for Evolving Target Domains [76.9274842289221]
  従来のドメイン適応は、典型的には、ソースドメインから定常ターゲットドメインに知識を転送する。 このような対象データに対する復元と適応は、時間とともに計算とリソース消費をエスカレートする。 我々は、進歩的保守的適応(PCAda)と呼ばれる、単純で効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2024-02-07T04:11:25Z)
• Serverless Federated AUPRC Optimization for Multi-Party Collaborative Imbalanced Data Mining [119.89373423433804]
  有効指標としてAUPRC(Area Under Precision-Recall)を導入した。 サーバーレスのマルチパーティ共同トレーニングは、サーバーノードのボトルネックを避けることで通信コストを削減できる。 本稿では,AUPRCを直接最適化する ServerLess biAsed sTochastic gradiEnt (SLATE) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-06T06:51:32Z)
• Decentralized Federated Reinforcement Learning for User-Centric Dynamic TFDD Control [37.54493447920386]
  非対称かつ不均一なトラフィック要求を満たすための学習に基づく動的時間周波数分割二重化(D-TFDD)方式を提案する。 分散化された部分観測可能なマルコフ決定過程(Dec-POMDP)として問題を定式化する。 本稿では,グローバルリソースを分散的に最適化するために,Wolpertinger Deep Deterministic Policy gradient (FWDDPG)アルゴリズムという,連合強化学習(RL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-11-04T07:39:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。