論文の概要: CAFL-L: Constraint-Aware Federated Learning with Lagrangian Dual Optimization for On-Device Language Models

• arxiv url: http://arxiv.org/abs/2510.03298v1
• Date: Mon, 29 Sep 2025 22:07:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:58.73027
• Title: CAFL-L: Constraint-Aware Federated Learning with Lagrangian Dual Optimization for On-Device Language Models
• Title（参考訳）: CAFL-L: デバイス上での言語モデルに対するラグランジアン双対最適化による制約付きフェデレーションラーニング
• Authors: Dongqi Zheng, Wenjin Fu,
• Abstract要約: ラグランジアンデュアル最適化(CAFL-L)による制約を考慮したフェデレーション学習 ラグランジアンデュアル最適化(CAFL-L)を用いた制約対応フェデレーション学習について紹介する。
• 参考スコア（独自算出の注目度）: 0.42970700836450487
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Constraint-Aware Federated Learning with Lagrangian Dual Optimization (CAFL-L), a principled extension of FedAvg that explicitly incorporates device-level resource constraints including energy, communication, memory, and thermal budgets. CAFL-L employs Lagrangian dual optimization to dynamically adapt training hyperparameters -- freezing depth, local steps, batch size, and communication compression -- while preserving training stability through token-budget preservation via gradient accumulation. Experiments on a character-level language model demonstrate that CAFL-L achieves superior constraint satisfaction compared to standard FedAvg (reducing memory usage by 20% and communication by 95%) while maintaining competitive validation performance, making it practical for deployment on resource-constrained edge devices.
• Abstract（参考訳）: 我々は、エネルギー、通信、メモリ、熱予算を含むデバイスレベルのリソース制約を明示的に組み込んだFedAvgの原則拡張である、Lagrangian Dual Optimization(CAFL-L)による制約付きフェデレートラーニング(Constraint-Aware Federated Learning)を導入する。 CAFL-Lでは,トレーニングハイパーパラメータ – 凍結深さ,ローカルステップ,バッチサイズ,通信圧縮 – を動的に適用するために,Lagrangian双対最適化を採用している。 キャラクタレベルの言語モデルの実験では、CAFL-Lは標準的なFedAvg(メモリ使用率を20%削減し、通信速度を95%削減する)と比較して、競合するバリデーション性能を維持しながら、制約満足度に優れており、リソース制約のあるエッジデバイスへのデプロイに実用的であることが示された。

関連論文リスト

• Efficient Federated Fine-Tuning of Large Language Models with Layer Dropout [15.009864792277236]
  ファインチューニングは、訓練済みのLLMが一般的な言語理解からタスク固有の専門知識へと進化できるようにする上で重要な役割を担っている。 この研究は、新しいトランスフォーマードロップアウト方式を採用した革新的フェデレーションPEFTフレームワークであるDropPEFTを提案する。 DropPEFTはモデル収束の1.3-6.3倍の高速化とメモリフットプリントの40%-67%の削減を実現可能であることを示す。
  論文  参考訳（メタデータ） (2025-03-13T09:59:16Z)
• Continuous Knowledge-Preserving Decomposition with Adaptive Layer Selection for Few-Shot Class-Incremental Learning [73.59672160329296]
  CKPD-FSCILは、事前訓練された重量の未使用容量を解放する統合フレームワークである。 本手法は,適応性と知識保持の両面で,最先端の手法より一貫して優れている。
  論文  参考訳（メタデータ） (2025-01-09T07:18:48Z)
• One-Shot Safety Alignment for Large Language Models via Optimal Dualization [64.52223677468861]
  本稿では,制約付きアライメントを等価な非制約アライメント問題に還元する双対化の観点を提案する。 我々は、閉形式を持つ滑らかで凸な双対函数を事前に最適化する。 我々の戦略は、モデルベースと嗜好ベースの設定における2つの実用的なアルゴリズムに導かれる。
  論文  参考訳（メタデータ） (2024-05-29T22:12:52Z)
• Learning Constrained Optimization with Deep Augmented Lagrangian Methods [54.22290715244502]
  機械学習(ML)モデルは、制約付き最適化ソルバをエミュレートするために訓練される。 本稿では,MLモデルを用いて2つの解推定を直接予測する手法を提案する。 これにより、双対目的が損失関数であるエンドツーエンドのトレーニングスキームと、双対上昇法をエミュレートした原始的実現可能性への解推定を可能にする。
  論文  参考訳（メタデータ） (2024-03-06T04:43:22Z)
• Self-Supervised Learning for Large-Scale Preventive Security Constrained DC Optimal Power Flow [20.078717680640214]
  SCOPF(Security-Constrained Optimal Power Flow)は、電力グリッドの安定性において重要な役割を果たすが、システムが成長するにつれてますます複雑になる。 本稿では,大規模SCOPF問題に対する準最適解を生成するための,自己教師付きエンドツーエンドのPDL-SCOPFについて紹介する。
  論文  参考訳（メタデータ） (2023-11-29T20:36:35Z)
• AnycostFL: Efficient On-Demand Federated Learning over Heterogeneous Edge Devices [20.52519915112099]
  我々はAny CostFLというコスト調整可能なFLフレームワークを提案し、多様なエッジデバイスがローカル更新を効率的に実行できるようにする。 実験結果から,我々の学習フレームワークは,適切なグローバルテスト精度を実現するために,トレーニング遅延とエネルギー消費の最大1.9倍の削減が可能であることが示唆された。
  論文  参考訳（メタデータ） (2023-01-08T15:25:55Z)
• FADE: Enabling Federated Adversarial Training on Heterogeneous Resource-Constrained Edge Devices [36.01066121818574]
  我々は,資源制約のあるエッジデバイス上でATを実現するためのFADE(Federated Adversarial Decoupled Learning)という新しいフレームワークを提案する。 FADEはモデル全体を小さなモジュールに分離し、各デバイスのリソース予算に適合させる。 FADEは、精度と堅牢性を維持しつつ、メモリとコンピューティングの消費電力を大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2022-09-08T14:22:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。