論文の概要: Thermo-FL: Thermal-Aware Robust Federated Fine-Tuning of Large Language Models for Edge AI
- arxiv url: http://arxiv.org/abs/2608.21172v1
- Date: Fri, 21 Aug 2026 14:41:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:32.587141
- Title: Thermo-FL: Thermal-Aware Robust Federated Fine-Tuning of Large Language Models for Edge AI
- Title（参考訳）: Thermo-FL:エッジAIのための大規模言語モデルの細調整によるサーマルアウェアロバスト
- Authors: Shiva Shrestha, Kazi Shaharair Sharif, Zongxing Xie, Jiajing Huang, Anhao Xiang, Honghui Xu,
- Abstract要約: フェデレートされた微調整により、大規模言語モデルは、プライベートデータを集中せずにエッジデバイスに適応できるが、実用的なデプロイメントでは、ハードウェアの不安定性と敵の更新の破損に対処する必要がある。
ローカルアダプタのトレーニングやスパース更新送信のためのアクティブ制御信号としてデバイス温度を利用する熱認識型LoRAファインチューニングフレームワークであるThermo-FLを提案する。
- 参考スコア（独自算出の注目度）: 6.069721133540065
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated fine-tuning enables large language models to adapt on edge devices without centralizing private data, but practical deployments must address hardware instability and adversarial update corruption together. Thermally constrained clients may throttle, slow local training, or delay synchronous aggregation, while Byzantine clients and communication-layer adversaries can corrupt the updates used to form the global model. To address these challenges, we present Thermo-FL, a thermal-aware federated LoRA fine-tuning framework that uses device temperature as an active control signal for local adapter training and sparse update transmission. On the client side, Thermo-FL adjusts the active LoRA-layer fraction and transmitted update density as devices heat or cool, reducing workload under thermal stress. On the server side, Thermo-FL introduces TERRA, a robust aggregation pipeline for dynamically sparse LoRA updates that combines norm filtering, mask-aware directional validation, adaptive active-coordinate clipping, and mask-aware aggregation. We evaluate Thermo-FL using both a large-scale emulator and a Jetson-based physical testbed. In the emulator, Thermo-FL improves robustness under adversarial sparse aggregation and achieves the strongest BoolQ accuracy across clean and attack settings while remaining competitive on GSM8K. In the physical prototype, Thermo-FL stabilizes device temperature, reduces compressed upload size through bitmap sparse encoding, and preserves GSM8K utility under sign-flip/scale and MITM perturbations. These results show that secure edge LLM adaptation should jointly consider hardware behavior, workload regulation, sparse communication, and aggregation robustness.
- Abstract（参考訳）: フェデレートされた微調整により、大規模言語モデルは、プライベートデータを集中せずにエッジデバイスに適応できるが、実際のデプロイメントでは、ハードウェアの不安定性と敵の更新の破損に対処する必要がある。
熱的に制約されたクライアントはスロットルしたり、ローカルトレーニングを遅くしたり、同期アグリゲーションを遅延したりし、一方、ビザンティンのクライアントや通信層の敵は、グローバルモデルを形成するのに使用されるアップデートを台無しにすることができる。
このような課題に対処するために,ローカルアダプタトレーニングやスパース更新送信のためのアクティブ制御信号としてデバイス温度を利用する熱認識型LoRAファインチューニングフレームワークであるThermo-FLを提案する。
クライアント側では、Thermo-FLはアクティブなLoRA層率を調整し、デバイスが熱または冷却するにつれて更新密度を伝達し、熱応力下での負荷を低減させる。
サーバ側では,標準的なフィルタリング,マスク対応指向性検証,適応型アクティブコーディネートクリッピング,マスク対応アグリゲーションを組み合わせた,動的スパースLoRA更新のための堅牢なアグリゲーションパイプラインであるTERRAが導入されている。
大規模エミュレータとJetsonを用いた物理的テストベッドを用いたサーモFLの評価を行った。
エミュレータにおいて、サーモFLは対向スパースアグリゲーション下での堅牢性を改善し、GSM8K上での競争を継続しながら、クリーンおよびアタック設定で最強のBoolQ精度を達成する。
物理的プロトタイプでは、Thermo-FLはデバイス温度を安定させ、ビットマップスパース符号化により圧縮アップロードサイズを小さくし、サインフリップ/スケールおよびMITM摂動下でGSM8Kユーティリティを保持する。
これらの結果から,セキュアなLLM適応はハードウェアの動作,ワークロードの規制,疎通信,凝集性などを共同で検討すべきであることが示唆された。
関連論文リスト
- TSFLora: Token-Compressed Split Fine-Tuning for Wireless Edge Networks [41.95924024036396]
TSFLoraは、エッジでの通信効率の高いLAM適応のためのトークン圧縮スプリット微調整フレームワークである。
TSFLoraは、注意誘導型トークン選択、トークンマージ、低ビットアクティベーション量子化、LoRAベースの適応を、分割されたフェデレーショントレーニングパイプライン内で組み合わせる。
論文 参考訳（メタデータ） (2026-05-17T08:50:01Z) - Matching Features, Not Tokens: Energy-Based Fine-Tuning of Language Models [102.20309135516186]
クロスエントロピー(CE)トレーニングは、言語モデルの密集したスケーラブルな監視を提供する。
言語モデル微調整のための特徴マッチング手法を提案する。
この目的を効率的に最適化するために,エネルギーベースファインチューニングを提案する。
論文 参考訳（メタデータ） (2026-03-12T17:57:50Z) - LoRA-based Parameter-Efficient LLMs for Continuous Learning in Edge-based Malware Detection [3.676378009156675]
エッジデバイス上でのマルウェア検出のための継続的学習アーキテクチャを提案する。
軽量トランスモデル(DistilBERT、DistilGPT-2、TinyT5)はエッジノード上で動作し、デバイス固有のトラフィックに対して徐々に微調整される。
Edge-IIoTsetとTON-IoTの2つの公開IoTセキュリティデータセットをマルチラウンド学習で評価し、進化する脅威をシミュレートした。
論文 参考訳（メタデータ） (2026-02-12T07:20:26Z) - Rethinking Multi-Condition DiTs: Eliminating Redundant Attention via Position-Alignment and Keyword-Scoping [61.459927600301654]
マルチコンディション制御は従来のコンカデント・アンド・アットエンドの戦略によってボトルネックとなる。
分析の結果,これらの相互作用の多くは空間的にも意味的にも冗長であることがわかった。
本稿では,これらの冗長性を解消するための高効率なフレームワークであるPKAを提案する。
論文 参考訳（メタデータ） (2026-02-06T16:39:10Z) - RAPID: Reconfigurable, Adaptive Platform for Iterative Design [3.8103821995386356]
RAPIDは、ハンドヘルドデータ収集とロボットのデプロイメントを統合する、ツールフリーでモジュラーなハードウェアアーキテクチャである。
物理マスクは、明示的な実行時信号としてモダリティの存在を露呈する。
システム中心の実験により、RAPIDはマルチモーダル構成のセットアップ時間を2桁に短縮することを示した。
論文 参考訳（メタデータ） (2026-02-06T12:28:46Z) - One-Shot Secure Aggregation: A Hybrid Cryptographic Protocol for Private Federated Learning in IoT [0.0]
Hyb-Aggは軽量で通信効率の良いセキュアアグリゲーションプロトコルである。
マルチキーCKKS (MK-CKKS) と楕円曲線Diffie-Hellman (ECDH) ベースの加算マスキングを統合している。
Raspberry Pi 4を含む高性能およびリソース制約のあるデバイス上でHyb-Aggを実装し,評価する。
論文 参考訳（メタデータ） (2025-11-28T15:01:26Z) - CollaPipe: Adaptive Segment-Optimized Pipeline Parallelism for Collaborative LLM Training in Heterogeneous Edge Networks [57.95170323315603]
CollaPipeは、コラボレーティブパイプライン並列性とフェデレーションアグリゲーションを統合し、自己進化型ネットワークをサポートする分散学習フレームワークである。
CollaPipeでは、エンコーダ部分は可変サイズのセグメントに適応的に分割され、パイプライン並列トレーニングのためにモバイルデバイスにデプロイされ、デコーダは生成タスクを処理するためにエッジサーバにデプロイされる。
トレーニング効率を向上させるために,モデルセグメント,マイクロバッチ,帯域幅,送信電力を適応的に割り当てる共同最適化問題を定式化する。
論文 参考訳（メタデータ） (2025-09-24T07:54:01Z) - Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。
我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
論文 参考訳（メタデータ） (2025-05-29T19:59:18Z) - Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。
一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。
本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文 参考訳（メタデータ） (2024-03-27T09:14:36Z) - Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。
本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。
提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
論文 参考訳（メタデータ） (2023-05-15T22:04:49Z) - Play It Cool: Dynamic Shifting Prevents Thermal Throttling [24.1818447900859]
本稿では,携帯電話におけるサーマルスロットリングの影響について検討する。
本稿では、共有重み付き動的ネットワークと、大小MLモデルの動的シフトを利用することを提案する。
提案された動的シフトにより、アプリケーションはCPUクロック周波数の劣化や遅延の増加を経験することなく、一貫して動作する。
論文 参考訳（メタデータ） (2022-06-22T05:21:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。