論文の概要: Efficient Federated Learning Tiny Language Models for Mobile Network Feature Prediction

• arxiv url: http://arxiv.org/abs/2504.01947v1
• Date: Wed, 02 Apr 2025 17:54:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:23:17.767697
• Title: Efficient Federated Learning Tiny Language Models for Mobile Network Feature Prediction
• Title（参考訳）: モバイルネットワークの特徴予測のための効果的なフェデレーション学習Tiny言語モデル
• Authors: Daniel Becking, Ingo Friese, Karsten Müller, Thomas Buchholz, Mandy Galkow-Schneider, Wojciech Samek, Detlev Marpe,
• Abstract要約: 通信において、自律ネットワーク(AN)は、特定の要求(例えば、帯域幅、利用可能なリソース)に基づいて構成を自動的に調整する。 ここでは、フェデレートラーニング(FL)により、複数のANセル — それぞれニューラルネットワーク(NN)を備えた — が、データのプライバシを保持しながら、モデルを協調的にトレーニングすることが可能になる。 小型言語モデル(TLM)を統合する新しいFLフレームワークにおいて,ISO/IECニューラルネットワーク符号化(NNC)標準の実装であるNNCodecについて検討する。 ベルリンのV2Xデータセットを用いた実験の結果,NNCodecは透過的な圧縮を実現し,通信オーバーヘッドを1%以下に抑えることができた。
• 参考スコア（独自算出の注目度）: 13.32608465848856
• License:
• Abstract: In telecommunications, Autonomous Networks (ANs) automatically adjust configurations based on specific requirements (e.g., bandwidth) and available resources. These networks rely on continuous monitoring and intelligent mechanisms for self-optimization, self-repair, and self-protection, nowadays enhanced by Neural Networks (NNs) to enable predictive modeling and pattern recognition. Here, Federated Learning (FL) allows multiple AN cells - each equipped with NNs - to collaboratively train models while preserving data privacy. However, FL requires frequent transmission of large neural data and thus an efficient, standardized compression strategy for reliable communication. To address this, we investigate NNCodec, a Fraunhofer implementation of the ISO/IEC Neural Network Coding (NNC) standard, within a novel FL framework that integrates tiny language models (TLMs) for various mobile network feature prediction (e.g., ping, SNR or band frequency). Our experimental results on the Berlin V2X dataset demonstrate that NNCodec achieves transparent compression (i.e., negligible performance loss) while reducing communication overhead to below 1%, showing the effectiveness of combining NNC with FL in collaboratively learned autonomous mobile networks.
• Abstract（参考訳）: 通信において、自律ネットワーク(AN)は、特定の要求(例えば、帯域幅)と利用可能なリソースに基づいて構成を自動的に調整する。 これらのネットワークは、予測モデリングとパターン認識を可能にするために、ニューラルネットワーク(NN)によって拡張された、自己最適化、自己修復、自己保護のための継続的監視とインテリジェントメカニズムに依存している。 ここでは、フェデレートラーニング(FL)により、複数のANセル — それぞれNNを備えた — が、データのプライバシを保持しながら、モデルを協調的にトレーニングすることが可能になる。 しかし、FLは大きなニューラルネットワークを頻繁に送信する必要があるため、信頼性の高い通信のための効率的な標準化された圧縮戦略が必要である。 そこで本研究では,様々なモバイルネットワークの特徴予測(例えば,ping,SNR,バンド周波数)のために,小さな言語モデル(TLM)を統合する新しいFLフレームワークにおいて,ISO/IECニューラルネットワーク符号化(NNC)標準のフラウンホーファー実装であるNNCodecについて検討する。 ベルリンのV2Xデータセットを用いた実験結果から,NNCodecは透過圧縮(すなわち,無視可能な性能損失)を実現し,通信オーバーヘッドを1%以下に削減し,NNCとFLを協調学習した自律型モバイルネットワークにおいて有効性を示した。

関連論文リスト

• Learning Load Balancing with GNN in MPTCP-Enabled Heterogeneous Networks [13.178956651532213]
  本稿では,MP TCP 対応 HetNet の LB 問題に対処するグラフニューラルネットワーク (GNN) モデルを提案する。 従来のディープニューラルネットワーク(DNN)と比較して、提案したGNNベースのモデルには2つの重要な長所がある。
  論文  参考訳（メタデータ） (2024-10-22T15:49:53Z)
• The Robustness of Spiking Neural Networks in Communication and its Application towards Network Efficiency in Federated Learning [6.9569682335746235]
  スパイキングニューラルネットワーク(SNN)は最近、組み込みデバイスでのオンチップ学習に多大な関心を集めている。 本稿では,フェデレートラーニングにおける雑音の多いコミュニケーション下でのSNNの本質的ロバスト性について検討する。 FLトレーニングにおける帯域幅の削減を目的とした,TopKスパシフィケーションを用いた新しいフェデレートラーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-09-19T13:37:18Z)
• Hyperdimensional Computing Empowered Federated Foundation Model over Wireless Networks for Metaverse [56.384390765357004]
  本稿では,新しい基礎モデルのための統合型分割学習と超次元計算フレームワークを提案する。 この新しいアプローチは通信コスト、計算負荷、プライバシーリスクを低減し、Metaverseのリソース制約されたエッジデバイスに適している。
  論文  参考訳（メタデータ） (2024-08-26T17:03:14Z)
• Improving the Real-Data Driven Network Evaluation Model for Digital Twin Networks [0.2499907423888049]
  デジタルツインネットワーク(DTN)技術は,自律型ネットワークの基礎技術として期待されている。 DTNは、クローズドループシステムにおいて、リアルタイムに収集されたデータに基づいてネットワークを運用およびシステム化できるという利点がある。 DTNの使用を最適化するために、さまざまなAI研究と標準化作業が進行中である。
  論文  参考訳（メタデータ） (2024-05-14T09:55:03Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• SlimFL: Federated Learning with Superposition Coding over Slimmable Neural Networks [56.68149211499535]
  フェデレートラーニング(FL)は、デバイスの分散コンピューティング機能を活用した効率的なコミュニケーションとコンピューティングのための重要な実現手段である。 本稿では、FLと幅調整可能なスリムブルニューラルネットワーク(SNN)を統合した新しい学習フレームワークを提案する。 局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
  論文  参考訳（メタデータ） (2022-03-26T15:06:13Z)
• Joint Superposition Coding and Training for Federated Learning over Multi-Width Neural Networks [52.93232352968347]
  本稿では,2つの相乗的技術,フェデレートラーニング(FL)と幅調整可能なスリムブルニューラルネットワーク(SNN)を統合することを目的とする。 FLは、ローカルに訓練されたモバイルデバイスのモデルを交換することによって、データのプライバシを保護している。しかしながら、SNNは、特に時間変化のあるチャネル条件との無線接続下では、非自明である。 局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
  論文  参考訳（メタデータ） (2021-12-05T11:17:17Z)
• Communication-Efficient Federated Learning with Binary Neural Networks [15.614120327271557]
  フェデレート・ラーニング(Federated Learning, FL)は、プライバシ保護のための機械学習環境である。 FLは、トレーニングをコーディネートするすべてのクライアントとサーバ間のパラメータの頻繁な交換を伴う。 本稿では,通常の実数値ニューラルネットワークの代わりに,FL設定におけるバイナリニューラルネットワーク(BNN)のトレーニングを検討する。
  論文  参考訳（メタデータ） (2021-10-05T15:59:49Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Flexible Transmitter Network [84.90891046882213]
  現在のニューラルネットワークはMPモデルに基づいて構築されており、通常はニューロンを他のニューロンから受信した信号の実際の重み付け集約上での活性化関数の実行として定式化する。 本稿では,フレキシブル・トランスミッタ(FT)モデルを提案する。 本稿では、最も一般的な完全接続型フィードフォワードアーキテクチャ上に構築された、フレキシブルトランスミッタネットワーク(FTNet)について述べる。
  論文  参考訳（メタデータ） (2020-04-08T06:55:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。