論文の概要: Large Language Model Adaptation for Networking
- arxiv url: http://arxiv.org/abs/2402.02338v1
- Date: Sun, 4 Feb 2024 04:21:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 20:25:03.200312
- Title: Large Language Model Adaptation for Networking
- Title(参考訳): ネットワークのための大規模言語モデル適応
- Authors: Duo Wu, Xianda Wang, Yaqi Qiao, Zhi Wang, Junchen Jiang, Shuguang Cui,
Fangxin Wang
- Abstract要約: NetLLMは、ネットワーク問題を解決するために大規模言語モデルを効率的に適応する最初のフレームワークである。
我々は、NetLLMがVPが10.1-36.6%、ABRが14.5-36.6%、CJSが6.8-41.3%、そして、優れた一般化性能を実現していることを示す。
- 参考スコア(独自算出の注目度): 38.19277227027375
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many networking tasks now employ deep learning (DL) to solve complex
prediction and system optimization problems. However, current design philosophy
of DL-based algorithms entails intensive engineering overhead due to the manual
design of deep neural networks (DNNs) for different networking tasks. Besides,
DNNs tend to achieve poor generalization performance on unseen data
distributions/environments.
Motivated by the recent success of large language models (LLMs), for the
first time, this work studies the LLM adaptation for networking to explore a
more sustainable design philosophy. With the massive pre-trained knowledge and
powerful inference ability, LLM can serve as the foundation model, and is
expected to achieve "one model for all" with even better performance and
stronger generalization for various tasks. In this paper, we present NetLLM,
the first LLM adaptation framework that efficiently adapts LLMs to solve
networking problems. NetLLM addresses many practical challenges in LLM
adaptation, from how to process task-specific information with LLMs, to how to
improve the efficiency of answer generation and acquiring domain knowledge for
networking. Across three networking-related use cases - viewport prediction
(VP), adaptive bitrate streaming (ABR) and cluster job scheduling (CJS), we
showcase the effectiveness of NetLLM in LLM adaptation for networking. Results
show that the adapted LLM surpasses state-of-the-art algorithms by 10.1-36.6%
for VP, 14.5-36.6% for ABR, 6.8-41.3% for CJS, and also achieves superior
generalization performance.
- Abstract(参考訳): 多くのネットワークタスクでは、複雑な予測とシステムの最適化問題を解決するためにディープラーニング(DL)を採用している。
しかし、DLベースのアルゴリズムの現在の設計哲学は、異なるネットワークタスクのためのディープニューラルネットワーク(DNN)の手動設計のために、エンジニアリングのオーバーヘッドが集中的に伴う。
さらに、DNNは目に見えないデータ分散/環境の一般化性能が低い傾向にある。
近年の大規模言語モデル(LLM)の成功に触発されたこの研究は、より持続可能な設計哲学を探求するために、ネットワークへのLLM適応を初めて研究した。
膨大な事前学習された知識と強力な推論能力により、LLMは基礎モデルとして機能し、より優れたパフォーマンスと様々なタスクのより強力な一般化を期待できる。
本稿では,ネットワーク問題を解決するためにLLMを効率的に適用する最初のLLM適応フレームワークであるNetLLMを提案する。
NetLLMは、LLMでタスク固有の情報を処理する方法、回答生成の効率向上、ネットワークのドメイン知識獲得など、LLM適応における多くの実践的な課題に対処する。
ネットワーク関連ユースケースとして、ビューポート予測(VP)、適応ビットレートストリーミング(ABR)、クラスタジョブスケジューリング(CJS)の3つを挙げ、ネットワークへのLLM適応におけるNetLLMの有効性を示す。
その結果,適応LLMはVPが10.1-36.6%,ABRが14.5-36.6%,CJSが6.8-41.3%,一般化性能が優れていることがわかった。
関連論文リスト
- Characterization of Large Language Model Development in the Datacenter [57.49531095113406]
大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。
しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。
我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
論文 参考訳(メタデータ) (2024-03-12T13:31:14Z) - MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。
本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
論文 参考訳(メタデータ) (2024-02-26T18:59:03Z) - Rethinking Learning Rate Tuning in the Era of Large Language Models [11.87985768634266]
大規模言語モデル(LLM)は、人間のような優れた予測性能を達成するために、近年のディープラーニングの成功を表している。
ファインチューニングを活用して、様々な現実世界のアプリケーションにLLMを適用するための主要な戦略となっている。
既存の学習率ポリシは、主に従来のディープニューラルネットワーク(DNN)のトレーニング用に設計されている。
論文 参考訳(メタデータ) (2023-09-16T03:37:00Z) - FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large
Language Models in Federated Learning [70.38817963253034]
本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。
我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。
本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
論文 参考訳(メタデータ) (2023-09-01T09:40:36Z) - Harnessing Scalable Transactional Stream Processing for Managing Large
Language Models [Vision] [4.553891255178496]
大規模言語モデル(LLM)は、広範囲のアプリケーションにまたがって素晴らしいパフォーマンスを示している。
本稿では,トランザクションストリーム処理(TSP)とLLM管理を統合する革命的フレームワークであるTStreamLLMを紹介する。
リアルタイムの患者モニタリングやインテリジェントなトラフィック管理といった実践的なユースケースを通じて、その可能性を示す。
論文 参考訳(メタデータ) (2023-07-17T04:01:02Z) - LLMatic: Neural Architecture Search via Large Language Models and
Quality Diversity Optimization [5.312303275762103]
大きな言語モデル(LLM)は、幅広いタスクをこなせる強力なツールとして登場した。
本稿では,LLMのコード生成能力とQDソリューションの多様性と堅牢性を融合させることで,ニューラルネットワーク探索(NAS)アルゴリズムであるLLMaticを導入する。
CIFAR-10画像分類ベンチマークでLLMaticをテストし、2000ドル程度の検索で競合ネットワークを生成できることを実証した。
論文 参考訳(メタデータ) (2023-06-01T19:33:21Z) - LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。
タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。
LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文 参考訳(メタデータ) (2023-05-19T12:10:53Z) - MAGNNETO: A Graph Neural Network-based Multi-Agent system for Traffic
Engineering [5.913155491170352]
分散TE最適化にマルチエージェント強化学習とグラフニューラルネットワークを利用する分散MLベースのフレームワークMAGNNETOを提案する。
その分散した性質のおかげで、MAGNNETOは実行時間を大幅に削減した最先端のTEに匹敵するパフォーマンスを実現している。
論文 参考訳(メタデータ) (2023-03-31T15:47:49Z) - Applying Graph-based Deep Learning To Realistic Network Scenarios [5.453745629140304]
本稿では,ネットワーク内のパスごとの平均遅延を正確に推定できるグラフベースの新しいディープラーニングモデルを提案する。
提案モデルでは,トレーニングフェーズ中に見つからないトポロジ,ルーティング構成,キュースケジューリングポリシ,トラフィック行列をうまく一般化することができる。
論文 参考訳(メタデータ) (2020-10-13T20:58:59Z) - Optimization-driven Machine Learning for Intelligent Reflecting Surfaces
Assisted Wireless Networks [82.33619654835348]
インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。
散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。
本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
論文 参考訳(メタデータ) (2020-08-29T08:39:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。