論文の概要: Efficient Telecom Specific LLM: TSLAM-Mini with QLoRA and Digital Twin Data

• arxiv url: http://arxiv.org/abs/2505.07877v1
• Date: Sat, 10 May 2025 12:28:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-14 20:57:54.247929
• Title: Efficient Telecom Specific LLM: TSLAM-Mini with QLoRA and Digital Twin Data
• Title（参考訳）: QLoRAとデジタルツインデータを用いたTSLAM-Mini
• Authors: Vignesh Ethiraj, Divya Vijay, Sidhanth Menon, Heblin Berscilla,
• Abstract要約: 汎用大規模言語モデル (LLM) は、リアルタイム通信アプリケーションにおいて、しばしば準最適性能を示す。 本研究では,ネトカイが開発したTSLAM-Miniの微調整により,この限界に対処する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: General-purpose large language models (LLMs), despite their broad capabilities accrued from open-world data, frequently exhibit suboptimal performance when confronted with the nuanced and specialized demands inherent in real-time telecommunications applications. This investigation addresses this critical limitation through the meticulous fine-tuning of TSLAM-Mini developed by NetoAI, a compact (3.8-billion parameter) causal language model architecturally derived from Phi-4 Mini Instruct 4B. The fine-tuning regimen leverages a bespoke dataset comprising 100,000 samples, strategically engineered to address 20 pivotal telecommunications use-cases, encompassing domains such as Network Fundamentals, IP Routing, MPLS, Network Security, Automation, OSS/BSS, RAN, Mobile Core, Satellite Communications, and Ethical AI. This dataset was curated utilizing NetoAI's DigiTwin platform, enriched with granular insights from venerated network Subject Matter Experts (SMEs) and authoritative RFC documents, thereby capturing high-fidelity representations of real-world network dynamics through simulations inspired by digital twin paradigms. Employing Quantized Low-Rank Adaptation (QLoRA), a state-of-the-art Parameter Efficient Fine-Tuning (PEFT) technique, we achieved substantial training efficiency and enabled prospective deployment on resource-constrained hardware. A novel evaluation framework, predicated on a high-capacity LLM (Qwen3-235B-A22B) functioning as an automated adjudicator, was instituted to rigorously assess instruction-following fidelity and response quality across the specified telecom use-cases. Empirical results unequivocally demonstrate TSLAM-Mini's superior aptitude in telecom-centric applications, underscoring the profound efficacy of domain-specific datasets and PEFT methodologies for advancing intelligent network management.
• Abstract（参考訳）: LLM(General-purpose large language model)は、オープンワールドデータから得られる幅広い能力にもかかわらず、リアルタイム通信アプリケーションに固有のニュアンスや専門的な要求に直面すると、しばしば準最適性能を示す。 本研究は,Phi-4 Mini Instruct 4Bからアーキテクチャ的に派生したコンパクト(3.8ビリオンパラメータ)因果言語モデルであるNetoAIによって開発されたTSLAM-Miniの微調整により,この限界に対処する。 この微調整は、ネットワーク基盤、IPルーティング、MPLS、ネットワークセキュリティ、オートメーション、OSS/BSS、RAN、モバイルコア、衛星通信、倫理AIといったドメインを含む、20の重要な通信ユースケースに対応するために戦略的に設計された10万のサンプルからなる、Bespokeデータセットを活用する。 このデータセットは、NetoAIのDigiTwinプラットフォームを利用してキュレートされ、崇敬されたネットワークの主題エキスパート(SME)と権威のあるRFCドキュメントからの詳細な洞察を豊かにすることで、デジタルツインパラダイムにインスパイアされたシミュレーションを通じて、現実世界のネットワークダイナミクスの高忠実性表現をキャプチャした。 提案手法は,PEFT (State-of-the-art Parameter Efficient Fine-Tuning) 技術であるquantized Low-Rank Adaptation (QLoRA) を用いることで,トレーニング効率を大幅に向上し,リソース制約のあるハードウェアへの将来的な展開を可能にした。 自動判断器として機能する高容量LCM (Qwen3-235B-A22B) を前提とした新しい評価フレームワークを構築し, 特定通信機器における命令追従精度と応答品質を厳格に評価する。 実証的な結果は、TSLAM-Miniのテレコム中心のアプリケーションにおける優れた適性を示し、ドメイン固有のデータセットとPEFTの方法論がインテリジェントなネットワーク管理を推進していることを裏付けている。

関連論文リスト

• World Model-Based Learning for Long-Term Age of Information Minimization in Vehicular Networks [53.98633183204453]
  本稿では,車載ネットワークにおけるパケット完全性認識情報(CAoI)の年齢を最小化するために,新しい世界モデルに基づく学習フレームワークを提案する。 mmWave V2X環境の動的モデルを共同で学習し、リンクスケジューリングの方法を学ぶための軌跡を想像するために使用する世界モデルフレームワークを提案する。 特に、長期的な政策は環境相互作用の代わりに、異なる想像軌道で学習される。
  論文  参考訳（メタデータ） (2025-05-03T06:23:18Z)
• Deploying Large AI Models on Resource-Limited Devices with Split Federated Learning [39.73152182572741]
  本稿では、SFLAM(Quantized Split Federated Fine-Tuning Large AI Model)と呼ばれる新しいフレームワークを提案する。 エッジデバイスとサーバ間のトレーニング負荷を分割することで、SFLAMはデバイス上の大規模なモデルの操作を容易にすることができる。 SFLAMは、トレーニング効率を高めるために、量子化管理、電力制御、帯域幅割り当て戦略を取り入れている。
  論文  参考訳（メタデータ） (2025-04-12T07:55:11Z)
• A Low-Complexity Plug-and-Play Deep Learning Model for Massive MIMO Precoding Across Sites [5.896656636095934]
  MMIMO技術は、スペクトル効率とネットワーク容量を向上させることで、無線通信を変革した。 本稿では,既存のアプローチの複雑性問題に対処するための,新しいディープラーニングベースのmMIMOプリコーダを提案する。
  論文  参考訳（メタデータ） (2025-02-12T20:02:36Z)
• Empowering Large Language Models in Wireless Communication: A Novel Dataset and Fine-Tuning Framework [81.29965270493238]
  我々は,無線通信アプリケーションのための大規模言語モデル(LLM)の評価と微調整を目的とした,特殊なデータセットを開発した。 データセットには、真/偽と複数選択型を含む、さまざまなマルチホップ質問が含まれている。 本稿では,PVI(Pointwise V-Information)に基づく微調整手法を提案する。
  論文  参考訳（メタデータ） (2025-01-16T16:19:53Z)
• Automatic AI Model Selection for Wireless Systems: Online Learning via Digital Twinning [50.332027356848094]
  AIベースのアプリケーションは、スケジューリングや電力制御などの機能を実行するために、インテリジェントコントローラにデプロイされる。 コンテキストとAIモデルのパラメータのマッピングは、ゼロショット方式で理想的に行われる。 本稿では,AMSマッピングのオンライン最適化のための一般的な手法を紹介する。
  論文  参考訳（メタデータ） (2024-06-22T11:17:50Z)
• Learning Wireless Data Knowledge Graph for Green Intelligent Communications: Methodology and Experiments [36.82287751359216]
  我々は,知識グラフ(KG)の概念をモバイルネットワークのインテリジェントな操作操作に統合した,広汎なマルチレベル(PML)ネイティブAIアーキテクチャを提案する。 我々は、無線通信ネットワークから収集された大規模で複雑なデータを特徴付け、様々なデータフィールド間の関係を分析する。 このアーキテクチャは、AIトレーニング、推論、検証プロセスを強化するだけでなく、通信ネットワークのリソースの浪費とオーバーヘッドを大幅に削減する。
  論文  参考訳（メタデータ） (2024-04-16T07:55:34Z)
• Model-based Deep Learning Receiver Design for Rate-Splitting Multiple Access [65.21117658030235]
  本研究では,モデルベース深層学習(MBDL)に基づく実用的なRSMA受信機の設計を提案する。 MBDL受信機は、符号なしシンボル誤り率(SER)、リンクレベルシミュレーション(LLS)によるスループット性能、平均トレーニングオーバーヘッドの観点から評価される。 その結果,MBDLはCSIRが不完全なSIC受信機よりも優れていた。
  論文  参考訳（メタデータ） (2022-05-02T12:23:55Z)
• Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
  まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。 このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-02-22T14:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。