Fugu-MT 論文翻訳(概要): TelecomGPT: A Framework to Build Telecom-Specfic Large Language Models

論文の概要: TelecomGPT: A Framework to Build Telecom-Specfic Large Language Models

arxiv url: http://arxiv.org/abs/2407.09424v1
Date: Fri, 12 Jul 2024 16:51:02 GMT
ステータス: 処理完了
システム内更新日: 2024-07-15 22:39:07.746531
Title: TelecomGPT: A Framework to Build Telecom-Specfic Large Language Models
Title（参考訳）: TelecomGPT:Telecom-Specfic Large Language Modelsを構築するためのフレームワーク
Authors: Hang Zou, Qiyang Zhao, Yu Tian, Lina Bariah, Faouzi Bader, Thierry Lestable, Merouane Debbah,
Abstract要約: 大きな言語モデル(LLM)は、第6世代(6G)通信ネットワークに革命をもたらす可能性がある。本稿では,汎用LLMを通信用LLMに適応させるパイプラインを提案する。既存の評価ベンチマークを拡張し、Telecom Math Modeling、Telecom Open QnA、Telecom Code Tasksという3つの新しいベンチマークを提案する。
参考スコア（独自算出の注目度）: 7.015008083968722
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Large Language Models (LLMs) have the potential to revolutionize the Sixth Generation (6G) communication networks. However, current mainstream LLMs generally lack the specialized knowledge in telecom domain. In this paper, for the first time, we propose a pipeline to adapt any general purpose LLMs to a telecom-specific LLMs. We collect and build telecom-specific pre-train dataset, instruction dataset, preference dataset to perform continual pre-training, instruct tuning and alignment tuning respectively. Besides, due to the lack of widely accepted evaluation benchmarks in telecom domain, we extend existing evaluation benchmarks and proposed three new benchmarks, namely, Telecom Math Modeling, Telecom Open QnA and Telecom Code Tasks. These new benchmarks provide a holistic evaluation of the capabilities of LLMs including math modeling, Open-Ended question answering, code generation, infilling, summarization and analysis in telecom domain. Our fine-tuned LLM TelecomGPT outperforms state of the art (SOTA) LLMs including GPT-4, Llama-3 and Mistral in Telecom Math Modeling benchmark significantly and achieve comparable performance in various evaluation benchmarks such as TeleQnA, 3GPP technical documents classification, telecom code summary and generation and infilling.
Abstract（参考訳）: 大きな言語モデル(LLM)は、第6世代(6G)通信ネットワークに革命をもたらす可能性がある。しかし、現在のLLMは一般的に通信分野の専門知識を欠いている。本稿では,通信用LLMを通信用LLMに適応させるパイプラインを初めて提案する。我々は,テレコム固有の事前訓練データセット,命令データセット,嗜好データセットを収集,構築し,それぞれに連続的な事前訓練を行い,調整と調整を指示する。さらに,テレコム領域における評価ベンチマークが広く受け入れられていないため,既存の評価ベンチマークを拡張し,Telecom Math Modeling,Telecom Open QnA,Telecom Code Tasksという3つの新しいベンチマークを提案する。これらの新しいベンチマークは、数学モデリング、オープンエンデッドの質問応答、コード生成、埋め込み、要約、テレコム領域の分析を含むLLMの能力を総合的に評価する。我々の微調整 LLM TelecomGPT は GPT-4, Llama-3, Mistral in Telecom Math Modeling ベンチマークを含む最先端 (SOTA) の LLM よりも優れており, TeleQnA や 3GPP 技術文書分類, テレコムコード要約, 生成, 埋込など, 様々な評価ベンチマークにおいて同等の性能を実現している。

関連論文リスト

Tele-LLMs: A Series of Specialized Large Language Models for Telecommunications [20.36003316123051]
我々は,通信に適した1Bパラメータから8Bパラメータまで,最初の言語モデルであるTele-LLMsを開発し,オープンソース化した。評価の結果,これらのモデルはTele-Evalの汎用モデルよりも優れており,これまでに獲得した能力を維持していることがわかった。
論文参考訳（メタデータ） (2024-09-09T03:58:51Z)
TelecomRAG: Taming Telecom Standards with Retrieval Augmented Generation and LLMs [7.67846565247214]
大規模言語モデル(LLM)は通信産業を変革する大きな可能性を秘めている。 LLMは、プロフェッショナルが複雑な標準を理解し、コードを生成し、開発を加速するのに役立ちます。 Retrieval-augmented Generation (RAG)は、正確な事実に基づく回答を生成する方法を提供する。
論文参考訳（メタデータ） (2024-06-11T08:35:23Z)
MAP-Neo: Highly Capable and Transparent Bilingual Large Language Model Series [86.31735321970481]
私たちはMAP-Neoをオープンソースにしました。これは、4.5Tの高品質トークン上で、スクラッチからトレーニングされた7Bパラメータを持つバイリンガル言語モデルです。 MAP-Neo は,既存の最先端 LLM と比較して性能が劣る初の完全オープンソースバイリンガル LLM である。
論文参考訳（メタデータ） (2024-05-29T17:57:16Z)
Large Language Model (LLM) for Telecommunications: A Comprehensive Survey on Principles, Key Techniques, and Opportunities [36.711166825551715]
大規模言語モデル(LLM)は、その優れた理解力と推論能力により、最近かなりの注目を集めている。本研究は,LLM対応通信網の概要を概観することを目的としている。
論文参考訳（メタデータ） (2024-05-17T14:46:13Z)
WDMoE: Wireless Distributed Large Language Models with Mixture of Experts [65.57581050707738]
我々は,Mixture of Experts (MoE)に基づく無線分散大言語モデル(LLM)パラダイムを提案する。我々は,基地局(BS)とモバイルデバイスにゲーティングネットワークと先行するニューラルネットワーク層を配置することにより,LLM内のMoE層を分解する。我々は、モデルの性能とエンドツーエンドのレイテンシの両方を考慮して、専門家の選択ポリシーを設計する。
論文参考訳（メタデータ） (2024-05-06T02:55:50Z)
Using Large Language Models to Understand Telecom Standards [35.343893798039765]
大きな言語モデル(LLM)は、関連する情報へのより高速なアクセスを提供する。質問応答(QA)アシスタントとして使用される最先端のLCMの性能を評価する。その結果,LLMはテレコム技術文書の信頼できる参照ツールとして利用できることがわかった。
論文参考訳（メタデータ） (2024-04-02T09:54:51Z)
Large Language Models: A Survey [69.72787936480394]
大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。 LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
論文参考訳（メタデータ） (2024-02-09T05:37:09Z)
TAT-LLM: A Specialized Language Model for Discrete Reasoning over Tabular and Textual Data [73.29220562541204]
我々は,言語モデル(LLM)の驚くべきパワーを活用して課題を解決することを検討する。 LLaMA2を微調整し,既存のエキスパートアノテートデータセットから自動生成したトレーニングデータを用いてTAT-LLM言語モデルを開発する。
論文参考訳（メタデータ） (2024-01-24T04:28:50Z)
Vision-Language Instruction Tuning: A Review and Analysis [52.218690619616474]
VLIT(Vision-Language Instruction Tuning)は、純粋なテキスト命令チューニングよりも複雑な特徴を示す。既存のVLITデータセットの詳細な分類と、高品質なVLITデータが持つべき特性を識別する。これらの特徴を既存のVLITデータ構築プロセスに導出する原理として取り入れることで、我々は広範囲な実験を行い、調整されたマルチモーダルLCMの性能に対する肯定的な影響を検証した。
論文参考訳（メタデータ） (2023-11-14T14:02:32Z)
TeleQnA: A Benchmark Dataset to Assess Large Language Models Telecommunications Knowledge [26.302396162473293]
TeleQnAは、電気通信におけるLLM(Large Language Models)の知識を評価するために設計された最初のベンチマークデータセットである。本稿では,このデータセット作成に責任を負う自動質問生成フレームワークについて概説する。データセットはGitHubで公開されている。
論文参考訳（メタデータ） (2023-10-23T15:55:15Z)
FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
論文参考訳（メタデータ） (2023-09-01T09:40:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。