論文の概要: Understanding Telecom Language Through Large Language Models
- arxiv url: http://arxiv.org/abs/2306.07933v1
- Date: Fri, 9 Jun 2023 15:44:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-14 12:35:22.713735
- Title: Understanding Telecom Language Through Large Language Models
- Title(参考訳): 大規模言語モデルによるテレコム言語理解
- Authors: Lina Bariah and Hang Zou and Qiyang Zhao and Belkacem Mouhouche and
Faouzi Bader and Merouane Debbah
- Abstract要約: 大規模言語モデル(LLM)は、自己管理された対話型AIエージェントを実現するための基盤であると考えられている。
本稿では,LLMのパラダイムをテレコム領域に適用する。
我々は, BERT, 蒸留BERT, RoBERTa, GPT-2 などいくつかの LLM を Telecom ドメイン言語に微調整する。
- 参考スコア(独自算出の注目度): 3.947298454012977
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The recent progress of artificial intelligence (AI) opens up new frontiers in
the possibility of automating many tasks involved in Telecom networks design,
implementation, and deployment. This has been further pushed forward with the
evolution of generative artificial intelligence (AI), including the emergence
of large language models (LLMs), which is believed to be the cornerstone toward
realizing self-governed, interactive AI agents. Motivated by this, in this
paper, we aim to adapt the paradigm of LLMs to the Telecom domain. In
particular, we fine-tune several LLMs including BERT, distilled BERT, RoBERTa
and GPT-2, to the Telecom domain languages, and demonstrate a use case for
identifying the 3rd Generation Partnership Project (3GPP) standard working
groups. We consider training the selected models on 3GPP technical documents
(Tdoc) pertinent to years 2009-2019 and predict the Tdoc categories in years
2020-2023. The results demonstrate that fine-tuning BERT and RoBERTa model
achieves 84.6% accuracy, while GPT-2 model achieves 83% in identifying 3GPP
working groups. The distilled BERT model with around 50% less parameters
achieves similar performance as others. This corroborates that fine-tuning
pretrained LLM can effectively identify the categories of Telecom language. The
developed framework shows a stepping stone towards realizing intent-driven and
self-evolving wireless networks from Telecom languages, and paves the way for
the implementation of generative AI in the Telecom domain.
- Abstract(参考訳): 人工知能(AI)の最近の進歩は、テレコムネットワークの設計、実装、展開に関わる多くのタスクを自動化する可能性の新たなフロンティアを開く。
これは、大規模言語モデル(LLM)の出現を含む、ジェネレーティブ人工知能(AI)の進化によってさらに前進し、自己統治型の対話型AIエージェントの実現の基盤となったと考えられている。
そこで本論文では,LLMのパラダイムをテレコム領域に適応させることを目的としている。
特に, BERT, 蒸留されたBERT, RoBERTa, GPT-2などのLCMをテレコムドメイン言語に微調整し, 第3世代パートナーシッププロジェクト(GPP)標準ワーキンググループを識別するためのユースケースを示す。
我々は,2009~2019年までの3GPP技術文書(Tdoc)上で選択したモデルをトレーニングし,2020~2023年のTdocカテゴリを予測する。
その結果,細調整BERTとRoBERTaモデルでは84.6%の精度が得られ,GPT-2モデルは3GPPワーキンググループを83%同定した。
約50%少ないパラメータで蒸留したBERTモデルは、他のモデルと同様の性能を得る。
このことは、微調整済みのLLMがTelecom言語のカテゴリを効果的に識別できることを裏付ける。
開発されたフレームワークは、Telecom言語から意図駆動で自己進化する無線ネットワークの実現に向けた一歩であり、Telecomドメインで生成AIを実装するための道筋を示している。
関連論文リスト
- When LLM-based Code Generation Meets the Software Development Process [50.82665351100067]
本稿では,ソフトウェア工学の確立した実践に触発されたコード生成フレームワークであるLCGを紹介する。
LLMエージェントは、LCGWaterfall、LCGTDD、LCGScrumといった様々なソフトウェアプロセスモデルをエミュレートする。
我々は,HumanEval,HumanEval-ET,MBPP,MBPP-ETの4つのコード生成ベンチマークでLCGを評価した。
論文 参考訳(メタデータ) (2024-03-23T14:04:48Z) - Telecom Language Models: Must They Be Large? [8.797593281454516]
多くのタスクにおいて、より大きな言語に匹敵するパフォーマンスを示す小さな言語モデル。
Phi-2 はコンパクトだが強力なモデルであり、効率的な小言語モデルの新たな波を実証している。
本稿では,Phi-2の通信領域に関する本質的な理解を包括的に評価する。
論文 参考訳(メタデータ) (2024-03-07T17:13:12Z) - Foundation Model Based Native AI Framework in 6G with Cloud-Edge-End
Collaboration [56.330705072736166]
基礎モデルに基づく6GネイティブAIフレームワークを提案し、意図認識型PFMのカスタマイズアプローチを提供し、新しいクラウド-エッジコラボレーションパラダイムを概説する。
実例として,無線通信システムにおける最大和率を達成するために,このフレームワークをオーケストレーションに適用する。
論文 参考訳(メタデータ) (2023-10-26T15:19:40Z) - An Ensemble Method Based on the Combination of Transformers with
Convolutional Neural Networks to Detect Artificially Generated Text [0.0]
本稿では、畳み込みニューラルネットワーク(CNN)を用いたSci-BERT、DeBERTa、XLNetなどのトランスフォーマーモデルによる分類モデルを提案する。
実験により, アンサンブルアーキテクチャは, 分類のための個別変圧器モデルの性能を上回っていることが示された。
論文 参考訳(メタデータ) (2023-10-26T11:17:03Z) - AutoML-GPT: Automatic Machine Learning with GPT [74.30699827690596]
本稿では,タスク指向のプロンプトを開発し,大規模言語モデル(LLM)を自動的に活用して学習パイプラインを自動化することを提案する。
本稿では,多様なAIモデルのブリッジとしてGPTを用いたAutoML-GPTを提案する。
このアプローチはコンピュータビジョン、自然言語処理、その他の課題領域において顕著な結果をもたらす。
論文 参考訳(メタデータ) (2023-05-04T02:09:43Z) - Deep Generative Model and Its Applications in Efficient Wireless Network
Management: A Tutorial and Case Study [71.8330148641267]
ディープジェネレーションモデル(DGM)は2022年から爆発的な成長を遂げている。
本稿では,無線ネットワーク管理の効率化に向けたDGMの応用について検討する。
論文 参考訳(メタデータ) (2023-03-30T02:59:51Z) - Accordion: A Communication-Aware Machine Learning Framework for Next
Generation Networks [8.296411540693706]
我々は,アドホック人工知能(AI)/機械学習(ML)モデルの設計を提唱する。
本稿では、モデルトレーニングおよび通信プロトコルの見直しにより、効率的なAI/MLモデル転送を可能にする、新しいコミュニケーション対応MLフレームワークを提案する。
論文 参考訳(メタデータ) (2023-01-12T10:30:43Z) - Bidirectional Language Models Are Also Few-shot Learners [54.37445173284831]
SAP(Sequential Autoregressive Prompting)は,双方向モデルの高速化を実現する技術である。
SAPは質問応答と要約に有効であることを示す。
この結果から,より広範な言語モデルの創発的特性として,プロンプトに基づく学習が証明された。
論文 参考訳(メタデータ) (2022-09-29T01:35:57Z) - Building Machine Translation Systems for the Next Thousand Languages [102.24310122155073]
1500以上の言語を対象としたクリーンでWebマイニングされたデータセットの構築、低サービス言語のための実践的なMTモデルの開発、これらの言語に対する評価指標の限界の検証という3つの研究領域における結果について述べる。
我々の研究は、現在調査中の言語のためのMTシステムの構築に取り組んでいる実践者にとって有用な洞察を提供し、データスパース設定における多言語モデルの弱点を補完する研究の方向性を強調したいと考えています。
論文 参考訳(メタデータ) (2022-05-09T00:24:13Z) - Adapting GPT, GPT-2 and BERT Language Models for Speech Recognition [14.82259273703819]
自動音声認識(ASR)のための微調整GPT, GPT-2とその組み合わせを用いた結果を提案する。
双方向のLM出力に基づいて、正しい言語事前確率を計算するための変換法を提案する。
提案された言語事前確率の変換により、BERT は 3% の相対 WERR を受信できる。
論文 参考訳(メタデータ) (2021-07-29T16:53:37Z) - Machine Learning for Performance Prediction of Channel Bonding in
Next-Generation IEEE 802.11 WLANs [1.0486135378491268]
我々はPompeu Fabra大学(UPF)が主催する問題ステートメント13(PS-013)の結果を提示する。
第一の目標は、チャネルボンディング(CB)技術を適用した次世代無線地域ネットワーク(WLAN)の性能予測であった。
論文 参考訳(メタデータ) (2021-05-29T05:33:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。