論文の概要: Understanding Telecom Language Through Large Language Models

• arxiv url: http://arxiv.org/abs/2306.07933v1
• Date: Fri, 9 Jun 2023 15:44:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-14 12:35:22.713735
• Title: Understanding Telecom Language Through Large Language Models
• Title（参考訳）: 大規模言語モデルによるテレコム言語理解
• Authors: Lina Bariah and Hang Zou and Qiyang Zhao and Belkacem Mouhouche and Faouzi Bader and Merouane Debbah
• Abstract要約: 大規模言語モデル(LLM)は、自己管理された対話型AIエージェントを実現するための基盤であると考えられている。 本稿では,LLMのパラダイムをテレコム領域に適用する。 我々は, BERT, 蒸留BERT, RoBERTa, GPT-2 などいくつかの LLM を Telecom ドメイン言語に微調整する。
• 参考スコア（独自算出の注目度）: 3.947298454012977
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recent progress of artificial intelligence (AI) opens up new frontiers in the possibility of automating many tasks involved in Telecom networks design, implementation, and deployment. This has been further pushed forward with the evolution of generative artificial intelligence (AI), including the emergence of large language models (LLMs), which is believed to be the cornerstone toward realizing self-governed, interactive AI agents. Motivated by this, in this paper, we aim to adapt the paradigm of LLMs to the Telecom domain. In particular, we fine-tune several LLMs including BERT, distilled BERT, RoBERTa and GPT-2, to the Telecom domain languages, and demonstrate a use case for identifying the 3rd Generation Partnership Project (3GPP) standard working groups. We consider training the selected models on 3GPP technical documents (Tdoc) pertinent to years 2009-2019 and predict the Tdoc categories in years 2020-2023. The results demonstrate that fine-tuning BERT and RoBERTa model achieves 84.6% accuracy, while GPT-2 model achieves 83% in identifying 3GPP working groups. The distilled BERT model with around 50% less parameters achieves similar performance as others. This corroborates that fine-tuning pretrained LLM can effectively identify the categories of Telecom language. The developed framework shows a stepping stone towards realizing intent-driven and self-evolving wireless networks from Telecom languages, and paves the way for the implementation of generative AI in the Telecom domain.
• Abstract（参考訳）: 人工知能(AI)の最近の進歩は、テレコムネットワークの設計、実装、展開に関わる多くのタスクを自動化する可能性の新たなフロンティアを開く。 これは、大規模言語モデル(LLM)の出現を含む、ジェネレーティブ人工知能(AI)の進化によってさらに前進し、自己統治型の対話型AIエージェントの実現の基盤となったと考えられている。 そこで本論文では,LLMのパラダイムをテレコム領域に適応させることを目的としている。 特に, BERT, 蒸留されたBERT, RoBERTa, GPT-2などのLCMをテレコムドメイン言語に微調整し, 第3世代パートナーシッププロジェクト(GPP)標準ワーキンググループを識別するためのユースケースを示す。 我々は,2009～2019年までの3GPP技術文書(Tdoc)上で選択したモデルをトレーニングし,2020～2023年のTdocカテゴリを予測する。 その結果,細調整BERTとRoBERTaモデルでは84.6%の精度が得られ,GPT-2モデルは3GPPワーキンググループを83%同定した。 約50%少ないパラメータで蒸留したBERTモデルは、他のモデルと同様の性能を得る。 このことは、微調整済みのLLMがTelecom言語のカテゴリを効果的に識別できることを裏付ける。 開発されたフレームワークは、Telecom言語から意図駆動で自己進化する無線ネットワークの実現に向けた一歩であり、Telecomドメインで生成AIを実装するための道筋を示している。

関連論文リスト

• Integrating Large Language Models with Internet of Things Applications [6.22153888560487]
  本稿では,大規模言語モデル(LLM)がモノのインターネット(IoT)ネットワークをよりインテリジェントで応答性の高いものにするアプリケーションを特定し,解析する。 その結果,数ショット学習時のGPTモデルでは検出精度が87.6%,微調整のGPTでは94.9%に向上した。
  論文  参考訳（メタデータ） (2024-10-25T00:21:45Z)
• Creating a Gen-AI based Track and Trace Assistant MVP (SuperTracy) for PostNL [0.0]
  オランダ最大のパーセルおよびEコマース企業であるPostNLは、生成AIを使用して、パーセルの追跡と追跡に関するコミュニケーションを強化しようとしている。 インターンシップの間、生成AI技術を使用する価値を示すために、MVP(Minimal Viable Product)が作成されます。 MVPはSuperTracyと呼ばれるマルチエージェントのオープンソースLLMシステムの実装に成功した。
  論文  参考訳（メタデータ） (2024-09-04T13:49:19Z)
• Enhancing Customer Churn Prediction in Telecommunications: An Adaptive Ensemble Learning Approach [0.0]
  本稿では,高精度な顧客チャーン予測のための適応型アンサンブル学習フレームワークを提案する。 このフレームワークは、XGBoost、LightGBM、LSTM、Multi-Layer Perceptron(MLP)ニューラルネットワーク、Support Vector Machine(SVM)など、複数のベースモデルを統合する。 この研究は99.28%の精度を達成し、チャーン予測の大きな進歩を示している。
  論文  参考訳（メタデータ） (2024-08-29T06:27:42Z)
• Networks of Networks: Complexity Class Principles Applied to Compound AI Systems Design [63.24275274981911]
  多くの言語モデル推論コールからなる複合AIシステムは、ますます採用されている。 本研究では,提案した回答の生成と正当性検証の区別を中心に,ネットワークネットワーク(NoN)と呼ばれるシステムを構築した。 我々は,Kジェネレータを備えた検証器ベースの判定器NoNを導入し,"Best-of-K"あるいは"judge-based"複合AIシステムのインスタンス化を行う。
  論文  参考訳（メタデータ） (2024-07-23T20:40:37Z)
• SOEN-101: Code Generation by Emulating Software Process Models Using Large Language Model Agents [50.82665351100067]
  FlowGenは、複数のLarge Language Model (LLM)エージェントに基づいたソフトウェアプロセスモデルをエミュレートするコード生成フレームワークである。 FlowGenScrumをHumanEval、HumanEval-ET、MBPP、MBPP-ETの4つのベンチマークで評価した。
  論文  参考訳（メタデータ） (2024-03-23T14:04:48Z)
• Foundation Model Based Native AI Framework in 6G with Cloud-Edge-End Collaboration [56.330705072736166]
  基礎モデルに基づく6GネイティブAIフレームワークを提案し、意図認識型PFMのカスタマイズアプローチを提供し、新しいクラウド-エッジコラボレーションパラダイムを概説する。 実例として,無線通信システムにおける最大和率を達成するために,このフレームワークをオーケストレーションに適用する。
  論文  参考訳（メタデータ） (2023-10-26T15:19:40Z)
• AutoML-GPT: Automatic Machine Learning with GPT [74.30699827690596]
  本稿では,タスク指向のプロンプトを開発し,大規模言語モデル(LLM)を自動的に活用して学習パイプラインを自動化することを提案する。 本稿では,多様なAIモデルのブリッジとしてGPTを用いたAutoML-GPTを提案する。 このアプローチはコンピュータビジョン、自然言語処理、その他の課題領域において顕著な結果をもたらす。
  論文  参考訳（メタデータ） (2023-05-04T02:09:43Z)
• Accordion: A Communication-Aware Machine Learning Framework for Next Generation Networks [8.296411540693706]
  我々は,アドホック人工知能(AI)/機械学習(ML)モデルの設計を提唱する。 本稿では、モデルトレーニングおよび通信プロトコルの見直しにより、効率的なAI/MLモデル転送を可能にする、新しいコミュニケーション対応MLフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-01-12T10:30:43Z)
• Bidirectional Language Models Are Also Few-shot Learners [54.37445173284831]
  SAP(Sequential Autoregressive Prompting)は,双方向モデルの高速化を実現する技術である。 SAPは質問応答と要約に有効であることを示す。 この結果から,より広範な言語モデルの創発的特性として,プロンプトに基づく学習が証明された。
  論文  参考訳（メタデータ） (2022-09-29T01:35:57Z)
• Building Machine Translation Systems for the Next Thousand Languages [102.24310122155073]
  1500以上の言語を対象としたクリーンでWebマイニングされたデータセットの構築、低サービス言語のための実践的なMTモデルの開発、これらの言語に対する評価指標の限界の検証という3つの研究領域における結果について述べる。 我々の研究は、現在調査中の言語のためのMTシステムの構築に取り組んでいる実践者にとって有用な洞察を提供し、データスパース設定における多言語モデルの弱点を補完する研究の方向性を強調したいと考えています。
  論文  参考訳（メタデータ） (2022-05-09T00:24:13Z)
• Adapting GPT, GPT-2 and BERT Language Models for Speech Recognition [14.82259273703819]
  自動音声認識(ASR)のための微調整GPT, GPT-2とその組み合わせを用いた結果を提案する。 双方向のLM出力に基づいて、正しい言語事前確率を計算するための変換法を提案する。 提案された言語事前確率の変換により、BERT は 3% の相対 WERR を受信できる。
  論文  参考訳（メタデータ） (2021-07-29T16:53:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。