論文の概要: Linguistic Intelligence in Large Language Models for Telecommunications

• arxiv url: http://arxiv.org/abs/2402.15818v1
• Date: Sat, 24 Feb 2024 14:01:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-27 16:54:16.911441
• Title: Linguistic Intelligence in Large Language Models for Telecommunications
• Title（参考訳）: 通信用大規模言語モデルにおける言語知能
• Authors: Tasnim Ahmed, Nicola Piovesan, Antonio De Domenico, Salimur Choudhury
• Abstract要約: 自然言語処理(NLP)分野において,Large Language Models (LLMs) が大きな進歩を遂げている。 本研究は,電気通信分野におけるLLMの知識と理解能力を評価することを目的とする。 評価の結果,ゼロショットLLMは現状の細調整モデルに匹敵する性能を達成できることがわかった。
• 参考スコア（独自算出の注目度）: 5.06945923921948
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have emerged as a significant advancement in the field of Natural Language Processing (NLP), demonstrating remarkable capabilities in language generation and other language-centric tasks. Despite their evaluation across a multitude of analytical and reasoning tasks in various scientific domains, a comprehensive exploration of their knowledge and understanding within the realm of natural language tasks in the telecommunications domain is still needed. This study, therefore, seeks to evaluate the knowledge and understanding capabilities of LLMs within this domain. To achieve this, we conduct an exhaustive zero-shot evaluation of four prominent LLMs-Llama-2, Falcon, Mistral, and Zephyr. These models require fewer resources than ChatGPT, making them suitable for resource-constrained environments. Their performance is compared with state-of-the-art, fine-tuned models. To the best of our knowledge, this is the first work to extensively evaluate and compare the understanding of LLMs across multiple language-centric tasks in this domain. Our evaluation reveals that zero-shot LLMs can achieve performance levels comparable to the current state-of-the-art fine-tuned models. This indicates that pretraining on extensive text corpora equips LLMs with a degree of specialization, even within the telecommunications domain. We also observe that no single LLM consistently outperforms others, and the performance of different LLMs can fluctuate. Although their performance lags behind fine-tuned models, our findings underscore the potential of LLMs as a valuable resource for understanding various aspects of this field that lack large annotated data.
• Abstract（参考訳）: 大規模言語モデル(LLM)は自然言語処理(NLP)の分野で大きな進歩を遂げており、言語生成やその他の言語中心のタスクにおいて顕著な能力を示している。 様々な科学分野における多岐にわたる分析・推論タスクの評価にもかかわらず、通信分野における自然言語タスクの分野における知識と理解の包括的探究はいまだに必要である。 そこで本研究では,本領域におけるLLMの知識と理解能力について検討する。 これを実現するため、我々は4つの著名なllms-llama-2、falcon、mistral、zephyrのゼロショット評価を行う。 これらのモデルはchatgptよりも少ないリソースを必要とするため、リソース制約のある環境に適している。 その性能は最先端の微調整モデルと比較される。 我々の知る限りでは、この領域における複数の言語中心のタスクにおけるLLMの理解を広く評価し比較する最初の試みである。 評価の結果,ゼロショットLLMは現状の細調整モデルに匹敵する性能を達成できることがわかった。 このことは、広範なテキストコーパスの事前訓練が、電気通信領域内であっても、LLMにある程度の専門性を持たせることを示している。 また、1つのLLMが他のLLMより一貫して優れておらず、異なるLLMの性能が変動することが観察できる。 それらの性能は微調整モデルに遅れを取っているが、この分野で大きな注釈付きデータを持たない様々な側面を理解するための貴重な資源としてLLMの可能性を裏付けている。

関連論文リスト

• What do Large Language Models Need for Machine Translation Evaluation? [12.42394213466485]
  大規模言語モデル(LLM)は、微調整された多言語事前訓練言語モデルに匹敵する結果が得られる。 本稿では,LLMの機械翻訳品質を評価するために,ソース,参照,翻訳エラー,ガイドラインなどの翻訳情報が必要であるかを検討する。
  論文  参考訳（メタデータ） (2024-10-04T09:50:45Z)
• Transforming Scholarly Landscapes: Influence of Large Language Models on Academic Fields beyond Computer Science [77.31665252336157]
  大規模言語モデル (LLM) は自然言語処理 (NLP) において転換期を迎えた。 本研究は,NLP以外の分野におけるLLMの影響と利用について実験的に検討する。
  論文  参考訳（メタデータ） (2024-09-29T01:32:35Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• Large Language Models: A Survey [69.72787936480394]
  大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。 LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
  論文  参考訳（メタデータ） (2024-02-09T05:37:09Z)
• Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。 自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。 これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
  論文  参考訳（メタデータ） (2024-01-30T17:38:54Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Sight Beyond Text: Multi-Modal Training Enhances LLMs in Truthfulness and Ethics [32.123919380959485]
  MLLM(Multi-modal large language model)は、大規模言語モデル(LLM)に基づいて訓練される。 マルチモーダルなタスクでは優れているが、MLLMの純粋なNLP能力はしばしば過小評価され、テストされていない。 LLMをMLLMに移行するための一般的な戦略である視覚的インストラクションチューニングは、予期せぬ、興味深いことに、改善された真理性と倫理的整合性の両方を達成するのに役立ちます。
  論文  参考訳（メタデータ） (2023-09-13T17:57:21Z)
• Through the Lens of Core Competency: Survey on Evaluation of Large Language Models [27.271533306818732]
  大規模言語モデル(LLM)は優れた性能と幅広い実用性を持っている。 既存の評価タスクは、現実世界のシナリオにおける幅広いアプリケーションに追いつくのは難しい。 LLMの4つのコア能力は、推論、知識、信頼性、安全性などである。 この能力アーキテクチャの下では、類似したタスクを組み合わせて対応する能力を反映し、新しいタスクをシステムに簡単に追加することができる。
  論文  参考訳（メタデータ） (2023-08-15T17:40:34Z)
• Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
  本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。 26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
  論文  参考訳（メタデータ） (2023-05-24T10:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。