論文の概要: An Empirical Study of NetOps Capability of Pre-Trained Large Language Models

• arxiv url: http://arxiv.org/abs/2309.05557v3
• Date: Tue, 19 Sep 2023 16:04:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-20 18:50:23.487222
• Title: An Empirical Study of NetOps Capability of Pre-Trained Large Language Models
• Title（参考訳）: 事前学習型大言語モデルのネットOps能力に関する実証的研究
• Authors: Yukai Miao, Yu Bai, Li Chen, Dan Li, Haifeng Sun, Xizheng Wang, Ziqiu Luo, Yanyu Ren, Dapeng Sun, Xiuting Xu, Qi Zhang, Chao Xiang, Xinchi Li
• Abstract要約: ネットワーク運用(NetOps)におけるLLMの包括的能力を評価するための評価セットであるNetEvalを提案する。 NetEvalはNetOpsに関する5,732の質問で構成され、NetOpsの5つのサブドメインをカバーする。 その結果,GPT-4のみが人間に競争力を持たせることができた。
• 参考スコア（独自算出の注目度）: 19.914314051275408
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Nowadays, the versatile capabilities of Pre-trained Large Language Models (LLMs) have attracted much attention from the industry. However, some vertical domains are more interested in the in-domain capabilities of LLMs. For the Networks domain, we present NetEval, an evaluation set for measuring the comprehensive capabilities of LLMs in Network Operations (NetOps). NetEval is designed for evaluating the commonsense knowledge and inference ability in NetOps in a multi-lingual context. NetEval consists of 5,732 questions about NetOps, covering five different sub-domains of NetOps. With NetEval, we systematically evaluate the NetOps capability of 26 publicly available LLMs. The results show that only GPT-4 can achieve a performance competitive to humans. However, some open models like LLaMA 2 demonstrate significant potential.
• Abstract（参考訳）: 現在、LLM(Pre-trained Large Language Models)の多機能性は業界から多くの注目を集めている。 しかし、いくつかの垂直領域はLLMのドメイン内機能にもっと興味を持っている。 ネットワークオペレーション(NetOps)におけるLLMの包括的能力を評価するための評価セットであるNetEvalを提案する。 NetEvalは、マルチ言語コンテキストでNetOpsの常識知識と推論能力を評価するように設計されている。 NetEvalはNetOpsに関する5,732の質問で構成され、NetOpsの5つのサブドメインをカバーする。 NetEvalでは,公開LLM26のNetOps機能を体系的に評価する。 その結果,GPT-4のみが人間に競争力を持たせることができた。 しかし、LLaMA 2のようないくつかのオープンモデルは大きな可能性を示している。

関連論文リスト

• EmbodiedEval: Evaluate Multimodal LLMs as Embodied Agents [57.4686961979566]
  EmbodiedEvalは、組み込みタスクを持つMLLMの総合的かつインタラクティブな評価ベンチマークである。 多様性が大幅に向上した既存のAIタスクの幅広い範囲をカバーする。 EmbodiedEval における最先端MLLM の評価を行い,人体作業における人体レベルと比較して有意に不足していることがわかった。
  論文  参考訳（メタデータ） (2025-01-21T03:22:10Z)
• CS-Eval: A Comprehensive Large Language Model Benchmark for CyberSecurity [25.07282324266835]
  CS-Evalは、サイバーセキュリティにおける大規模言語モデル(LLM)のベンチマークである。 学界から研究ホットスポットを合成し、産業から実用化する。 高品質な質問を3つの認知レベル(知識、能力、応用)に分類する。
  論文  参考訳（メタデータ） (2024-11-25T09:54:42Z)
• GIVE: Structured Reasoning of Large Language Models with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
  Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを融合して、最小の外部入力で正確な推論を改善する新しい推論手法である。 GIVE は LLM エージェントをガイドして,最も関連する専門家データ (observe) を選択し,クエリ固有の発散思考 (reflect) に従事し,その情報を合成して最終的な出力 (speak) を生成する。
  論文  参考訳（メタデータ） (2024-10-11T03:05:06Z)
• MAP-Neo: Highly Capable and Transparent Bilingual Large Language Model Series [86.31735321970481]
  私たちはMAP-Neoをオープンソースにしました。これは、4.5Tの高品質トークン上で、スクラッチからトレーニングされた7Bパラメータを持つバイリンガル言語モデルです。 MAP-Neo は,既存の最先端 LLM と比較して性能が劣る初の完全オープンソースバイリンガル LLM である。
  論文  参考訳（メタデータ） (2024-05-29T17:57:16Z)
• Can LLMs Understand Computer Networks? Towards a Virtual System Administrator [15.469010487781931]
  本稿では,大規模言語モデルによるコンピュータネットワークの理解に関する総合的研究を初めて行った。 我々は,プロプライエタリ(GPT4)とオープンソース(Llama2)モデルを用いたマルチコンピュータネットワーク上でのフレームワークの評価を行った。
  論文  参考訳（メタデータ） (2024-04-19T07:41:54Z)
• TaxoLLaMA: WordNet-based Model for Solving Multiple Lexical Semantic Tasks [54.01153045234468]
  本稿では,LLMがWordNetから語彙・意味的知識を抽出する能力について検討する。 4ビット量子化とLoRAにより軽量なオールインワンモデルであるTaxoLLaMAを提案する。
  論文  参考訳（メタデータ） (2024-03-14T09:21:25Z)
• NetLLM: Adapting Large Language Models for Networking [36.61572542761661]
  我々は,ネットワーク問題を解決するために低努力でLLMの強力な能力を活用するためのコヒーレントな設計を提供する最初のフレームワークであるNetLLMを紹介する。 具体的には、NetLLMはLLMにネットワーク上のマルチモーダルデータを効果的に処理し、タスク固有の回答を効率的に生成する権限を与える。
  論文  参考訳（メタデータ） (2024-02-04T04:21:34Z)
• One is More: Diverse Perspectives within a Single Network for Efficient DRL [43.249133438809125]
  OMNetは、単一のネットワーク内で複数のワークを活用する新しい学習パラダイムであり、多様なアウトプットを効率的に提供する。 OMNetは、最小限の追加オーバーヘッドで、様々な深層強化学習アルゴリズムに容易に適用できる。
  論文  参考訳（メタデータ） (2023-10-21T13:37:13Z)
• NetGPT: A Native-AI Network Architecture Beyond Provisioning Personalized Generative Services [25.468894023135828]
  大規模言語モデル(LLM)は、生成情報によって私たちの日常生活を力づけるために大きな成功を収めています。 本稿では,NetGPTを用いて,その計算能力に基づいて,エッジおよびクラウドにおける適切なLLMの相乗化を実現した。
  論文  参考訳（メタデータ） (2023-07-12T13:10:08Z)
• MetaVL: Transferring In-Context Learning Ability From Language Models to Vision-Language Models [74.89629463600978]
  視覚言語領域では、ほとんどの大規模事前学習された視覚言語モデルは、文脈内学習を行う能力を持っていない。 本稿では,言語領域から視覚領域へコンテキスト内学習能力を移行できるのか,という興味深い仮説を考察する。
  論文  参考訳（メタデータ） (2023-06-02T07:21:03Z)
• Is ChatGPT Good at Search? Investigating Large Language Models as Re-Ranking Agents [53.78782375511531]
  大規模言語モデル(LLM)は、様々な言語関連タスクにまたがる顕著なゼロショットの一般化を実証している。 本稿では、情報検索(IR)における関連性ランキングのためのジェネレーティブLLMについて検討する。 LLMのデータ汚染に関する懸念に対処するため,我々はNovereEvalという新しいテストセットを収集した。 実世界のアプリケーションの効率を向上させるため、ChatGPTのランキング能力を小さな特殊モデルに蒸留する可能性を探る。
  論文  参考訳（メタデータ） (2023-04-19T10:16:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。