論文の概要: OWL: A Large Language Model for IT Operations

• arxiv url: http://arxiv.org/abs/2309.09298v2
• Date: Fri, 27 Sep 2024 05:55:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-09 14:28:50.435918
• Title: OWL: A Large Language Model for IT Operations
• Title（参考訳）: OWL:IT運用のための大規模言語モデル
• Authors: Hongcheng Guo, Jian Yang, Jiaheng Liu, Liqun Yang, Linzheng Chai, Jiaqi Bai, Junran Peng, Xiaorong Hu, Chao Chen, Dongfeng Zhang, Xu Shi, Tieqiao Zheng, Liangfan Zheng, Bo Zhang, Ke Xu, Zhoujun Li,
• Abstract要約: 我々は、収集したOWL-Instructデータセットに基づいて訓練された大規模な言語モデルOWLを紹介する。 OWL-BenchにおけるOWLの性能評価とIT関連ベンチマークのオープン化について検討した。
• 参考スコア（独自算出の注目度）: 40.88170785586197
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the rapid development of IT operations, it has become increasingly crucial to efficiently manage and analyze large volumes of data for practical applications. The techniques of Natural Language Processing (NLP) have shown remarkable capabilities for various tasks, including named entity recognition, machine translation and dialogue systems. Recently, Large Language Models (LLMs) have achieved significant improvements across various NLP downstream tasks. However, there is a lack of specialized LLMs for IT operations. In this paper, we introduce the OWL, a large language model trained on our collected OWL-Instruct dataset with a wide range of IT-related information, where the mixture-of-adapter strategy is proposed to improve the parameter-efficient tuning across different domains or tasks. Furthermore, we evaluate the performance of our OWL on the OWL-Bench established by us and open IT-related benchmarks. OWL demonstrates superior performance results on IT tasks, which outperforms existing models by significant margins. Moreover, we hope that the findings of our work will provide more insights to revolutionize the techniques of IT operations with specialized LLMs.
• Abstract（参考訳）: IT運用の急速な発展に伴い、実用的なアプリケーションのために大量のデータを効率的に管理し、分析することがますます重要になっている。 自然言語処理(NLP)の技術は、名前付きエンティティ認識、機械翻訳、対話システムなど、様々なタスクに顕著な能力を示している。 最近、Large Language Models (LLM) は様々なNLPダウンストリームタスクで大幅に改善されている。 しかし、IT運用には特殊なLLMが欠如している。 本稿では,収集したOWL-Instructデータセットに基づいて学習した大規模言語モデルOWLを紹介する。 さらに、当社が確立したOWL-Bench上でのOWLの性能を評価し、IT関連ベンチマークをオープンにする。 OWLはITタスクにおける優れたパフォーマンス結果を示しており、既存のモデルをかなり上回っている。 さらに、私たちの研究の成果が、専門的なLLMでIT運用の技術に革命をもたらすことを願っています。

関連論文リスト

• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示しており、最近、IoT(Internet of Things)アプリケーションにLLMの能力を統合することが研究の注目を集めている。 セキュリティ上の懸念から、多くの機関は最先端の商用LLMサービスへのアクセスを避け、ローカルネットワーク環境でのオープンソースLLMのデプロイと利用を必要としている。 本研究では,LLMを用いた生成IoT(Generative IoT)システムを提案する。
  論文  参考訳（メタデータ） (2024-06-14T19:24:00Z)
• Assessing the Performance of Chinese Open Source Large Language Models in Information Extraction Tasks [12.400599440431188]
  自然言語処理(NLP)における情報抽出(IE)の役割 英語IEタスクに焦点をあてた最近の実験は、LLM(Large Language Models)が最適性能を達成する上で直面する課題に光を当てている。
  論文  参考訳（メタデータ） (2024-06-04T08:00:40Z)
• SelectIT: Selective Instruction Tuning for Large Language Models via Uncertainty-Aware Self-Reflection [49.54657248221432]
  本研究では,大規模言語モデル (LLM) の基本機能を活用する新しいアプローチ SelectIT を提案する。 具体的には、LLMに存在する本質的な不確実性を利用して、余分なリソースを必要とせずに、より効果的に高品質なITデータを選択する。 実証的な結果は、Selective Alpacaを使用したITが、実質的なモデル能力の向上につながることを示している。
  論文  参考訳（メタデータ） (2024-02-26T16:21:53Z)
• Learning to Reduce: Optimal Representations of Structured Data in Prompting Large Language Models [42.16047343029512]
  大規模言語モデル(LLM)は汎用AIエージェントとして広く利用されている。 本稿では,入力コンテキストの縮小バージョンを生成するために,言語モデルを微調整するフレームワークであるLearning to Reduceを提案する。 入力コンテキストから関連する証拠を選択する際に,本モデルが同等の精度を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-22T00:41:23Z)
• A Closer Look at the Limitations of Instruction Tuning [52.587607091917214]
  インストラクションチューニング(IT)は,大規模言語モデル(LLM)における知識やスキルの向上に失敗することを示す。 また、一般的なIT改善手法は、シンプルなLoRA微調整モデルよりも性能改善につながるものではないことも示している。 この結果から,事前学習した知識のみから生成した応答は,オープンソースデータセット上でITから新たな知識を学習するモデルによって,一貫した応答性能が向上することが判明した。
  論文  参考訳（メタデータ） (2024-02-03T04:45:25Z)
• OpsEval: A Comprehensive IT Operations Benchmark Suite for Large Language Models [26.590755599827993]
  大規模言語モデル(LLM)用に設計された総合的なタスク指向のOpsベンチマークであるOpsEvalを提示する。 このベンチマークには、英語と中国語で7184の質問と1736の質問回答(QA)形式が含まれている。 評価の信頼性を確保するため、何十人ものドメインエキスパートを招待して、質問を手動でレビューします。
  論文  参考訳（メタデータ） (2023-10-11T16:33:29Z)
• Instruction Tuning for Large Language Models: A Survey [52.86322823501338]
  我々は、ITの一般的な方法論、ITデータセットの構築、ITモデルのトレーニング、異なるモダリティ、ドメイン、アプリケーションへのアプリケーションを含む、文献を体系的にレビューする。 また、ITの潜在的な落とし穴とそれに対する批判、および既存の戦略の現在の欠陥を指摘し、実りある研究の道筋を提案する。
  論文  参考訳（メタデータ） (2023-08-21T15:35:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。