論文の概要: Convolutional vs Large Language Models for Software Log Classification in Edge-Deployable Cellular Network Testing

• arxiv url: http://arxiv.org/abs/2407.03759v1
• Date: Thu, 4 Jul 2024 09:12:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 18:42:12.549006
• Title: Convolutional vs Large Language Models for Software Log Classification in Edge-Deployable Cellular Network Testing
• Title（参考訳）: エッジデプロイ可能なセルラーネットワークテストにおけるソフトウェアログ分類のための畳み込み対大言語モデル
• Authors: Achintha Ihalage, Sayed M. Taheri, Faris Muhammad, Hamed Al-Raweshidy,
• Abstract要約: 最大20万文字のコンテキストウインドウを提供する小型畳み込みニューラルネットワーク(CNN)アーキテクチャを提案する。 私たちのモデルは、テスト実行中の欠陥を特定し、それらを関連する部門(以前は手動のエンジニアリングプロセス)にトリガする能力を持っています。 我々のモデルは専用のハードウェアを使わずにエッジデバイスにデプロイでき、様々な業界のソフトウェアログに広く適用できます。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Software logs generated by sophisticated network emulators in the telecommunications industry, such as VIAVI TM500, are extremely complex, often comprising tens of thousands of text lines with minimal resemblance to natural language. Only specialised expert engineers can decipher such logs and troubleshoot defects in test runs. While AI offers a promising solution for automating defect triage, potentially leading to massive revenue savings for companies, state-of-the-art large language models (LLMs) suffer from significant drawbacks in this specialised domain. These include a constrained context window, limited applicability to text beyond natural language, and high inference costs. To address these limitations, we propose a compact convolutional neural network (CNN) architecture that offers a context window spanning up to 200,000 characters and achieves over 96% accuracy (F1>0.9) in classifying multifaceted software logs into various layers in the telecommunications protocol stack. Specifically, the proposed model is capable of identifying defects in test runs and triaging them to the relevant department, formerly a manual engineering process that required expert knowledge. We evaluate several LLMs; LLaMA2-7B, Mixtral 8x7B, Flan-T5, BERT and BigBird, and experimentally demonstrate their shortcomings in our specialized application. Despite being lightweight, our CNN significantly outperforms LLM-based approaches in telecommunications log classification while minimizing the cost of production. Our defect triaging AI model is deployable on edge devices without dedicated hardware and widely applicable across software logs in various industries.
• Abstract（参考訳）: VIAVI TM500のような通信業界の高度なネットワークエミュレータが生成するソフトウェアログは非常に複雑で、自然言語にはほとんど似ていない数万行のテキストからなることが多い。 専門のエキスパートエンジニアだけがこのようなログを解読し、テスト実行時の欠陥をトラブルシュートすることができる。 AIは欠陥トリアージを自動化するための有望なソリューションを提供するが、企業にとって大きな収益削減につながる可能性がある。 これには制約付きコンテキストウィンドウ、自然言語以外のテキストの適用性に制限があること、推論コストが高いことなどが含まれる。 これらの制約に対処するために,20万文字までのコンテキストウインドウを提供する小型畳み込みニューラルネットワーク (CNN) アーキテクチャを提案し,通信プロトコルスタックの様々な層にマルチインターフェースソフトウェアログを分類する際に,96%以上の精度 (F1>0.9) を達成する。 具体的には、提案されたモデルは、テスト実行中の欠陥を特定し、それらを関連する部門(以前は専門家の知識を必要とする手動のエンジニアリングプロセス)にトリアージする。 LLaMA2-7B, Mixtral 8x7B, Flan-T5, BERT, BigBird のいくつかのLCMを評価し, 特殊用途における問題点を実験的に実証した。 軽量ながら、当社のCNNは、生産コストを最小化しつつ、通信ログ分類におけるLCMベースのアプローチを著しく上回っている。 私たちの欠陥トリアージAIモデルは、専用のハードウェアを使わずにエッジデバイスにデプロイ可能で、さまざまな業界のソフトウェアログに広く適用できます。

関連論文リスト

• A Lean Transformer Model for Dynamic Malware Analysis and Detection [0.0]
  マルウェアは現代のコンピューティングの世界にとって急速に成長する脅威であり、既存の防衛線はこの問題に対処するのに十分な効率性を持っていない。 これまでの研究では、実行レポートから抽出したニューラルネットワークとAPI呼び出しシーケンスを活用することに成功した。 本稿では,悪意のあるファイルを検出するために,Transformersアーキテクチャに基づくエミュレーションオンリーモデルを設計する。
  論文  参考訳（メタデータ） (2024-08-05T08:46:46Z)
• Distributed Inference and Fine-tuning of Large Language Models Over The Internet [91.00270820533272]
  大規模言語モデル(LLM)は、多くのNLPタスクで有用であり、サイズが向上する。 これらのモデルはハイエンドのハードウェアを必要とするため、ほとんどの研究者にはアクセスできない。 本研究では,システムスループットの最大化のためにデバイスを自動的に割り当てるフォールトトレラント推論アルゴリズムとロードバランシングプロトコルを開発する。
  論文  参考訳（メタデータ） (2023-12-13T18:52:49Z)
• Simultaneous Machine Translation with Large Language Models [51.470478122113356]
  我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。 その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-09-13T04:06:47Z)
• Model Blending for Text Classification [0.15229257192293197]
  テキスト分類などの自然言語処理におけるアートLSTMモデルの複雑性をCNNベースモデルに抽出することにより,テスト中の推論時間(あるいはレイテンシ)を短縮する。
  論文  参考訳（メタデータ） (2022-08-05T05:07:45Z)
• OutlierNets: Highly Compact Deep Autoencoder Network Architectures for On-Device Acoustic Anomaly Detection [77.23388080452987]
  人間のオペレーターはしばしば異常な音で産業機械を診断する。 ディープラーニングによる異常検出手法は、工場でのデプロイメントを禁止する膨大な計算リソースを必要とすることが多い。 ここでは、マシン駆動設計探索戦略を探求し、非常にコンパクトなディープコンボリューションオートエンコーダネットワークアーキテクチャのファミリーであるOutlierNetsを作成します。
  論文  参考訳（メタデータ） (2021-03-31T04:09:30Z)
• TinyML for Ubiquitous Edge AI [0.0]
  TinyMLは、極低電力域(mW範囲以下)で動作する組み込み(マイクロコントローラ駆動)デバイス上でのディープラーニングアルゴリズムの実現に重点を置いている。 TinyMLは、電力効率が高く、コンパクトなディープニューラルネットワークモデル、ソフトウェアフレームワークのサポート、組み込みハードウェアの設計における課題に対処する。 本報告では,この分野の拡大を導く主要な課題と技術的実現要因について論じる。
  論文  参考訳（メタデータ） (2021-02-02T02:04:54Z)
• ALF: Autoencoder-based Low-rank Filter-sharing for Efficient Convolutional Neural Networks [63.91384986073851]
  オートエンコーダを用いた低ランクフィルタ共有技術(ALF)を提案する。 ALFは、ネットワークパラメータの70%、オペレーションの61%、実行時間の41%を削減し、精度の低下を最小限にしている。
  論文  参考訳（メタデータ） (2020-07-27T09:01:22Z)
• Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
  まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。 このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-02-22T14:38:11Z)
• Synthetic Datasets for Neural Program Synthesis [66.20924952964117]
  本稿では,プログラムと仕様の両方で合成データ分布のバイアスを制御し,評価するための新しい手法を提案する。 そこで我々は,Karel DSLと小さなCalculator DSLを用いて,これらの分布上でのディープネットワークのトレーニングにより,分散一般化性能が向上することが実証された。
  論文  参考訳（メタデータ） (2019-12-27T21:28:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。