論文の概要: Diagnosing Robotics Systems Issues with Large Language Models
- arxiv url: http://arxiv.org/abs/2410.09084v1
- Date: Sun, 6 Oct 2024 11:58:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-30 16:48:15.044975
- Title: Diagnosing Robotics Systems Issues with Large Language Models
- Title（参考訳）: 大規模言語モデルを用いたロボットシステム問題診断
- Authors: Jordis Emilia Herrmann, Aswath Mandakath Gopinath, Mikael Norrlof, Mark Niklas Müller,
- Abstract要約: 大規模言語モデル(LLM)は大量のデータを分析するのに優れている。
ここでは、この研究を、ロボットシステムの難解で、ほとんど探索されていない領域に拡張する。
- 参考スコア（独自算出の注目度）: 5.30112395683561
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Quickly resolving issues reported in industrial applications is crucial to minimize economic impact. However, the required data analysis makes diagnosing the underlying root causes a challenging and time-consuming task, even for experts. In contrast, large language models (LLMs) excel at analyzing large amounts of data. Indeed, prior work in AI-Ops demonstrates their effectiveness in analyzing IT systems. Here, we extend this work to the challenging and largely unexplored domain of robotics systems. To this end, we create SYSDIAGBENCH, a proprietary system diagnostics benchmark for robotics, containing over 2500 reported issues. We leverage SYSDIAGBENCH to investigate the performance of LLMs for root cause analysis, considering a range of model sizes and adaptation techniques. Our results show that QLoRA finetuning can be sufficient to let a 7B-parameter model outperform GPT-4 in terms of diagnostic accuracy while being significantly more cost-effective. We validate our LLM-as-a-judge results with a human expert study and find that our best model achieves similar approval ratings as our reference labels.
- Abstract（参考訳）: 産業アプリケーションで報告された問題の迅速な解決は、経済的影響を最小限に抑えるために不可欠である。
しかし、必要なデータ分析によって、基礎となる根の診断は、専門家にとっても困難で時間を要するタスクを引き起こす。
対照的に、大きな言語モデル(LLM)は大量のデータを分析するのに優れている。
実際、AI-Opsにおける以前の作業は、ITシステムを分析する上での有効性を示している。
ここでは、この研究を、ロボットシステムの難解で、ほとんど探索されていない領域に拡張する。
この目的のために、2500以上の報告された問題を含む、ロボット工学のプロプライエタリなシステム診断ベンチマークであるSYSDIAGBENCHを作成しました。
我々はSYSDIAGBENCHを用いて,LLMの性能を根本原因分析に適用し,モデルサイズと適応手法の幅を考慮して検討する。
以上の結果から,QLoRAの微調整により,GPT-4の診断精度が向上し,費用対効果が著しく向上することが示唆された。
LLM-as-a-judgeの結果を人間の専門家による研究で検証し,基準ラベルと同様の承認評価が得られることを発見した。
関連論文リスト
- ToolBeHonest: A Multi-level Hallucination Diagnostic Benchmark for Tool-Augmented Large Language Models [43.895478182631116]
ツール拡張大型言語モデル(LLM)は、現実世界のアプリケーションに急速に統合されている。
この課題に対処するために、包括的な診断ベンチマークであるToolBHを導入する。
ツールセットの特徴に基づいた,必要なツールや潜在的なツール,限定的な機能ツールの3つのシナリオについて検討する。
結果は、ToolBHベンチマークで提示された重要な課題を示している。
論文 参考訳（メタデータ） (2024-06-28T16:03:30Z) - MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。
本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。
メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
論文 参考訳（メタデータ） (2024-06-20T03:50:23Z) - Explainable AI for Comparative Analysis of Intrusion Detection Models [20.683181384051395]
本研究は,ネットワークトラフィックから侵入検出を行うために,各種機械学習モデルを二分分類および多クラス分類のタスクに解析する。
すべてのモデルをUNSW-NB15データセットで90%の精度でトレーニングしました。
また、Random Forestは正確さ、時間効率、堅牢性という点で最高のパフォーマンスを提供します。
論文 参考訳（メタデータ） (2024-06-14T03:11:01Z) - Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。
トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。
評価のために,GPT-4に基づく実測値CheXpromptを提案する。
LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
論文 参考訳（メタデータ） (2024-03-12T18:12:02Z) - DACO: Towards Application-Driven and Comprehensive Data Analysis via Code Generation [83.30006900263744]
データ分析は、詳細な研究と決定的な洞察を生み出すための重要な分析プロセスである。
LLMのコード生成機能を活用した高品質な応答アノテーションの自動生成を提案する。
我々のDACO-RLアルゴリズムは、57.72%のケースにおいて、SFTモデルよりも有用な回答を生成するために、人間のアノテータによって評価される。
論文 参考訳（メタデータ） (2024-03-04T22:47:58Z) - Progressing from Anomaly Detection to Automated Log Labeling and
Pioneering Root Cause Analysis [53.24804865821692]
本研究では、ログ異常の分類を導入し、ラベル付けの課題を軽減するために、自動ラベリングについて検討する。
この研究は、根本原因分析が異常検出に続く未来を予見し、異常の根本原因を解明する。
論文 参考訳（メタデータ） (2023-12-22T15:04:20Z) - D-Bot: Database Diagnosis System using Large Language Models [30.20192093986365]
データベース管理者(DBA)は、データベースシステムの管理、保守、最適化において重要な役割を果たす。
近年の大規模言語モデル (LLM) は様々な分野で大きな可能性を示している。
診断文書から知識を自動取得するLLMベースのデータベース診断システムであるD-Botを提案する。
論文 参考訳（メタデータ） (2023-12-03T16:58:10Z) - Causal Disentanglement Hidden Markov Model for Fault Diagnosis [55.90917958154425]
本研究では, 軸受破壊機構の因果性を学ぶために, 因果解離隠れマルコフモデル (CDHM) を提案する。
具体的には、時系列データをフル活用し、振動信号を断層関連要因と断層関連要因に段階的に分解する。
アプリケーションの範囲を広げるために、学習された非絡み合った表現を他の作業環境に転送するために、教師なしのドメイン適応を採用する。
論文 参考訳（メタデータ） (2023-08-06T05:58:45Z) - Fault Diagnosis using eXplainable AI: a Transfer Learning-based Approach
for Rotating Machinery exploiting Augmented Synthetic Data [0.0]
FaultD-XAIは、移動学習に基づいて回転機械の故障を分類するための汎用的で解釈可能なアプローチである。
伝達学習を用いたスケーラビリティを実現するため、動作中の故障特性を模倣した合成振動信号を作成する。
提案手法は,有望な診断性能を得るだけでなく,専門家が条件を特定するために使用する特徴も学習することができた。
論文 参考訳（メタデータ） (2022-10-06T15:02:35Z) - How Can Subgroup Discovery Help AIOps? [0.0]
サブグループディスカバリがAIOpsにどのように役立つかを研究する。
このプロジェクトには、フランスのソフトウェアエディタであるInfologicalのデータマイニングの研究者と実践者の両方が含まれる。
論文 参考訳（メタデータ） (2021-09-10T14:41:02Z) - SUOD: Accelerating Large-Scale Unsupervised Heterogeneous Outlier
Detection [63.253850875265115]
外乱検出(OD)は、一般的なサンプルから異常物体を識別するための機械学習(ML)タスクである。
そこで我々は,SUODと呼ばれるモジュール型加速度システムを提案する。
論文 参考訳（メタデータ） (2020-03-11T00:22:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。