論文の概要: Safety Analysis in the Era of Large Language Models: A Case Study of STPA using ChatGPT

• arxiv url: http://arxiv.org/abs/2304.01246v2
• Date: Sun, 5 Nov 2023 21:58:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 23:05:09.178559
• Title: Safety Analysis in the Era of Large Language Models: A Case Study of STPA using ChatGPT
• Title（参考訳）: 大規模言語モデルにおける安全性分析:ChatGPTを用いたSTPAの事例
• Authors: Yi Qi, Xingyu Zhao, Siddartha Khastgir, Xiaowei Huang
• Abstract要約: 人間の介入なしにChatGPTを使用することは、信頼性に関する問題が原因で不十分になるかもしれないが、慎重に設計すれば、人間の専門家より優れる可能性がある。 意味的複雑さの変化や、一般的なプロンプトガイドラインの使用において、統計的に有意な違いは見つからない。
• 参考スコア（独自算出の注目度）: 11.27440170845105
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Can safety analysis make use of Large Language Models (LLMs)? A case study explores Systems Theoretic Process Analysis (STPA) applied to Automatic Emergency Brake (AEB) and Electricity Demand Side Management (DSM) systems using ChatGPT. We investigate how collaboration schemes, input semantic complexity, and prompt guidelines influence STPA results. Comparative results show that using ChatGPT without human intervention may be inadequate due to reliability related issues, but with careful design, it may outperform human experts. No statistically significant differences are found when varying the input semantic complexity or using common prompt guidelines, which suggests the necessity for developing domain-specific prompt engineering. We also highlight future challenges, including concerns about LLM trustworthiness and the necessity for standardisation and regulation in this domain.
• Abstract（参考訳）: 安全性分析は大規模言語モデル(llm)を活用できるか? 自動緊急ブレーキ(AEB)と電力需要側管理(DSM)システムに適用されたシステム理論プロセス分析(STPA)をChatGPTを用いて検討する。 協調スキーム,入力意味複雑性,ガイドラインがSTPAの結果に与える影響について検討する。 比較の結果,人間の介入を伴わないChatGPTの使用は信頼性に問題があるため不十分である可能性が示唆された。 入力意味複雑性の変化や共通プロンプトガイドラインの使用には統計的に有意な違いはなく、ドメイン固有のプロンプトエンジニアリングの開発の必要性が示唆されている。 LLMの信頼性に関する懸念や、この領域における標準化と規制の必要性など、今後の課題も強調する。

関連論文リスト

• A Novel Generative AI-Based Framework for Anomaly Detection in Multicast Messages in Smart Grid Communications [0.0]
  デジタル変電所におけるサイバーセキュリティ侵害は、電力系統の運用の安定性と信頼性に重大な課題をもたらす。 本稿では,マルチキャストメッセージのデータセットにおける異常検出(AD)のためのタスク指向対話システムを提案する。 潜在的なエラーが低く、人間の推奨するサイバーセキュリティガイドラインを考えるプロセスよりもスケーラビリティと適応性が向上します。
  論文  参考訳（メタデータ） (2024-06-08T13:28:50Z)
• The AI Companion in Education: Analyzing the Pedagogical Potential of ChatGPT in Computer Science and Engineering [1.120999712480549]
  本研究は,CSE教育におけるChatGPTの教育的ポテンシャルを包括的に分析することを目的とする。 我々は体系的なアプローチを採用し、CSE分野における多様な教育実践問題を創出する。 我々の調査によると、概念知識クエリのような特定の質問タイプは、一般的にChatGPTに重大な課題を生じさせません。
  論文  参考訳（メタデータ） (2024-04-23T21:42:30Z)
• On STPA for Distributed Development of Safe Autonomous Driving: An Interview Study [0.7851536646859475]
  System-Theoretic Process Analysis (STPA)は、防衛や航空宇宙といった安全関連分野に適用される新しい手法である。 STPAは、分散システム開発とマルチアトラクション設計レベルを備えた自動車システム工学において、完全には有効でない前提条件を前提としている。 これは継続的開発とデプロイメントにおける保守性の問題と見なすことができる。
  論文  参考訳（メタデータ） (2024-03-14T15:56:02Z)
• Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
  本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。 このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。 本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-07T21:58:40Z)
• Stability Analysis of ChatGPT-based Sentiment Analysis in AI Quality Assurance [7.002143951776267]
  この研究は、ChatGPTが基盤とする拡張型AIモデルの動作と堅牢性の両方に関連する安定性の問題に焦点をあてている。 その結果,ChatGPTをベースとした感情分析システムの構築は,様々な操作要因に起因する不確実性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-01-15T03:00:39Z)
• Exploring ChatGPT's Capabilities on Vulnerability Management [56.4403395100589]
  我々は、70,346のサンプルを含む大規模なデータセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を探求する。 注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。 以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
  論文  参考訳（メタデータ） (2023-11-11T11:01:13Z)
• Trusta: Reasoning about Assurance Cases with Formal Methods and Large Language Models [4.005483185111992]
  Trustworthiness Derivation Tree Analyzer (Trusta)は、TDTを自動構築し検証するデスクトップアプリケーションである。 バックエンドにはPrologインタプリタが内蔵されており、制約解決器Z3とMONAによってサポートされている。 Trustaは自然言語のテキストから形式的な制約を抽出し、解釈と検証を容易にする。
  論文  参考訳（メタデータ） (2023-09-22T15:42:43Z)
• Large Language Models are Not Yet Human-Level Evaluators for Abstractive Summarization [66.08074487429477]
  抽象的な要約のための自動評価器として,大規模言語モデル(LLM)の安定性と信頼性について検討する。 また、ChatGPTとGPT-4は、一般的に使われている自動測定値よりも優れていますが、人間の代替品として準備ができていません。
  論文  参考訳（メタデータ） (2023-05-22T14:58:13Z)
• Consistency Analysis of ChatGPT [65.268245109828]
  本稿では,ChatGPTとGPT-4の論理的一貫した行動に対する信頼性について検討する。 その結果,両モデルとも言語理解能力と推論能力が向上しているように見えるが,論理的に一貫した予測が得られないことが示唆された。
  論文  参考訳（メタデータ） (2023-03-11T01:19:01Z)
• Understanding the Usability Challenges of Machine Learning In High-Stakes Decision Making [67.72855777115772]
  機械学習(ML)は、多種多様な成長を続ける一連のドメインに適用されている。 多くの場合、MLやデータサイエンスの専門知識を持たないドメインの専門家は、ML予測を使用してハイステークな意思決定を行うように求められます。 児童福祉スクリーニングにおけるMLユーザビリティの課題について,児童福祉スクリーニング者との一連のコラボレーションを通じて検討する。
  論文  参考訳（メタデータ） (2021-03-02T22:50:45Z)
• Trojaning Language Models for Fun and Profit [53.45727748224679]
  TROJAN-LMは、悪質に製作されたLMがホストNLPシステムを故障させる新しいタイプのトロイの木馬攻撃である。 セキュリティクリティカルなNLPタスクにおいて、3つの最先端のLMを実証的に研究することにより、TROJAN-LMが以下の特性を持つことを示す。
  論文  参考訳（メタデータ） (2020-08-01T18:22:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。