論文の概要: Safety Analysis in the Era of Large Language Models: A Case Study of
STPA using ChatGPT
- arxiv url: http://arxiv.org/abs/2304.01246v1
- Date: Mon, 3 Apr 2023 16:46:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-05 16:55:03.356148
- Title: Safety Analysis in the Era of Large Language Models: A Case Study of
STPA using ChatGPT
- Title（参考訳）: 大規模言語モデルにおける安全性分析:ChatGPTを用いたSTPAの事例
- Authors: Yi Qi, Xingyu Zhao, Xiaowei Huang
- Abstract要約: ChatGPTやBERTといった大規模言語モデル(LLM)は、多くの知識領域にわたる詳細な回答を備えた人間のような会話によって、新たなAI熱波を導いている。
安全クリティカルシステムに対する安全性分析はLLMを活用できるのか?
本稿では,ChatGPTを用いた自動緊急ブレーキ(AEB)システムにおけるシステム理論プロセス解析(AEBSTPA)の事例研究を行う。
- 参考スコア（独自算出の注目度）: 8.221829737899995
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs), such as ChatGPT and BERT, are leading a new AI
heatwave due to its human-like conversations with detailed and articulate
answers across many domains of knowledge. While LLMs are being quickly applied
to many AI application domains, we are interested in the following question:
Can safety analysis for safety-critical systems make use of LLMs? To answer, we
conduct a case study of Systems Theoretic Process Analysis (STPA) on Automatic
Emergency Brake (AEB) systems using ChatGPT. STPA, one of the most prevalent
techniques for hazard analysis, is known to have limitations such as high
complexity and subjectivity, which this paper aims to explore the use of
ChatGPT to address. Specifically, three ways of incorporating ChatGPT into STPA
are investigated by considering its interaction with human experts: one-off
simplex interaction, recurring simplex interaction, and recurring duplex
interaction. Comparative results reveal that: (i) using ChatGPT without human
experts' intervention can be inadequate due to reliability and accuracy issues
of LLMs; (ii) more interactions between ChatGPT and human experts may yield
better results; and (iii) using ChatGPT in STPA with extra care can outperform
human safety experts alone, as demonstrated by reusing an existing comparison
method with baselines. In addition to making the first attempt to apply LLMs in
safety analysis, this paper also identifies key challenges (e.g.,
trustworthiness concern of LLMs, the need of standardisation) for future
research in this direction.
- Abstract（参考訳）: ChatGPTやBERTといった大規模言語モデル(LLM)は、多くの知識領域にわたる詳細な回答を備えた人間のような会話によって、新たなAI熱波を導いている。
LLMは多くのAIアプリケーションドメインに迅速に適用されていますが、私たちは次のような質問に興味を持っています。
本稿では,ChatGPTを用いた自動緊急ブレーキ(AEB)システムにおけるシステム理論プロセス解析(STPA)の事例研究を行う。
リスク分析において最も普及している技術の一つであるSTPAは,高い複雑性や主観性といった限界があることが知られており,本論文はChatGPTを用いて対処することを目的としている。
具体的には、ChatGPTをSTPAに組み込む3つの方法について、ヒトの専門家との相互作用を考慮し検討した。
比較の結果は
一 人間の専門家の介入なしにChatGPTを使用することは、LCMの信頼性及び精度の問題により不十分である。
(ii)ChatGPTと人間の専門家との相互作用がより良くなり、そして
3)STPAにおけるChatGPTの使用は,既存の比較手法をベースラインに再利用することにより,ヒトの安全専門家を単独で上回りうる。
安全分析にLSMを適用しようとする試みに加えて,今後の研究に向けた重要な課題(LCMの信頼性に関する懸念,標準化の必要性など)も挙げる。
関連論文リスト
- Interactive Agents to Overcome Ambiguity in Software Engineering [61.40183840499932]
AIエージェントは、あいまいで不明確なユーザー指示に基づいて、タスクを自動化するためにますますデプロイされている。
不安定な仮定をし、明確な質問をしないことは、最適以下の結果につながる可能性がある。
対話型コード生成設定において,LLMエージェントが不明瞭な命令を処理する能力について,プロプライエタリモデルとオープンウェイトモデルを評価して検討する。
論文 参考訳（メタデータ） (2025-02-18T17:12:26Z) - Computational Safety for Generative AI: A Signal Processing Perspective [65.268245109828]
計算安全性は、GenAIにおける安全性の定量的評価、定式化、研究を可能にする数学的枠組みである。
ジェイルブレイクによる悪意のあるプロンプトを検出するために, 感度解析と損失景観解析がいかに有効かを示す。
我々は、AIの安全性における信号処理の鍵となる研究課題、機会、そして重要な役割について論じる。
論文 参考訳（メタデータ） (2025-02-18T02:26:50Z) - Beyond the Surface: An NLP-based Methodology to Automatically Estimate CVE Relevance for CAPEC Attack Patterns [42.63501759921809]
本稿では,自然言語処理(NLP)を利用して,共通脆弱性・暴露(CAPEC)脆弱性と共通攻撃パターン・分類(CAPEC)攻撃パターンを関連付ける手法を提案する。
実験による評価は,最先端モデルと比較して優れた性能を示した。
論文 参考訳（メタデータ） (2025-01-13T08:39:52Z) - Leveraging Conversational Generative AI for Anomaly Detection in Digital Substations [0.0]
提案したADフレームワークとHITLベースのADフレームワークの比較評価を行うために,高度なパフォーマンス指標を採用している。
このアプローチは、サイバーセキュリティの課題が進展する中で、電力系統運用の信頼性を高めるための有望なソリューションを提供する。
論文 参考訳（メタデータ） (2024-11-09T18:38:35Z) - A Novel Generative AI-Based Framework for Anomaly Detection in Multicast Messages in Smart Grid Communications [0.0]
デジタル変電所におけるサイバーセキュリティ侵害は、電力系統の運用の安定性と信頼性に重大な課題をもたらす。
本稿では,マルチキャストメッセージのデータセットにおける異常検出(AD)のためのタスク指向対話システムを提案する。
潜在的なエラーが低く、人間の推奨するサイバーセキュリティガイドラインを考えるプロセスよりもスケーラビリティと適応性が向上します。
論文 参考訳（メタデータ） (2024-06-08T13:28:50Z) - On STPA for Distributed Development of Safe Autonomous Driving: An Interview Study [0.7851536646859475]
System-Theoretic Process Analysis (STPA)は、防衛や航空宇宙といった安全関連分野に適用される新しい手法である。
STPAは、分散システム開発とマルチアトラクション設計レベルを備えた自動車システム工学において、完全には有効でない前提条件を前提としている。
これは継続的開発とデプロイメントにおける保守性の問題と見なすことができる。
論文 参考訳（メタデータ） (2024-03-14T15:56:02Z) - Stability Analysis of ChatGPT-based Sentiment Analysis in AI Quality
Assurance [7.002143951776267]
この研究は、ChatGPTが基盤とする拡張型AIモデルの動作と堅牢性の両方に関連する安定性の問題に焦点をあてている。
その結果,ChatGPTをベースとした感情分析システムの構築は,様々な操作要因に起因する不確実性を示すことがわかった。
論文 参考訳（メタデータ） (2024-01-15T03:00:39Z) - Exploring ChatGPT's Capabilities on Vulnerability Management [56.4403395100589]
我々は、70,346のサンプルを含む大規模なデータセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を探求する。
注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。
以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
論文 参考訳（メタデータ） (2023-11-11T11:01:13Z) - Consistency Analysis of ChatGPT [65.268245109828]
本稿では,ChatGPTとGPT-4の論理的一貫した行動に対する信頼性について検討する。
その結果,両モデルとも言語理解能力と推論能力が向上しているように見えるが,論理的に一貫した予測が得られないことが示唆された。
論文 参考訳（メタデータ） (2023-03-11T01:19:01Z) - Understanding the Usability Challenges of Machine Learning In
High-Stakes Decision Making [67.72855777115772]
機械学習(ML)は、多種多様な成長を続ける一連のドメインに適用されている。
多くの場合、MLやデータサイエンスの専門知識を持たないドメインの専門家は、ML予測を使用してハイステークな意思決定を行うように求められます。
児童福祉スクリーニングにおけるMLユーザビリティの課題について,児童福祉スクリーニング者との一連のコラボレーションを通じて検討する。
論文 参考訳（メタデータ） (2021-03-02T22:50:45Z) - Trojaning Language Models for Fun and Profit [53.45727748224679]
TROJAN-LMは、悪質に製作されたLMがホストNLPシステムを故障させる新しいタイプのトロイの木馬攻撃である。
セキュリティクリティカルなNLPタスクにおいて、3つの最先端のLMを実証的に研究することにより、TROJAN-LMが以下の特性を持つことを示す。
論文 参考訳（メタデータ） (2020-08-01T18:22:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。