論文の概要: Safety Analysis in the Era of Large Language Models: A Case Study of
STPA using ChatGPT
- arxiv url: http://arxiv.org/abs/2304.01246v1
- Date: Mon, 3 Apr 2023 16:46:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-05 16:55:03.356148
- Title: Safety Analysis in the Era of Large Language Models: A Case Study of
STPA using ChatGPT
- Title（参考訳）: 大規模言語モデルにおける安全性分析:ChatGPTを用いたSTPAの事例
- Authors: Yi Qi, Xingyu Zhao, Xiaowei Huang
- Abstract要約: ChatGPTやBERTといった大規模言語モデル(LLM)は、多くの知識領域にわたる詳細な回答を備えた人間のような会話によって、新たなAI熱波を導いている。
安全クリティカルシステムに対する安全性分析はLLMを活用できるのか?
本稿では,ChatGPTを用いた自動緊急ブレーキ(AEB)システムにおけるシステム理論プロセス解析(AEBSTPA)の事例研究を行う。
- 参考スコア（独自算出の注目度）: 8.221829737899995
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs), such as ChatGPT and BERT, are leading a new AI
heatwave due to its human-like conversations with detailed and articulate
answers across many domains of knowledge. While LLMs are being quickly applied
to many AI application domains, we are interested in the following question:
Can safety analysis for safety-critical systems make use of LLMs? To answer, we
conduct a case study of Systems Theoretic Process Analysis (STPA) on Automatic
Emergency Brake (AEB) systems using ChatGPT. STPA, one of the most prevalent
techniques for hazard analysis, is known to have limitations such as high
complexity and subjectivity, which this paper aims to explore the use of
ChatGPT to address. Specifically, three ways of incorporating ChatGPT into STPA
are investigated by considering its interaction with human experts: one-off
simplex interaction, recurring simplex interaction, and recurring duplex
interaction. Comparative results reveal that: (i) using ChatGPT without human
experts' intervention can be inadequate due to reliability and accuracy issues
of LLMs; (ii) more interactions between ChatGPT and human experts may yield
better results; and (iii) using ChatGPT in STPA with extra care can outperform
human safety experts alone, as demonstrated by reusing an existing comparison
method with baselines. In addition to making the first attempt to apply LLMs in
safety analysis, this paper also identifies key challenges (e.g.,
trustworthiness concern of LLMs, the need of standardisation) for future
research in this direction.
- Abstract（参考訳）: ChatGPTやBERTといった大規模言語モデル(LLM)は、多くの知識領域にわたる詳細な回答を備えた人間のような会話によって、新たなAI熱波を導いている。
LLMは多くのAIアプリケーションドメインに迅速に適用されていますが、私たちは次のような質問に興味を持っています。
本稿では,ChatGPTを用いた自動緊急ブレーキ(AEB)システムにおけるシステム理論プロセス解析(STPA)の事例研究を行う。
リスク分析において最も普及している技術の一つであるSTPAは,高い複雑性や主観性といった限界があることが知られており,本論文はChatGPTを用いて対処することを目的としている。
具体的には、ChatGPTをSTPAに組み込む3つの方法について、ヒトの専門家との相互作用を考慮し検討した。
比較の結果は
一 人間の専門家の介入なしにChatGPTを使用することは、LCMの信頼性及び精度の問題により不十分である。
(ii)ChatGPTと人間の専門家との相互作用がより良くなり、そして
3)STPAにおけるChatGPTの使用は,既存の比較手法をベースラインに再利用することにより,ヒトの安全専門家を単独で上回りうる。
安全分析にLSMを適用しようとする試みに加えて,今後の研究に向けた重要な課題(LCMの信頼性に関する懸念,標準化の必要性など)も挙げる。
関連論文リスト
- A Novel Generative AI-Based Framework for Anomaly Detection in Multicast Messages in Smart Grid Communications [0.0]
デジタル変電所におけるサイバーセキュリティ侵害は、電力系統の運用の安定性と信頼性に重大な課題をもたらす。
本稿では,マルチキャストメッセージのデータセットにおける異常検出(AD)のためのタスク指向対話システムを提案する。
潜在的なエラーが低く、人間の推奨するサイバーセキュリティガイドラインを考えるプロセスよりもスケーラビリティと適応性が向上します。
論文 参考訳（メタデータ） (2024-06-08T13:28:50Z) - The AI Companion in Education: Analyzing the Pedagogical Potential of ChatGPT in Computer Science and Engineering [1.120999712480549]
本研究は,CSE教育におけるChatGPTの教育的ポテンシャルを包括的に分析することを目的とする。
我々は体系的なアプローチを採用し、CSE分野における多様な教育実践問題を創出する。
我々の調査によると、概念知識クエリのような特定の質問タイプは、一般的にChatGPTに重大な課題を生じさせません。
論文 参考訳（メタデータ） (2024-04-23T21:42:30Z) - On STPA for Distributed Development of Safe Autonomous Driving: An Interview Study [0.7851536646859475]
System-Theoretic Process Analysis (STPA)は、防衛や航空宇宙といった安全関連分野に適用される新しい手法である。
STPAは、分散システム開発とマルチアトラクション設計レベルを備えた自動車システム工学において、完全には有効でない前提条件を前提としている。
これは継続的開発とデプロイメントにおける保守性の問題と見なすことができる。
論文 参考訳（メタデータ） (2024-03-14T15:56:02Z) - Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。
このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。
本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
論文 参考訳（メタデータ） (2024-02-07T21:58:40Z) - Stability Analysis of ChatGPT-based Sentiment Analysis in AI Quality
Assurance [7.002143951776267]
この研究は、ChatGPTが基盤とする拡張型AIモデルの動作と堅牢性の両方に関連する安定性の問題に焦点をあてている。
その結果,ChatGPTをベースとした感情分析システムの構築は,様々な操作要因に起因する不確実性を示すことがわかった。
論文 参考訳（メタデータ） (2024-01-15T03:00:39Z) - Exploring ChatGPT's Capabilities on Vulnerability Management [56.4403395100589]
我々は、70,346のサンプルを含む大規模なデータセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を探求する。
注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。
以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
論文 参考訳（メタデータ） (2023-11-11T11:01:13Z) - Trusta: Reasoning about Assurance Cases with Formal Methods and Large
Language Models [4.005483185111992]
Trustworthiness Derivation Tree Analyzer (Trusta)は、TDTを自動構築し検証するデスクトップアプリケーションである。
バックエンドにはPrologインタプリタが内蔵されており、制約解決器Z3とMONAによってサポートされている。
Trustaは自然言語のテキストから形式的な制約を抽出し、解釈と検証を容易にする。
論文 参考訳（メタデータ） (2023-09-22T15:42:43Z) - Large Language Models are Not Yet Human-Level Evaluators for Abstractive
Summarization [66.08074487429477]
抽象的な要約のための自動評価器として,大規模言語モデル(LLM)の安定性と信頼性について検討する。
また、ChatGPTとGPT-4は、一般的に使われている自動測定値よりも優れていますが、人間の代替品として準備ができていません。
論文 参考訳（メタデータ） (2023-05-22T14:58:13Z) - Consistency Analysis of ChatGPT [65.268245109828]
本稿では,ChatGPTとGPT-4の論理的一貫した行動に対する信頼性について検討する。
その結果,両モデルとも言語理解能力と推論能力が向上しているように見えるが,論理的に一貫した予測が得られないことが示唆された。
論文 参考訳（メタデータ） (2023-03-11T01:19:01Z) - Understanding the Usability Challenges of Machine Learning In
High-Stakes Decision Making [67.72855777115772]
機械学習(ML)は、多種多様な成長を続ける一連のドメインに適用されている。
多くの場合、MLやデータサイエンスの専門知識を持たないドメインの専門家は、ML予測を使用してハイステークな意思決定を行うように求められます。
児童福祉スクリーニングにおけるMLユーザビリティの課題について,児童福祉スクリーニング者との一連のコラボレーションを通じて検討する。
論文 参考訳（メタデータ） (2021-03-02T22:50:45Z) - Trojaning Language Models for Fun and Profit [53.45727748224679]
TROJAN-LMは、悪質に製作されたLMがホストNLPシステムを故障させる新しいタイプのトロイの木馬攻撃である。
セキュリティクリティカルなNLPタスクにおいて、3つの最先端のLMを実証的に研究することにより、TROJAN-LMが以下の特性を持つことを示す。
論文 参考訳（メタデータ） (2020-08-01T18:22:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。