論文の概要: Welcome Your New AI Teammate: On Safety Analysis by Leashing Large Language Models
- arxiv url: http://arxiv.org/abs/2403.09565v1
- Date: Thu, 14 Mar 2024 16:56:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-15 19:38:09.172479
- Title: Welcome Your New AI Teammate: On Safety Analysis by Leashing Large Language Models
- Title(参考訳): 新しいAIチームメイトにようこそ - 大規模言語モデルによる安全性分析
- Authors: Ali Nouri, Beatriz Cabrero-Daniel, Fredrik Törner, Hȧkan Sivencrona, Christian Berger,
- Abstract要約: 「ハザード分析・リスクアセスメント」は、安全要件仕様の策定に欠かせないステップである。
本稿では,Large Language Models (LLMs) を用いた HARA の高度自動化を支援するフレームワークを提案する。
- 参考スコア(独自算出の注目度): 0.6699222582814232
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: DevOps is a necessity in many industries, including the development of Autonomous Vehicles. In those settings, there are iterative activities that reduce the speed of SafetyOps cycles. One of these activities is "Hazard Analysis & Risk Assessment" (HARA), which is an essential step to start the safety requirements specification. As a potential approach to increase the speed of this step in SafetyOps, we have delved into the capabilities of Large Language Models (LLMs). Our objective is to systematically assess their potential for application in the field of safety engineering. To that end, we propose a framework to support a higher degree of automation of HARA with LLMs. Despite our endeavors to automate as much of the process as possible, expert review remains crucial to ensure the validity and correctness of the analysis results, with necessary modifications made accordingly.
- Abstract(参考訳): DevOpsは、自律走行車の開発を含む多くの産業で必須である。
これらの設定では、SafetyOpsサイクルのスピードを低下させる反復的なアクティビティがあります。
これらの活動の1つが "Hazard Analysis & Risk Assessment" (HARA) であり、安全要件仕様を開始するための重要なステップである。
SafetyOpsのこのステップの速度を上げるための潜在的アプローチとして、私たちは、Large Language Models(LLMs)の能力を掘り下げました。
本研究の目的は,安全工学分野における応用の可能性について,体系的に評価することである。
そこで本研究では,LLM を用いた HARA の高度自動化を支援するフレームワークを提案する。
可能な限り多くのプロセスを自動化しようとする我々の努力にもかかわらず、専門家のレビューは分析結果の妥当性と正当性を保証するために不可欠であり、それに応じて必要な修正がなされている。
関連論文リスト
- Multimodal Situational Safety [73.63981779844916]
マルチモーダル・シチュエーション・セーフティ(Multimodal situational Safety)と呼ばれる新しい安全課題の評価と分析を行う。
MLLMが言語やアクションを通じても安全に応答するためには、言語クエリが対応する視覚的コンテキスト内での安全性への影響を評価する必要があることが多い。
我々は,現在のMLLMの状況安全性能を評価するためのマルチモーダル状況安全ベンチマーク(MSSBench)を開発した。
論文 参考訳(メタデータ) (2024-10-08T16:16:07Z) - Continuous risk assessment in secure DevOps [0.24475591916185502]
私たちは、組織内のリスク関連アクティビティとの関わりから、セキュアなDevOpsが利益を得られるかについて論じています。
我々は、リスクアセスメント(RA)、特に脅威モデリング(TM)を組み合わせることに集中し、ソフトウェアライフサイクルの早期にセキュリティ上の配慮を適用します。
論文 参考訳(メタデータ) (2024-09-05T10:42:27Z) - Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress? [59.96471873997733]
我々は、より有意義な安全指標を開発するための実証的な基盤を提案し、機械学習研究の文脈でAIの安全性を定義する。
我々は、AI安全研究のためのより厳格なフレームワークを提供し、安全性評価の科学を前進させ、測定可能な進歩への道筋を明らかにすることを目指している。
論文 参考訳(メタデータ) (2024-07-31T17:59:24Z) - AI for DevSecOps: A Landscape and Future Opportunities [6.513361705307775]
DevSecOpsは、最も急速に進化するソフトウェア開発パラダイムの1つだ。
ソフトウェアシステムのセキュリティに関する懸念が高まっているため、DevSecOpsパラダイムが注目されている。
DevOpsワークフローにセキュリティを統合することは、アジリティに影響を与え、デリバリ速度を妨げます。
論文 参考訳(メタデータ) (2024-04-07T07:24:58Z) - Engineering Safety Requirements for Autonomous Driving with Large Language Models [0.6699222582814232]
大きな言語モデル(LLM)は、更新毎に要求を自動的に精錬し、分解する上で重要な役割を果たす。
本研究では、アイテム定義を受信し、安全要件の形でソリューションを出力するプロンプトとLCMのパイプラインのプロトタイプを提案する。
論文 参考訳(メタデータ) (2024-03-24T20:40:51Z) - Safeguarded Progress in Reinforcement Learning: Safe Bayesian
Exploration for Control Policy Synthesis [63.532413807686524]
本稿では、強化学習(RL)におけるトレーニング中の安全維持の問題に対処する。
探索中の効率的な進捗と安全性のトレードオフを扱う新しいアーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-12-18T16:09:43Z) - Safety-Gymnasium: A Unified Safe Reinforcement Learning Benchmark [12.660770759420286]
本稿では,単一エージェントとマルチエージェントの両方のシナリオにおいて,安全クリティカルなタスクを含む環境スイートであるSafety-Gymnasiumを提案する。
Safe Policy Optimization (SafePO) という,最先端のSafeRLアルゴリズム16種からなるアルゴリズムのライブラリを提供する。
論文 参考訳(メタデータ) (2023-10-19T08:19:28Z) - Safety Assessment of Chinese Large Language Models [51.83369778259149]
大規模言語モデル(LLM)は、侮辱や差別的なコンテンツを生成し、誤った社会的価値を反映し、悪意のある目的のために使用されることがある。
安全で責任があり倫理的なAIの展開を促進するため、LLMによる100万の強化プロンプトとレスポンスを含むセーフティプロンプトをリリースする。
論文 参考訳(メタデータ) (2023-04-20T16:27:35Z) - Towards Safer Generative Language Models: A Survey on Safety Risks,
Evaluations, and Improvements [76.80453043969209]
本調査では,大規模モデルに関する安全研究の枠組みについて述べる。
まず、広範囲にわたる安全問題を導入し、その後、大型モデルの安全性評価手法を掘り下げる。
トレーニングからデプロイメントまで,大規模なモデルの安全性を高めるための戦略について検討する。
論文 参考訳(メタデータ) (2023-02-18T09:32:55Z) - Evaluating Model-free Reinforcement Learning toward Safety-critical
Tasks [70.76757529955577]
本稿では、国家安全RLの観点から、この領域における先行研究を再考する。
安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。
この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
論文 参考訳(メタデータ) (2022-12-12T06:30:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。