論文の概要: SAFARI: An Industrial Benchmark for LLM-Assisted Hazard Analysis and Risk Assessment

• arxiv url: http://arxiv.org/abs/2609.20584v1
• Date: Thu, 17 Sep 2026 15:37:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.356485
• Title: SAFARI: An Industrial Benchmark for LLM-Assisted Hazard Analysis and Risk Assessment
• Title（参考訳）: 佐々利: LLM支援ハザード分析とリスクアセスメントのための産業ベンチマーク
• Abstract要約: 大規模言語モデル(LLM)は、安全クリティカルエンジニアリングとしてますます検討されているが、規制された機能セーフティの信頼性は未調査のままである。 LLM支援自動車ハザード分析・リスクアセスメント(HARA)の最初の産業ベンチマークであるSAFARIをISO 26262で紹介する。 特定されていない産業原の3000件を対象とし, 危険度分析と基準的リスク評価という2つの複合課題を評価する。
• 参考スコア（独自算出の注目度）: 11.213092584505612
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly considered for safety-critical engineering, yet their reliability in regulated functional-safety workflows remains underexplored. We introduce SAFARI (Safety-Aware Functional Automotive Risk Inference), the first industrial benchmark for LLM-assisted automotive Hazard Analysis and Risk Assessment (HARA) under ISO 26262. It contains 3,000 de-identified industrial HARA cases and evaluates two coupled tasks: open-ended hazard analysis and standards-grounded risk assessment. To evaluate open-ended HARA artifacts, we propose the first reference-anchored LLM-as-a-judge protocol with high expert correlation. Experiments with nine frontier LLMs show that models often produce plausible hazard narratives but remain weak at ISO 26262 risk classification, with the best ASIL macro-F1 reaching only 0.261. Chain-of-Thought prompting provides limited benefit and often degrades categorical risk assessment. Error analysis further localizes major failures to scenario-critical context omissions during hazard generation and to controllability misjudgments during risk assessment, indicating where expert oversight should be concentrated. The dataset can be obtained from https://github.com/xixi47520-hash/HARA.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、安全クリティカルなエンジニアリングとしてますます検討されているが、規制された機能安全ワークフローの信頼性はいまだ未定である。 ISO 26262 の下で LLM 支援自動車ハザード分析・リスクアセスメント (HARA) のための最初の産業ベンチマークである SAFARI (Safety-Aware Functional Automotive Risk Inference) を紹介する。 特定されていない産業原の3000件を対象とし, 危険度分析と基準的リスク評価という2つの複合課題を評価する。 オープンエンドな原型アーティファクトを評価するために,専門家の相関性が高い最初の参照型LLM-as-a-judgeプロトコルを提案する。 9つのフロンティアLSMによる実験では、モデルはしばしば可算的な危険物語を生成するが、ISO 26262のリスク分類では弱いままであり、最高のASILマクロF1は0.261にしか達していない。 Chain-of-Thoughtプロンプトは限られた利益をもたらし、しばしばカテゴリー的リスクアセスメントを低下させる。 エラー分析は、リスク発生時のシナリオクリティカルな文脈欠失や、リスクアセスメント中の制御可能性の誤判断への大きな障害をさらに局所化し、専門家の監視をどこに集中すべきかを示す。 データセットはhttps://github.com/xixi47520-hash/haraから取得できる。

関連論文リスト

• ATBench: A Diverse and Realistic Agent Trajectory Benchmark for Safety Evaluation and Diagnosis [96.92417622318267]
  ATBenchは、エージェント安全性の構造化、多様性、現実的な評価のための軌道レベルのベンチマークである。 リスクソース、障害モード、現実世界の危害の3つの側面に沿ってエージェント的リスクを編成する。 1000個の軌道(安全503個、安全497個)があり、平均9.01ターンと3.95kトークンがあり、2,084個のツールにまたがるプールから1,954個のツールが呼び出されている。
  論文  参考訳（メタデータ） (2026-04-02T13:26:20Z)
• SafeRBench: A Comprehensive Benchmark for Safety Assessment in Large Reasoning Models [60.8821834954637]
  LRMの安全性をエンドツーエンドに評価する最初のベンチマークであるSafeRBenchを紹介する。 私たちは、リスクカテゴリとレベルを入力設計に組み込んだ先駆者です。 我々は,長い推論トレースを意味的に一貫性のある単位にセグメント化するためのマイクロシンクのチャンキング機構を導入する。
  論文  参考訳（メタデータ） (2025-11-19T06:46:33Z)
• DeepKnown-Guard: A Proprietary Model-Based Safety Response Framework for AI Agents [12.054307827384415]
  大きな言語モデル(LLM)はますます顕著になり、重要なドメインへの信頼性の高いデプロイメントを厳しく制限しています。 本稿では,LLMを入力レベルと出力レベルの両方で保護する新しい安全応答フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-05T03:04:35Z)
• Beyond Safe Answers: A Benchmark for Evaluating True Risk Awareness in Large Reasoning Models [29.569220030102986]
  textbfBeyond Safe Answers (BSA) ベンチは,3つの異なるSSAシナリオタイプに構成された2,000のチャレンジインスタンスからなる,新しいベンチマークである。 19の最先端のLEMの評価では、このベンチマークの難しさが示され、最高性能のモデルはリスクの合理性を正確に識別する上で、わずか38.0%の精度しか達成していない。 我々の研究は、LEMの安全性推論の忠実さを評価し改善するための総合的な評価ツールを提供し、真にリスクを意識し、確実に安全なAIシステムの開発を進める。
  論文  参考訳（メタデータ） (2025-05-26T08:49:19Z)
• SafeBench: A Safety Evaluation Framework for Multimodal Large Language Models [75.67623347512368]
  MLLMの安全性評価を行うための総合的なフレームワークであるツールンを提案する。 我々のフレームワークは、包括的な有害なクエリデータセットと自動評価プロトコルで構成されています。 本研究では,広く利用されている15のオープンソースMLLMと6つの商用MLLMの大規模実験を行った。
  論文  参考訳（メタデータ） (2024-10-24T17:14:40Z)
• LabSafety Bench: Benchmarking LLMs on Safety Issues in Scientific Labs [78.99703366417661]
  大規模言語モデル(LLM)は、手続き的なガイダンスから自律的な実験オーケストレーションまで、タスクをますます支援している。 このような過度な信頼性は、リスク識別やリスクアセスメントの失敗が重大事故を引き起こす高リスクな実験室環境では特に危険である。 実験室安全ベンチマーク (LabSafety Bench) を提案し, 潜在的な危険を識別し, リスクを評価し, 実験室環境における安全でない行動の結果を予測する。
  論文  参考訳（メタデータ） (2024-10-18T05:21:05Z)
• Risk and Response in Large Language Models: Evaluating Key Threat Categories [6.436286493151731]
  本稿では,Large Language Models (LLMs) におけるリスクアセスメントのプレッシャーについて考察する。 人為的レッドチームデータセットを利用することで、情報ハザード、悪用、差別/憎しみのあるコンテンツなど、主要なリスクカテゴリを分析します。 以上の結果から,LSMは情報ハザードを有害とみなす傾向があることが示唆された。
  論文  参考訳（メタデータ） (2024-03-22T06:46:40Z)
• R-Judge: Benchmarking Safety Risk Awareness for LLM Agents [28.0550468465181]
  大規模言語モデル(LLM)は、現実世界のアプリケーション間で自律的にタスクを完了させる大きな可能性を示している。 本研究は, LLMエージェントの行動安全性を, 多様な環境下でベンチマークする上で必要となる課題に対処する。 R-Judgeは,エージェント間相互作用の記録から安全性のリスクを判定・同定する上で,LLMの熟練度を評価するためのベンチマークである。
  論文  参考訳（メタデータ） (2024-01-18T14:40:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。