Fugu-MT 論文翻訳(概要): Automatic Instantiation of Assurance Cases from Patterns Using Large Language Models

論文の概要: Automatic Instantiation of Assurance Cases from Patterns Using Large Language Models

arxiv url: http://arxiv.org/abs/2410.05488v1
Date: Mon, 7 Oct 2024 20:58:29 GMT
ステータス: 処理完了
システム内更新日: 2024-11-01 18:28:00.594595
Title: Automatic Instantiation of Assurance Cases from Patterns Using Large Language Models
Title（参考訳）: 大規模言語モデルを用いたパターンからの保証事例の自動検証
Authors: Oluwafemi Odu, Alvine B. Belle, Song Wang, Segla Kpodjedo, Timothy C. Lethbridge, Hadi Hemmati,
Abstract要約: 大きな言語モデル(LLM)は、特定のパターンに従う保証ケースを生成することができる。 LLMは保証ケースの自動生成の可能性を秘めているが、その能力は人間の専門家と比べても劣っている。
参考スコア（独自算出の注目度）: 6.314768437420443
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: An assurance case is a structured set of arguments supported by evidence, demonstrating that a system's non-functional requirements (e.g., safety, security, reliability) have been correctly implemented. Assurance case patterns serve as templates derived from previous successful assurance cases, aimed at facilitating the creation of new assurance cases. Despite the use of these patterns to generate assurance cases, their instantiation remains a largely manual and error-prone process that heavily relies on domain expertise. Thus, exploring techniques to support their automatic instantiation becomes crucial. This study aims to investigate the potential of Large Language Models (LLMs) in automating the generation of assurance cases that comply with specific patterns. Specifically, we formalize assurance case patterns using predicate-based rules and then utilize LLMs, i.e., GPT-4o and GPT-4 Turbo, to automatically instantiate assurance cases from these formalized patterns. Our findings suggest that LLMs can generate assurance cases that comply with the given patterns. However, this study also highlights that LLMs may struggle with understanding some nuances related to pattern-specific relationships. While LLMs exhibit potential in the automatic generation of assurance cases, their capabilities still fall short compared to human experts. Therefore, a semi-automatic approach to instantiating assurance cases may be more practical at this time.
Abstract（参考訳）: アシュアランス・ケースは、システムの非機能要件(例えば、安全性、セキュリティ、信頼性)が正しく実装されていることを示す証拠によって支持される、構造化された議論の集合である。アシュアランス・ケース・パターンは、以前の成功したアシュアランス・ケースから派生したテンプレートとして機能し、新しいアシュアランス・ケースの作成を容易にすることを目的としている。これらのパターンを使用して保証ケースを生成するが、そのインスタンス化は、ドメインの専門知識に大きく依存する、手動でエラーを起こしやすいプロセスのままである。したがって,自動インスタンス化を支援する技術を探究することが重要である。本研究では,大規模言語モデル (LLM) が,特定のパターンに適合する保証ケースの自動生成において,その可能性を検討することを目的とする。具体的には、述語に基づく規則を用いて保証ケースパターンを定式化し、次にLPM、すなわちGPT-4oとGPT-4 Turboを用いて、これらの形式化されたパターンから保証ケースを自動的にインスタンス化する。以上の結果から, LLMは所定のパターンに適合する保証ケースを生成できる可能性が示唆された。しかし、本研究では、LLMはパターン固有の関係に関するいくつかのニュアンスを理解するのに苦労する可能性があることも強調した。 LLMは保証ケースの自動生成の可能性を秘めているが、その能力は人間の専門家と比べても劣っている。したがって、この時点では、半自動で保証ケースをインスタンス化するアプローチの方が実用的かもしれない。

関連論文リスト

Automating Semantic Analysis of System Assurance Cases using Goal-directed ASP [1.2189422792863451]
本稿では, セマンティックルールに基づく分析機能を備えた Assurance 2.0 の拡張手法を提案する。本稿では, 論理的整合性, 妥当性, 不整合性など, 保証事例のユニークな意味的側面について考察する。
論文参考訳（メタデータ） (2024-08-21T15:22:43Z)
CoDefeater: Using LLMs To Find Defeaters in Assurance Cases [4.4398355848251745]
本稿では,大言語モデル (LLM) を利用して敗者を見つける自動化プロセスであるCoDefeaterを提案する。 2つのシステムの最初の結果は、LLMが安全アナリストを支援するために、既知の、予期せぬ破壊者を効率的に見つけることができることを示している。
論文参考訳（メタデータ） (2024-07-18T17:16:35Z)
A PRISMA-Driven Bibliometric Analysis of the Scientific Literature on Assurance Case Patterns [7.930875992631788]
保証ケースはシステム障害を防ぐために使用できる。それらは構造化された議論であり、様々な安全クリティカルなシステムの要求を議論し、中継することができる。
論文参考訳（メタデータ） (2024-07-06T05:00:49Z)
AutoDetect: Towards a Unified Framework for Automated Weakness Detection in Large Language Models [95.09157454599605]
大規模言語モデル(LLM)はますます強力になってきていますが、それでも顕著ですが微妙な弱点があります。従来のベンチマークアプローチでは、特定のモデルの欠陥を徹底的に特定することはできない。さまざまなタスクにまたがるLLMの弱点を自動的に露呈する統合フレームワークであるAutoDetectを導入する。
論文参考訳（メタデータ） (2024-06-24T15:16:45Z)
Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文参考訳（メタデータ） (2024-06-05T16:35:30Z)
Automated Control Logic Test Case Generation using Large Language Models [13.273872261029608]
大規模言語モデル(LLM)を問うPLCテストケースの自動生成のための新しい手法を提案する。 OSCAT自動化ライブラリから10のオープンソース関数ブロックを使用した実験では、このアプローチが高速で、使いやすく、かつ、ロー・トゥ・メジウムの複雑なプログラムに対して高いステートメントカバレッジを持つテストケースが得られることが示された。
論文参考訳（メタデータ） (2024-05-03T06:09:21Z)
ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
本稿では,LLMベースのフレームワークであるReEvalについて述べる。本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
論文参考訳（メタデータ） (2023-10-19T06:37:32Z)
AutoDAN: Generating Stealthy Jailbreak Prompts on Aligned Large Language Models [54.95912006700379]
本稿では,大規模言語モデルに対する新たなジェイルブレイク攻撃であるAutoDANを紹介する。 AutoDANは、慎重に設計された階層型遺伝的アルゴリズムによって、ステルスなジェイルブレイクプロンプトを自動的に生成できる。
論文参考訳（メタデータ） (2023-10-03T19:44:37Z)
Trusta: Reasoning about Assurance Cases with Formal Methods and Large Language Models [4.005483185111992]
Trustworthiness Derivation Tree Analyzer (Trusta)は、TDTを自動構築し検証するデスクトップアプリケーションである。バックエンドにはPrologインタプリタが内蔵されており、制約解決器Z3とMONAによってサポートされている。 Trustaは自然言語のテキストから形式的な制約を抽出し、解釈と検証を容易にする。
論文参考訳（メタデータ） (2023-09-22T15:42:43Z)
Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs [59.596335292426105]
本稿では,大規模な言語モデルにおけるセーフガードを評価するための,最初のオープンソースデータセットを収集する。我々は、自動安全性評価において、GPT-4に匹敵する結果を得るために、BERTライクな分類器をいくつか訓練する。
論文参考訳（メタデータ） (2023-08-25T14:02:12Z)
Large Language Models as General Pattern Machines [64.75501424160748]
我々は,事前訓練された大規模言語モデル (LLM) が,複雑なトークンシーケンスを自動回帰的に完了することを示す。驚いたことに、語彙からランダムにサンプリングされたトークンを用いてシーケンスが表現された場合でも、パターン完了の習熟度を部分的に保持することができる。本研究では,ロボット工学における問題に対して,これらのゼロショット機能がどのように適用されるかを検討する。
論文参考訳（メタデータ） (2023-07-10T17:32:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。