論文の概要: Evaluating the Effectiveness of GPT-4 Turbo in Creating Defeaters for Assurance Cases

• arxiv url: http://arxiv.org/abs/2401.17991v1
• Date: Wed, 31 Jan 2024 16:51:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-01 13:54:40.216242
• Title: Evaluating the Effectiveness of GPT-4 Turbo in Creating Defeaters for Assurance Cases
• Title（参考訳）: 保証事例に対するgpt-4ターボの打破機作成効果の評価
• Authors: Kimya Khakzad Shahandashti, Mithila Sivakumar, Mohammad Mahdi Mohajer, Alvine B. Belle, Song Wang, Timothy C. Lethbridge
• Abstract要約: 我々は OpenAI が開発した高度な大規模言語モデル (LLM) である GPT-4 Turbo を用いて,Electinative Argumentation (EA) 表記を用いて形式化された AC 内の敗者を特定する。 最初の評価は、このフレームワーク内での議論の理解と生成におけるモデルの習熟度を評価する。 その結果, GPT-4 TurboはEA表記に優れ, 様々な種類の敗北者を生成することができることがわかった。
• 参考スコア（独自算出の注目度）: 6.231203956284574
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Assurance cases (ACs) are structured arguments that support the verification of the correct implementation of systems' non-functional requirements, such as safety and security, thereby preventing system failures which could lead to catastrophic outcomes, including loss of lives. ACs facilitate the certification of systems in accordance with industrial standards, for example, DO-178C and ISO 26262. Identifying defeaters arguments that refute these ACs is essential for improving the robustness and confidence in ACs. To automate this task, we introduce a novel method that leverages the capabilities of GPT-4 Turbo, an advanced Large Language Model (LLM) developed by OpenAI, to identify defeaters within ACs formalized using the Eliminative Argumentation (EA) notation. Our initial evaluation gauges the model's proficiency in understanding and generating arguments within this framework. The findings indicate that GPT-4 Turbo excels in EA notation and is capable of generating various types of defeaters.
• Abstract（参考訳）: 保証ケース(acs)は、安全や安全といったシステムの非機能要件の正しい実装の検証をサポートする構造化された議論であり、システム障害を防止し、命の喪失を含む壊滅的な結果につながる可能性がある。 acsはdo-178cやiso 26262といった産業規格に従ってシステムの認証を促進する。 これらのACに反論する敗者を特定することは、ACの堅牢性と信頼性を向上させるために不可欠である。 このタスクを自動化するために,OpenAI が開発した高度な大規模言語モデル (LLM) である GPT-4 Turbo を応用した新しい手法を導入し,Electinative Argumentation (EA) 表記を用いて形式化された AC 内の敗者を特定する。 最初の評価は、このフレームワーク内での議論の理解と生成におけるモデルの習熟度を評価する。 その結果, GPT-4 TurboはEA表記に優れ, 様々な種類の敗北者を生成することができることがわかった。

関連論文リスト

• Retrieval Augmented Generation Integrated Large Language Models in Smart Contract Vulnerability Detection [0.0]
  分散ファイナンス(DeFi)には、スマートコントラクトの脆弱性による大きな損失が伴っている。 攻撃が頻発するにつれて、監査サービスの必要性と需要が高まっている。 本研究では,大規模言語モデル(LLM)とRAG(Retrieval-Augmented Generation)を統合することにより,既存のフレームワークを構築する。
  論文  参考訳（メタデータ） (2024-07-20T10:46:42Z)
• Covert Malicious Finetuning: Challenges in Safeguarding LLM Adaptation [86.05704141217036]
  Black-boxファインタニングは、最先端の言語モデルをユーザのニーズに適応するための、新たなインターフェースである。 本研究では,検出を回避しながら,モデル安全性を損なう手法である隠れ悪意のある微調整を導入する。
  論文  参考訳（メタデータ） (2024-06-28T17:05:46Z)
• SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal Behaviors [64.9938658716425]
  安全でないユーザリクエストを認識して拒否する、大規模な言語モデル(LLM)の既存の評価は、3つの制限に直面している。 まず、既存の手法では、安全でないトピックの粗い粒度を使い、いくつかのきめ細かいトピックを過剰に表現している。 第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。 第3に、既存の評価は大きなLCMに頼っているため、コストがかかる可能性がある。
  論文  参考訳（メタデータ） (2024-06-20T17:56:07Z)
• PVF (Parameter Vulnerability Factor): A Scalable Metric for Understanding AI Vulnerability Against SDCs in Model Parameters [7.652441604508354]
  脆弱性因子(Vulnerability Factor, PVF)は、AIモデル脆弱性のパラメータ破損に対する定量化を目標とする指標である。 PVFは、フォールトプロテクションとパフォーマンス/効率のトレードオフのバランスをとる上で、AIハードウェアデザイナに重要な洞察を提供することができる。 推論中にPVFを3種類のタスク/モデルに適用するためのユースケースとして、DLRM、ビジョン分類(CNN)、テキスト分類(BERT)を挙げる。
  論文  参考訳（メタデータ） (2024-05-02T21:23:34Z)
• FaultGuard: A Generative Approach to Resilient Fault Prediction in Smart Electrical Grids [53.2306792009435]
  FaultGuardは、障害タイプとゾーン分類のための最初のフレームワークであり、敵攻撃に耐性がある。 本稿では,ロバスト性を高めるために,低複雑性故障予測モデルとオンライン逆行訓練手法を提案する。 本モデルでは,耐故障予測ベンチマークの最先端を最大0.958の精度で上回っている。
  論文  参考訳（メタデータ） (2024-03-26T08:51:23Z)
• GPT-4 and Safety Case Generation: An Exploratory Analysis [2.3361634876233817]
  本稿では,大言語モデル (LLM) と会話インタフェース (ChatGPT) を用いた安全事例の生成について検討する。 我々の第一の目的は、GPT-4の既存の知識基盤を掘り下げることであり、ゴール構造化表記法(GSN)の理解に焦点を当てることである。 我々は,GPT-4を用いた4つの実験を行い,システムとアプリケーション領域内の安全ケースを生成する能力を評価した。
  論文  参考訳（メタデータ） (2023-12-09T22:28:48Z)
• Ring-A-Bell! How Reliable are Concept Removal Methods for Diffusion Models? [52.238883592674696]
  Ring-A-Bellは、T2I拡散モデルのためのモデルに依存しないレッドチームツールである。 これは、不適切なコンテンツの生成に対応する拡散モデルに対する問題的プロンプトを特定する。 この結果から,安全プロンプトベンチマークの操作により,既存の安全メカニズムを回避できると考えられるプロンプトを変換できることが示唆された。
  論文  参考訳（メタデータ） (2023-10-16T02:11:20Z)
• A LLM Assisted Exploitation of AI-Guardian [57.572998144258705]
  IEEE S&P 2023で発表された敵に対する最近の防衛であるAI-Guardianの堅牢性を評価する。 我々は、このモデルを攻撃するためのコードを書かず、代わりに、GPT-4に命令とガイダンスに従って全ての攻撃アルゴリズムを実装するよう促します。 このプロセスは驚くほど効果的で効率的であり、言語モデルでは、この論文の著者が実行したよりも高速に曖昧な命令からコードを生成することもあった。
  論文  参考訳（メタデータ） (2023-07-20T17:33:25Z)
• Security and Interpretability in Automotive Systems [0.0]
  送信者認証機構がないため、CAN(Controller Area Network)はセキュリティ上の脅威に対して脆弱である。 この論文では、電子制御ユニット(ECU)の消費電力測定と分類モデルを用いてECUの送信状態を決定する送信者認証手法を実証する。
  論文  参考訳（メタデータ） (2022-12-23T01:33:09Z)
• Exploring Robustness of Unsupervised Domain Adaptation in Semantic Segmentation [74.05906222376608]
  クリーンな画像とそれらの逆の例との一致を、出力空間における対照的な損失によって最大化する、逆向きの自己スーパービジョンUDA(ASSUDA)を提案する。 i) セマンティックセグメンテーションにおけるUDA手法のロバスト性は未解明のままであり, (ii) 一般的に自己スーパービジョン(回転やジグソーなど) は分類や認識などのイメージタスクに有効であるが, セグメンテーションタスクの識別的表現を学習する重要な監視信号の提供には失敗している。
  論文  参考訳（メタデータ） (2021-05-23T01:50:44Z)
• Runtime Safety Assurance Using Reinforcement Learning [37.61747231296097]
  本稿では,安全でない状況を高精度に識別できるメタコントローラを設計することを目的とする。 我々は,RTSAの設計をマルコフ決定プロセス(MDP)と組み合わせ,強化学習(RL)を用いて解決する。
  論文  参考訳（メタデータ） (2020-10-20T20:54:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。