論文の概要: GPT-4 and Safety Case Generation: An Exploratory Analysis

• arxiv url: http://arxiv.org/abs/2312.05696v1
• Date: Sat, 9 Dec 2023 22:28:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-12 19:10:40.848950
• Title: GPT-4 and Safety Case Generation: An Exploratory Analysis
• Title（参考訳）: gpt-4と安全事例生成:探索分析
• Authors: Mithila Sivakumar and Alvine Boaye Belle and Jinjun Shan and Kimya Khakzad Shahandashti
• Abstract要約: 本稿では,大言語モデル (LLM) と会話インタフェース (ChatGPT) を用いた安全事例の生成について検討する。 我々の第一の目的は、GPT-4の既存の知識基盤を掘り下げることであり、ゴール構造化表記法(GSN)の理解に焦点を当てることである。 我々は,GPT-4を用いた4つの実験を行い,システムとアプリケーション領域内の安全ケースを生成する能力を評価した。
• 参考スコア（独自算出の注目度）: 2.3361634876233817
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In the ever-evolving landscape of software engineering, the emergence of large language models (LLMs) and conversational interfaces, exemplified by ChatGPT, is nothing short of revolutionary. While their potential is undeniable across various domains, this paper sets out on a captivating expedition to investigate their uncharted territory, the exploration of generating safety cases. In this paper, our primary objective is to delve into the existing knowledge base of GPT-4, focusing specifically on its understanding of the Goal Structuring Notation (GSN), a well-established notation allowing to visually represent safety cases. Subsequently, we perform four distinct experiments with GPT-4. These experiments are designed to assess its capacity for generating safety cases within a defined system and application domain. To measure the performance of GPT-4 in this context, we compare the results it generates with ground-truth safety cases created for an X-ray system system and a Machine-Learning (ML)-enabled component for tire noise recognition (TNR) in a vehicle. This allowed us to gain valuable insights into the model's generative capabilities. Our findings indicate that GPT-4 demonstrates the capacity to produce safety arguments that are moderately accurate and reasonable. Furthermore, it exhibits the capability to generate safety cases that closely align with the semantic content of the reference safety cases used as ground-truths in our experiments.
• Abstract（参考訳）: ソフトウェアエンジニアリングの世界では、ChatGPTによって実証された大きな言語モデル(LLM)と会話インターフェースの出現は、革命的なものではない。 諸藩にまたがる潜在能力は否定できないが,本論文では,無漁地の調査,安全事例の発見などを目的として,捕縛遠征を行う。 本稿では, GPT-4 の既存の知識基盤を探索し, 安全事例を視覚的に表現できる優れた表記法である Goal Structuring Notation (GSN) の理解に焦点を当てた。 そして, GPT-4 を用いて 4 つの実験を行った。 これらの実験は、定義されたシステムとアプリケーションドメイン内の安全ケースを生成する能力を評価するために設計されている。 この文脈でGPT-4の性能を測定するため,車載用タイヤノイズ認識(TNR)のためのML(Machine-Learning)対応コンポーネントと,X線システムで作成した地中安全事例とを比較した。 これにより、モデルの生成能力に関する貴重な洞察を得ることができました。 以上の結果から,GPT-4は適度に正確かつ合理的な安全引数を生成する能力を示した。 さらに,本実験では,基準安全事例のセマンティックな内容と密に一致した安全事例を生成する能力を示した。

関連論文リスト

• Unveiling the Safety of GPT-4o: An Empirical Study using Jailbreak Attacks [65.84623493488633]
  本稿では,GPT-4oのジェイルブレイク攻撃に対する厳密な評価を行う。 新たに導入されたオーディオモダリティは、GPT-4oに対するジェイルブレイク攻撃のための新しい攻撃ベクトルを開く。 既存のブラックボックスマルチモーダル・ジェイルブレイク攻撃は、GPT-4oとGPT-4Vに対してほとんど効果がない。
  論文  参考訳（メタデータ） (2024-06-10T14:18:56Z)
• Evaluating the Effectiveness of GPT-4 Turbo in Creating Defeaters for Assurance Cases [6.231203956284574]
  我々は OpenAI が開発した高度な大規模言語モデル (LLM) である GPT-4 Turbo を用いて,Electinative Argumentation (EA) 表記を用いて形式化された AC 内の敗者を特定する。 最初の評価は、このフレームワーク内での議論の理解と生成におけるモデルの習熟度を評価する。 その結果, GPT-4 TurboはEA表記に優れ, 様々な種類の敗北者を生成することができることがわかった。
  論文  参考訳（メタデータ） (2024-01-31T16:51:23Z)
• Exploiting GPT-4 Vision for Zero-shot Point Cloud Understanding [114.4754255143887]
  私たちは、ポイントクラウドでオブジェクトカテゴリを分類する課題に取り組みます。 我々はこれらの課題を克服するためにGPT-4 Vision (GPT-4V) を用いる。 ゼロショットポイントクラウド分類の新しいベンチマークを設定しました。
  論文  参考訳（メタデータ） (2024-01-15T10:16:44Z)
• Exploring Boundary of GPT-4V on Marine Analysis: A Preliminary Case Study [31.243696199790413]
  大規模言語モデル(LLM)は、汎用アシスタントとして様々なクエリに応答する強力な能力を示している。 連続的マルチモーダル大言語モデル(MLLM)は、視覚信号を知覚する能力を持つLLMに権限を与える。 GPT-4(Generative Pre-trained Transformers)のローンチは、研究コミュニティに大きな関心を集めている。
  論文  参考訳（メタデータ） (2024-01-04T08:53:08Z)
• GPT4Vis: What Can GPT-4 Do for Zero-shot Visual Recognition? [82.40761196684524]
  本稿では,ゼロショット視覚認識タスクにおけるGPT-4の言語的・視覚的能力の評価に焦点を当てる。 我々は、画像、ビデオ、点群にわたるGPT-4の性能を評価するための広範な実験を行った。 言語記述が充実したGPT-4はゼロショット認識を著しく改善した。
  論文  参考訳（メタデータ） (2023-11-27T11:29:10Z)
• Exploring Recommendation Capabilities of GPT-4V(ision): A Preliminary Case Study [26.17177931611486]
  本報告では,OpenAI が最近リリースした LMM である GPT-4V(ison) のレコメンデーション能力について予備的検討を行う。 提案手法では,複数の領域にまたがる定性的なテストサンプルを用いて,推薦シナリオにおけるGPT-4Vの応答の質を評価する。 また,GPT-4Vを推奨用として使用する場合,同様の入力が与えられた場合に同様の反応を示す傾向など,いくつかの制限が指摘されている。
  論文  参考訳（メタデータ） (2023-11-07T18:39:10Z)
• The Dawn of LMMs: Preliminary Explorations with GPT-4V(ision) [121.42924593374127]
  我々は,最新のモデルであるGPT-4Vを分析し,LMMの理解を深める。 GPT-4Vは、任意にインターリーブされたマルチモーダル入力を処理するという前例のない能力により、強力なマルチモーダルジェネラリストシステムとなっている。 GPT-4Vの、入力画像に描かれた視覚マーカーを理解するユニークな能力は、新しい人間とコンピュータの相互作用方法をもたらす。
  論文  参考訳（メタデータ） (2023-09-29T17:34:51Z)
• DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT Models [92.6951708781736]
  本稿では,GPT-4とGPT-3.5に着目した大規模言語モデルの総合的信頼性評価を提案する。 GPTモデルは、有害で偏りのある出力を生成し、個人情報を漏らすために、容易に誤解され得る。 我々の研究は、GPTモデルの総合的な信頼性評価を示し、信頼性のギャップに光を当てている。
  論文  参考訳（メタデータ） (2023-06-20T17:24:23Z)
• GPT-4 Technical Report [116.90398195245983]
  GPT-4は大規模なマルチモーダルモデルであり、画像やテキストの入力を受け取り、テキスト出力を生成することができる。 試験受験者の上位10%のスコアで模擬試験に合格するなど、さまざまな専門的、学術的なベンチマークで人間レベルのパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-03-15T17:15:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。