論文の概要: Beyond Words: On Large Language Models Actionability in Mission-Critical Risk Analysis

• arxiv url: http://arxiv.org/abs/2406.10273v3
• Date: Wed, 17 Jul 2024 07:02:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-18 11:56:44.662991
• Title: Beyond Words: On Large Language Models Actionability in Mission-Critical Risk Analysis
• Title（参考訳）: 言葉を超えて: ミッションクリティカルリスク分析における大規模言語モデルでの行動可能性
• Authors: Matteo Esposito, Francesco Palagiano, Valentina Lenarduzzi, Davide Taibi,
• Abstract要約: リスク分析の原則はコンテキストレスです。 リスク分析には、国内外の規制や基準に関する膨大な知識が必要である。 大規模な言語モデルは、人間よりも少ない時間で情報を素早く要約することができ、特定のタスクに微調整することができる。
• 参考スコア（独自算出の注目度）: 7.098487130130114
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Context. Risk analysis assesses potential risks in specific scenarios. Risk analysis principles are context-less; the same methodology can be applied to a risk connected to health and information technology security. Risk analysis requires a vast knowledge of national and international regulations and standards and is time and effort-intensive. A large language model can quickly summarize information in less time than a human and can be fine-tuned to specific tasks. Aim. Our empirical study aims to investigate the effectiveness of Retrieval-Augmented Generation and fine-tuned LLM in Risk analysis. To our knowledge, no prior study has explored its capabilities in risk analysis. Method. We manually curated \totalscenarios unique scenarios leading to \totalsamples representative samples from over 50 mission-critical analyses archived by the industrial context team in the last five years. We compared the base GPT-3.5 and GPT-4 models versus their Retrieval-Augmented Generation and fine-tuned counterparts. We employ two human experts as competitors of the models and three other three human experts to review the models and the former human expert's analysis. The reviewers analyzed 5,000 scenario analyses. Results and Conclusions. HEs demonstrated higher accuracy, but LLMs are quicker and more actionable. Moreover, our findings show that RAG-assisted LLMs have the lowest hallucination rates, effectively uncovering hidden risks and complementing human expertise. Thus, the choice of model depends on specific needs, with FTMs for accuracy, RAG for hidden risks discovery, and base models for comprehensiveness and actionability. Therefore, experts can leverage LLMs for an effective complementing companion in risk analysis within a condensed timeframe. They can also save costs by averting unnecessary expenses associated with implementing unwarranted countermeasures.
• Abstract（参考訳）: コンテキスト。 リスク分析は特定のシナリオにおける潜在的なリスクを評価する。 リスク分析の原則は、コンテキストレスであり、同じ方法論を、健康や情報技術のセキュリティに関連するリスクに適用することができる。 リスク分析には、国内外の規制や基準に関する膨大な知識が必要であり、時間と努力が集中している。 大きな言語モデルは、人間よりも少ない時間で情報を素早く要約することができ、特定のタスクに微調整することができる。 エイム。 本研究は,リスク分析における検索・拡張型LLMと微調整型LLMの有効性を検討することを目的とした実証研究である。 我々の知る限り、リスク分析の能力について事前の研究は行われていない。 方法。 我々は過去5年間に産業状況チームによってアーカイブされた50以上のミッションクリティカルな分析結果から,‘totalscenarios’というユニークなシナリオを手作業でキュレートした。 基本モデルであるGPT-3.5とGPT-4とRetrieval-Augmented Generationおよび微調整モデルを比較した。 我々は、モデルの競合相手として2人の人間専門家と、3人の人間専門家を雇い、モデルと以前の人間専門家の分析をレビューします。 審査員は5000のシナリオ分析を行った。 結果と結論。 HEsは高い精度を示したが、LSMsはより速く、より実用的な。 さらに,RAG支援LSMが最も低い幻覚率を示し,隠れたリスクを効果的に発見し,人間の専門知識を補完することを示した。 したがって、モデルの選択は、正確性のためのFTM、隠れたリスク発見のためのRAG、包括性と行動可能性のためのベースモデルなど、特定のニーズに依存する。 したがって、専門家はLLMを、凝縮した時間枠内でのリスク分析を効果的に補完するコンパニオンとして活用することができる。 また、不当な対策の実施に伴う不要な費用を回避することでコストを削減できる。

関連論文リスト

• CRiskEval: A Chinese Multi-Level Risk Evaluation Benchmark Dataset for Large Language Models [46.93425758722059]
  CRiskEvalは、大規模言語モデル(LLM)に固有のリスク確率を正確に計測するために設計された中国のデータセットである。 7種類のフロンティアリスクと4つの安全性レベルを持つ新たなリスク分類を定義する。 データセットは、事前に定義された7種類のフロンティアリスクに関連するシナリオをシミュレートする14,888の質問で構成されている。
  論文  参考訳（メタデータ） (2024-06-07T08:52:24Z)
• ALI-Agent: Assessing LLMs' Alignment with Human Values via Agent-based Evaluation [48.54271457765236]
  大規模言語モデル(LLM)は、人間の価値観と不一致した場合、意図しない、有害なコンテンツも引き出すことができる。 現在の評価ベンチマークでは、LLMが人的価値とどの程度うまく一致しているかを評価するために、専門家が設計した文脈シナリオが採用されている。 本研究では, LLM エージェントの自律的能力を活用し, 奥行き及び適応的アライメント評価を行う評価フレームワーク ALI-Agent を提案する。
  論文  参考訳（メタデータ） (2024-05-23T02:57:42Z)
• Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
  大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。 我々の調査は、この信念に対する重大な監視を露呈している。 我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
  論文  参考訳（メタデータ） (2024-04-16T13:22:54Z)
• Leveraging Large Language Models for Preliminary Security Risk Analysis: A Mission-Critical Case Study [0.0]
  PSRAにおけるヒトの専門家の速度と精度は応答時間に大きく影響した。 PSRAにおける細調整モデル(FTM)の能力について先行研究は行われていない。 提案手法は,PSRAの誤りの低減,セキュリティリスク検出の迅速化,偽陽性と否定の最小化に成功している。
  論文  参考訳（メタデータ） (2024-03-23T07:59:30Z)
• Risk and Response in Large Language Models: Evaluating Key Threat Categories [6.436286493151731]
  本稿では,Large Language Models (LLMs) におけるリスクアセスメントのプレッシャーについて考察する。 人為的レッドチームデータセットを利用することで、情報ハザード、悪用、差別/憎しみのあるコンテンツなど、主要なリスクカテゴリを分析します。 以上の結果から,LSMは情報ハザードを有害とみなす傾向があることが示唆された。
  論文  参考訳（メタデータ） (2024-03-22T06:46:40Z)
• The Human Factor in Detecting Errors of Large Language Models: A Systematic Literature Review and Future Research Directions [0.0]
  2022年11月、OpenAIによるChatGPTのローンチは人工知能の重要な瞬間となった。 大規模言語モデル (LLM) は、様々な領域で顕著な会話能力を示す。 これらのモデルは「幻覚」や省略といった誤りに影響を受けやすく、誤った情報や不完全な情報を生成する。
  論文  参考訳（メタデータ） (2024-03-13T21:39:39Z)
• Prioritizing Safeguarding Over Autonomy: Risks of LLM Agents for Science [65.77763092833348]
  大規模言語モデル(LLM)を利用したインテリジェントエージェントは、自律的な実験を行い、様々な分野にわたる科学的発見を促進する上で、大きな可能性を証明している。 彼らの能力は有望だが、これらのエージェントは安全性を慎重に考慮する必要がある新たな脆弱性も導入している。 本稿では,科学領域におけるLSMをベースとしたエージェントの脆弱性の徹底的な調査を行い,その誤用に伴う潜在的なリスクに光を当て,安全性対策の必要性を強調した。
  論文  参考訳（メタデータ） (2024-02-06T18:54:07Z)
• C-RAG: Certified Generation Risks for Retrieval-Augmented Language Models [57.10361282229501]
  RAGモデルの生成リスクを認証する最初のフレームワークであるC-RAGを提案する。 具体的には、RAGモデルに対して共形リスク分析を行い、生成リスクの上限以上の信頼度を認定する。 検索モデルと変圧器の品質が非自明な場合, RAG は単一の LLM よりも低い共形生成リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2024-02-05T16:46:16Z)
• Diagnosis Uncertain Models For Medical Risk Prediction [80.07192791931533]
  本研究は, 患者の診断にはアクセスできない, バイタルサイン, 検査値, 既往歴にアクセス可能な患者リスクモデルについて考察する。 このようなすべての原因のリスクモデルが、診断全体にわたって良い一般化を持つが、予測可能な障害モードを持つことが示される。 患者診断の不確実性から生じるリスク予測の不確実性を明示的にモデル化し,この問題に対する対策を提案する。
  論文  参考訳（メタデータ） (2023-06-29T23:36:04Z)
• Two steps to risk sensitivity [4.974890682815778]
  条件付きバリュー・アット・リスク(CVaR)は、人間と動物の計画のモデル化のためのリスク尺度である。 CVaRに対する従来の分布的アプローチを逐次的に導入し、人間の意思決定者の選択を再分析する。 次に,リスク感度,すなわち時間的整合性,さらに重要な特性について考察し,CVaRの代替案を示す。
  論文  参考訳（メタデータ） (2021-11-12T16:27:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。