論文の概要: Trust at Your Own Peril: A Mixed Methods Exploration of the Ability of Large Language Models to Generate Expert-Like Systems Engineering Artifacts and a Characterization of Failure Modes

• arxiv url: http://arxiv.org/abs/2502.09690v1
• Date: Thu, 13 Feb 2025 17:05:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-17 14:47:55.241194
• Title: Trust at Your Own Peril: A Mixed Methods Exploration of the Ability of Large Language Models to Generate Expert-Like Systems Engineering Artifacts and a Characterization of Failure Modes
• Title（参考訳）: 自分自身の障害に対する信頼: 専門家のようなシステム工学の成果物を生成するための大規模言語モデルの能力の探索と失敗モードのキャラクタリゼーション
• Authors: Taylan G. Topcu, Mohammed Husain, Max Ofsa, Paul Wach,
• Abstract要約: そこでは,人間の専門家が作成したSEアーティファクトをベンチマークとして用いた経験的探索の結果を報告する。 次に、AI生成されたアーティファクトとベンチマークを比較するために、2倍の混合メソッドアプローチを採用しました。 2つの素材は非常に似ているように見えるが、AIが生成したアーティファクトは深刻な障害モードを示しており、検出は困難である。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Multi-purpose Large Language Models (LLMs), a subset of generative Artificial Intelligence (AI), have recently made significant progress. While expectations for LLMs to assist systems engineering (SE) tasks are paramount; the interdisciplinary and complex nature of systems, along with the need to synthesize deep-domain knowledge and operational context, raise questions regarding the efficacy of LLMs to generate SE artifacts, particularly given that they are trained using data that is broadly available on the internet. To that end, we present results from an empirical exploration, where a human expert-generated SE artifact was taken as a benchmark, parsed, and fed into various LLMs through prompt engineering to generate segments of typical SE artifacts. This procedure was applied without any fine-tuning or calibration to document baseline LLM performance. We then adopted a two-fold mixed-methods approach to compare AI generated artifacts against the benchmark. First, we quantitatively compare the artifacts using natural language processing algorithms and find that when prompted carefully, the state-of-the-art algorithms cannot differentiate AI-generated artifacts from the human-expert benchmark. Second, we conduct a qualitative deep dive to investigate how they differ in terms of quality. We document that while the two-material appear very similar, AI generated artifacts exhibit serious failure modes that could be difficult to detect. We characterize these as: premature requirements definition, unsubstantiated numerical estimates, and propensity to overspecify. We contend that this study tells a cautionary tale about why the SE community must be more cautious adopting AI suggested feedback, at least when generated by multi-purpose LLMs.
• Abstract（参考訳）: 生成人工知能(AI)のサブセットである多目的大言語モデル(LLM)は、最近大きな進歩を遂げている。 システムエンジニアリング(SE)タスクを支援することへのLLMの期待は最重要であり、システムの学際的で複雑な性質は、深いドメイン知識と運用コンテキストを合成する必要性とともに、SEアーティファクトを生成するためのLLMの有効性に関する疑問を提起する。 そこで我々は,人間の専門家が生成したSEアーティファクトをベンチマークとして分析し,解析し,様々なLSMに供給する実験結果を発表した。 この手順は、微調整や校正をせずに標準LLM性能を文書化せずに適用された。 次に、AI生成されたアーティファクトとベンチマークを比較するために、2倍の混合メソッドアプローチを採用しました。 まず、自然言語処理アルゴリズムを用いてアーティファクトを定量的に比較し、注意を喚起すると、最先端のアルゴリズムはAI生成アーティファクトと人間の専門ベンチマークを区別できない。 第2に、品質の面でどのように異なるかを調べるために、定性的な深い潜水を行う。 2つの素材は非常によく似ているように見えるが、AIが生成したアーティファクトは深刻な障害モードを示しており、検出は困難である。 これらの特徴は, 未確定な要件定義, 未確定な数値推定, 過度に特定する確率である。 この研究は、少なくとも多目的LLMによって生成された場合、なぜSEコミュニティがAIの提案されたフィードバックをもっと慎重に採用する必要があるのか、という注意深い物語を物語っている、と我々は主張する。

関連論文リスト

• An Empirical Study on Automatically Detecting AI-Generated Source Code: How Far Are We? [8.0988059417354]
  本稿では,AI生成コード検出の性能向上のための様々な手法を提案する。 我々の最良のモデルは最先端のAI生成コード検出器(GPTSniffer)より優れており、F1スコアは82.55である。
  論文  参考訳（メタデータ） (2024-11-06T22:48:18Z)
• GigaCheck: Detecting LLM-generated Content [72.27323884094953]
  本稿では,GigaCheckを提案することによって生成したテキスト検出の課題について検討する。 本研究は,LLM生成テキストとLLM生成テキストを区別する手法と,Human-Machine協調テキストにおけるLLM生成間隔を検出する手法について検討する。 具体的には,テキスト内のAI生成間隔をローカライズするために,コンピュータビジョンから適応したDETRのような検出モデルと組み合わせて,微調整の汎用LLMを用いる。
  論文  参考訳（メタデータ） (2024-10-31T08:30:55Z)
• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
  大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。 多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。 最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T17:54:03Z)
• GenDFIR: Advancing Cyber Incident Timeline Analysis Through Retrieval Augmented Generation and Large Language Models [0.08192907805418582]
  デジタル法医学とインシデント応答(DFIR)におけるサイバータイムライン解析の重要性 伝統的な手法は、証拠の識別と特徴抽出のためにログやメタデータのような構造化された成果物に依存している。 本稿では,大規模言語モデル(LLM)を利用したフレームワークであるGenDFIR,特にゼロショットモードのLlama 3.1 8Bについて紹介し,Retrieval-Augmented Generation (RAG)エージェントと統合する。
  論文  参考訳（メタデータ） (2024-09-04T09:46:33Z)
• A Quick, trustworthy spectral knowledge Q&A system leveraging retrieval-augmented generation on LLM [0.0]
  大規模言語モデル(LLM)は、自然言語処理(NLP)タスクにおいて、一般領域内で大きな成功を収めている。 本稿では,SDAAP(Spectral Detection and Analysis Based Paper)データセットを紹介する。 また、SDAAPデータセットに基づく自動Q&Aフレームワークを設計し、関連する知識を検索し、高品質な応答を生成する。
  論文  参考訳（メタデータ） (2024-08-21T12:09:37Z)
• Detecting Hallucinations in Large Language Model Generation: A Token Probability Approach [0.0]
  LLM(Large Language Models)は、幻覚と呼ばれる不正確な出力を生成する。 本稿では,トークンから得られる4つの数値的特徴と,他の評価者から得られる語彙的確率を用いた教師付き学習手法を提案する。 この方法は有望な結果をもたらし、3つの異なるベンチマークで複数のタスクで最先端の結果を上回る。
  論文  参考訳（メタデータ） (2024-05-30T03:00:47Z)
• Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
  大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。 しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。 我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
  論文  参考訳（メタデータ） (2024-03-12T13:31:14Z)
• Knowledge Plugins: Enhancing Large Language Models for Domain-Specific Recommendations [50.81844184210381]
  本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。 このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
  論文  参考訳（メタデータ） (2023-11-16T07:09:38Z)
• Intrinsic Language-Guided Exploration for Complex Long-Horizon Robotic Manipulation Tasks [12.27904219271791]
  現在の強化学習アルゴリズムは、スパースで複雑な環境で苦労している。 Intrinsically Guided Exploration from Large Language Models (IGE-LLMs) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-28T11:14:52Z)
• Pre-training Multi-task Contrastive Learning Models for Scientific Literature Understanding [52.723297744257536]
  事前学習言語モデル(LM)は、科学文献理解タスクにおいて有効であることを示す。 文献理解タスク間の共通知識共有を容易にするために,マルチタスクのコントラスト学習フレームワークであるSciMultを提案する。
  論文  参考訳（メタデータ） (2023-05-23T16:47:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。