論文の概要: Can Foundational Large Language Models Assist with Conducting Pharmaceuticals Manufacturing Investigations?
- arxiv url: http://arxiv.org/abs/2404.15578v1
- Date: Wed, 24 Apr 2024 00:56:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-25 15:03:25.037869
- Title: Can Foundational Large Language Models Assist with Conducting Pharmaceuticals Manufacturing Investigations?
- Title（参考訳）: 医薬品製造調査の実施を支援する基礎的大規模言語モデル
- Authors: Hossein Salami, Brandye Smith-Goettler, Vijay Yadav,
- Abstract要約: 我々は、特定のユースケース、医薬品製造調査に焦点をあてる。
本稿では, 製造事故や逸脱の歴史的記録を活用することで, 新規事例に対処し, 閉鎖する上で有益であることが示唆された。
そこで本研究では, ベクトル埋め込みによる差分記述のセマンティック検索により, 類似した記録を同定できることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: General purpose Large Language Models (LLM) such as the Generative Pretrained Transformer (GPT) and Large Language Model Meta AI (LLaMA) have attracted much attention in recent years. There is strong evidence that these models can perform remarkably well in various natural language processing tasks. However, how to leverage them to approach domain-specific use cases and drive value remains an open question. In this work, we focus on a specific use case, pharmaceutical manufacturing investigations, and propose that leveraging historical records of manufacturing incidents and deviations in an organization can be beneficial for addressing and closing new cases, or de-risking new manufacturing campaigns. Using a small but diverse dataset of real manufacturing deviations selected from different product lines, we evaluate and quantify the power of three general purpose LLMs (GPT-3.5, GPT-4, and Claude-2) in performing tasks related to the above goal. In particular, (1) the ability of LLMs in automating the process of extracting specific information such as root cause of a case from unstructured data, as well as (2) the possibility of identifying similar or related deviations by performing semantic search on the database of historical records are examined. While our results point to the high accuracy of GPT-4 and Claude-2 in the information extraction task, we discuss cases of complex interplay between the apparent reasoning and hallucination behavior of LLMs as a risk factor. Furthermore, we show that semantic search on vector embedding of deviation descriptions can be used to identify similar records, such as those with a similar type of defect, with a high level of accuracy. We discuss further improvements to enhance the accuracy of similar record identification.
- Abstract（参考訳）: 近年,GPT(Generative Pretrained Transformer)やLLaMA(Large Language Model Meta AI)といった汎用の大規模言語モデル(LLM)が注目されている。
これらのモデルが様々な自然言語処理タスクにおいて顕著に機能することを示す強い証拠がある。
しかし、ドメイン固有のユースケースにアプローチし、価値を駆動するためにそれらをどのように活用するかは、未解決の問題である。
本研究は, 特定のユースケース, 医薬品製造調査に焦点をあて, 組織における製造事故や逸脱の歴史的記録を活用することは, 新規事例の解決・閉鎖, 新規製造キャンペーンの廃止に有用である, と提案する。
異なる製品ラインから選択した製造逸脱の小さいが多様なデータセットを用いて、上記の目標に関連するタスクの実行において、3つの汎用LCM(GPT-3.5, GPT-4, Claude-2)のパワーを評価し、定量化する。
特に,(1) ケースの根本原因などの特定情報を非構造化データから抽出するプロセスを自動化するLLMの能力,(2) 履歴データベース上で意味探索を行うことにより類似または関連するずれを識別する可能性について検討した。
その結果,情報抽出作業における GPT-4 と Claude-2 の精度が向上していることが示唆された。
さらに, 差分記述のベクトル埋め込みに関する意味探索は, 類似した種類の欠陥があるような類似した記録を高い精度で識別することができることを示す。
我々は、類似したレコード識別の精度を高めるためのさらなる改善について論じる。
関連論文リスト
- Disentangling Memory and Reasoning Ability in Large Language Models [97.26827060106581]
本稿では、複雑な推論プロセスを2つの異なる明確なアクションに分解する新しい推論パラダイムを提案する。
実験の結果, この分解によりモデル性能が向上し, 推論プロセスの解釈可能性も向上することがわかった。
論文 参考訳（メタデータ） (2024-11-20T17:55:38Z) - Combining Domain-Specific Models and LLMs for Automated Disease Phenotyping from Survey Data [0.0]
本研究では,ドメイン固有モデルであるBERN2と大規模言語モデル(LLM)を組み合わせることにより,調査データから自動表現性を高める可能性について検討した。
我々は ORIGINS 調査データから,エンティティ認識と正規化モデルであるBERN2 を用いて情報抽出を行った。
BERN2は疾患の言及を抽出・正規化する上で高い性能を示し、特にFew Shot InferenceとRAGオーケストレーションとのLLMの統合により精度が向上した。
論文 参考訳（メタデータ） (2024-10-28T02:55:03Z) - Advancing Cyber Incident Timeline Analysis Through Rule Based AI and Large Language Models [0.0]
本稿では,ルールベース人工知能(R-BAI)アルゴリズムとLarge Language Models(LLM)を組み合わせた新しいフレームワークGenDFIRを紹介する。
論文 参考訳（メタデータ） (2024-09-04T09:46:33Z) - Using LLMs for Explaining Sets of Counterfactual Examples to Final Users [0.0]
自動意思決定シナリオでは、因果推論手法は基礎となるデータ生成プロセスを分析することができる。
カウンターファクトな例では、最小限の要素が変更される仮説的なシナリオを探求する。
本稿では,アクションの自然言語説明を生成するために,反事実を用いた新しい多段階パイプラインを提案する。
論文 参考訳（メタデータ） (2024-08-27T15:13:06Z) - Investigating Annotator Bias in Large Language Models for Hate Speech Detection [5.589665886212444]
本稿では,ヘイトスピーチデータに注釈をつける際に,Large Language Models (LLMs) に存在するバイアスについて考察する。
具体的には、これらのカテゴリ内の非常に脆弱なグループを対象として、アノテータバイアスを分析します。
我々は,この研究を行うために,独自のヘイトスピーチ検出データセットであるHateBiasNetを紹介した。
論文 参考訳（メタデータ） (2024-06-17T00:18:31Z) - Evaluating Interventional Reasoning Capabilities of Large Language Models [58.52919374786108]
大規模言語モデル(LLM)は、システムの異なる部分への介入の下で因果効果を推定することができる。
LLMが介入に応じてデータ生成プロセスの知識を正確に更新できるかどうかを実証分析して評価する。
我々は、様々な因果グラフ(例えば、コンバウンディング、仲介)と変数タイプにまたがるベンチマークを作成し、介入に基づく推論の研究を可能にする。
論文 参考訳（メタデータ） (2024-04-08T14:15:56Z) - ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
本稿では,LLMベースのフレームワークであるReEvalについて述べる。
本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。
我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
論文 参考訳（メタデータ） (2023-10-19T06:37:32Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳（メタデータ） (2023-09-07T01:35:24Z) - From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。
我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
論文 参考訳（メタデータ） (2023-08-23T09:45:29Z) - Can Large Language Models Infer Causation from Correlation? [104.96351414570239]
大規模言語モデル(LLM)の純粋因果推論スキルをテストする。
相関文の集合を取り、変数間の因果関係を決定する新しいタスクCorr2Causeを定式化する。
これらのモデルがタスクのランダムな性能にほぼ近い結果が得られることを示す。
論文 参考訳（メタデータ） (2023-06-09T12:09:15Z) - Causal Reasoning and Large Language Models: Opening a New Frontier for Causality [29.433401785920065]
大規模言語モデル(LLM)は、高い確率で因果引数を生成することができる。
LLMは人間のドメインの専門家によって因果解析のセットアップの労力を節約するために使われる。
論文 参考訳（メタデータ） (2023-04-28T19:00:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。