論文の概要: Can Foundational Large Language Models Assist with Conducting Pharmaceuticals Manufacturing Investigations?
- arxiv url: http://arxiv.org/abs/2404.15578v1
- Date: Wed, 24 Apr 2024 00:56:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-25 15:03:25.037869
- Title: Can Foundational Large Language Models Assist with Conducting Pharmaceuticals Manufacturing Investigations?
- Title(参考訳): 医薬品製造調査の実施を支援する基礎的大規模言語モデル
- Authors: Hossein Salami, Brandye Smith-Goettler, Vijay Yadav,
- Abstract要約: 我々は、特定のユースケース、医薬品製造調査に焦点をあてる。
本稿では, 製造事故や逸脱の歴史的記録を活用することで, 新規事例に対処し, 閉鎖する上で有益であることが示唆された。
そこで本研究では, ベクトル埋め込みによる差分記述のセマンティック検索により, 類似した記録を同定できることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: General purpose Large Language Models (LLM) such as the Generative Pretrained Transformer (GPT) and Large Language Model Meta AI (LLaMA) have attracted much attention in recent years. There is strong evidence that these models can perform remarkably well in various natural language processing tasks. However, how to leverage them to approach domain-specific use cases and drive value remains an open question. In this work, we focus on a specific use case, pharmaceutical manufacturing investigations, and propose that leveraging historical records of manufacturing incidents and deviations in an organization can be beneficial for addressing and closing new cases, or de-risking new manufacturing campaigns. Using a small but diverse dataset of real manufacturing deviations selected from different product lines, we evaluate and quantify the power of three general purpose LLMs (GPT-3.5, GPT-4, and Claude-2) in performing tasks related to the above goal. In particular, (1) the ability of LLMs in automating the process of extracting specific information such as root cause of a case from unstructured data, as well as (2) the possibility of identifying similar or related deviations by performing semantic search on the database of historical records are examined. While our results point to the high accuracy of GPT-4 and Claude-2 in the information extraction task, we discuss cases of complex interplay between the apparent reasoning and hallucination behavior of LLMs as a risk factor. Furthermore, we show that semantic search on vector embedding of deviation descriptions can be used to identify similar records, such as those with a similar type of defect, with a high level of accuracy. We discuss further improvements to enhance the accuracy of similar record identification.
- Abstract(参考訳): 近年,GPT(Generative Pretrained Transformer)やLLaMA(Large Language Model Meta AI)といった汎用の大規模言語モデル(LLM)が注目されている。
これらのモデルが様々な自然言語処理タスクにおいて顕著に機能することを示す強い証拠がある。
しかし、ドメイン固有のユースケースにアプローチし、価値を駆動するためにそれらをどのように活用するかは、未解決の問題である。
本研究は, 特定のユースケース, 医薬品製造調査に焦点をあて, 組織における製造事故や逸脱の歴史的記録を活用することは, 新規事例の解決・閉鎖, 新規製造キャンペーンの廃止に有用である, と提案する。
異なる製品ラインから選択した製造逸脱の小さいが多様なデータセットを用いて、上記の目標に関連するタスクの実行において、3つの汎用LCM(GPT-3.5, GPT-4, Claude-2)のパワーを評価し、定量化する。
特に,(1) ケースの根本原因などの特定情報を非構造化データから抽出するプロセスを自動化するLLMの能力,(2) 履歴データベース上で意味探索を行うことにより類似または関連するずれを識別する可能性について検討した。
その結果,情報抽出作業における GPT-4 と Claude-2 の精度が向上していることが示唆された。
さらに, 差分記述のベクトル埋め込みに関する意味探索は, 類似した種類の欠陥があるような類似した記録を高い精度で識別することができることを示す。
我々は、類似したレコード識別の精度を高めるためのさらなる改善について論じる。
関連論文リスト
- Discovery of the Hidden World with Large Language Models [100.38157787218044]
COAT: Causal representatiOn AssistanTについて紹介する。
COATは、非構造化データから潜在的な因果因子を抽出する因子プロジェクタとしてLLMを組み込んでいる。
LLMはデータ値の収集に使用される追加情報を提供するよう指示することもできる。
論文 参考訳(メタデータ) (2024-02-06T12:18:54Z) - Large Language Model for Causal Decision Making [7.052058110182703]
大きな言語モデル(LLM)は、言語理解と一般的なトピックの推論で成功していることを示している。
LLMをLLM4Causalに微調整することで、因果タスクを識別し、対応する関数を実行し、ユーザのクエリと提供されたデータセットに基づいてその数値結果を解釈できる可能性を探る。
論文 参考訳(メタデータ) (2023-12-28T16:59:06Z) - Automatic Hallucination Assessment for Aligned Large Language Models via
Transferable Adversarial Attacks [98.22864957942821]
本稿では,大規模言語モデルが忠実に振る舞う既存データを適切に修正し,評価データを自動的に生成する手法を開発することを目的とする。
具体的には,LLM ベースのフレームワークである Auto Debug について述べる。
実験結果から, LLMは, インプロンプトに与えられた知識とパラメトリック知識との間に矛盾がある場合, 質問応答シナリオの2つのカテゴリに幻覚を与える可能性が示唆された。
論文 参考訳(メタデータ) (2023-10-19T06:37:32Z) - FactCHD: Benchmarking Fact-Conflicting Hallucination Detection [52.513957834345746]
FactCHD は LLM からファクトコンフリクトの幻覚を検出するために設計されたベンチマークである。
FactCHDは、バニラ、マルチホップ、比較、セット操作など、さまざまな事実パターンにまたがる多様なデータセットを備えている。
Llama2 に基づくツール強化 ChatGPT と LoRA-tuning による反射的考察を合成する Truth-Triangulator を提案する。
論文 参考訳(メタデータ) (2023-10-18T16:27:49Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳(メタデータ) (2023-09-07T01:35:24Z) - From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。
我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
論文 参考訳(メタデータ) (2023-08-23T09:45:29Z) - Can Large Language Models Infer Causation from Correlation? [104.96351414570239]
大規模言語モデル(LLM)の純粋因果推論スキルをテストする。
相関文の集合を取り、変数間の因果関係を決定する新しいタスクCorr2Causeを定式化する。
これらのモデルがタスクのランダムな性能にほぼ近い結果が得られることを示す。
論文 参考訳(メタデータ) (2023-06-09T12:09:15Z) - Increasing Diversity While Maintaining Accuracy: Text Data Generation
with Large Language Models and Human Interventions [30.464763055981933]
大規模言語モデル(LLM)は、他のモデルのトレーニングや評価のためにテキストデータを生成するために用いられる。
LLMベースのテキストデータ生成において,高い多様性と精度を実現するために,人間とAIのパートナーシップを検討する。
論文 参考訳(メタデータ) (2023-06-07T04:27:09Z) - PaD: Program-aided Distillation Can Teach Small Models Reasoning Better than Chain-of-thought Fine-tuning [20.59775450213501]
本稿では, 蒸留データの誤りを抑えるための推論プログラムを導入したPaD(Program-Aided Distillation)を提案する。
算術的推論,記号的推論,一般能力に基づいてPaDを評価する。
論文 参考訳(メタデータ) (2023-05-23T10:11:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。