論文の概要: Leveraging GPT-4 for Food Effect Summarization to Enhance
Product-Specific Guidance Development via Iterative Prompting
- arxiv url: http://arxiv.org/abs/2306.16275v1
- Date: Wed, 28 Jun 2023 14:55:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-29 13:46:15.805445
- Title: Leveraging GPT-4 for Food Effect Summarization to Enhance
Product-Specific Guidance Development via Iterative Prompting
- Title（参考訳）: GPT-4による食品効果の要約と反復的プロンプティングによる製品特異的ガイダンス開発
- Authors: Yiwen Shi, Ping Ren, Jing Wang, Biao Han, Taha ValizadehAslani, Felix
Agbavor, Yi Zhang, Meng Hu, Liang Zhao, Hualou Liang
- Abstract要約: 新薬応用(NDA)による食品効果の要約は、製品特異的ガイダンス(PSG)の開発と評価に欠かせない要素である。
大規模言語モデル(LLM)の最近の進歩は、自動テキスト要約の有効性を向上する大きな可能性を示している。
本研究では, ChatGPT や GPT-4 との相互作用をより効果的に行うための, 反復的プロンプト法を提案する。
- 参考スコア（独自算出の注目度）: 11.316518463510144
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Food effect summarization from New Drug Application (NDA) is an essential
component of product-specific guidance (PSG) development and assessment.
However, manual summarization of food effect from extensive drug application
review documents is time-consuming, which arouses a need to develop automated
methods. Recent advances in large language models (LLMs) such as ChatGPT and
GPT-4, have demonstrated great potential in improving the effectiveness of
automated text summarization, but its ability regarding the accuracy in
summarizing food effect for PSG assessment remains unclear. In this study, we
introduce a simple yet effective approach, iterative prompting, which allows
one to interact with ChatGPT or GPT-4 more effectively and efficiently through
multi-turn interaction. Specifically, we propose a three-turn iterative
prompting approach to food effect summarization in which the keyword-focused
and length-controlled prompts are respectively provided in consecutive turns to
refine the quality of the generated summary. We conduct a series of extensive
evaluations, ranging from automated metrics to FDA professionals and even
evaluation by GPT-4, on 100 NDA review documents selected over the past five
years. We observe that the summary quality is progressively improved throughout
the process. Moreover, we find that GPT-4 performs better than ChatGPT, as
evaluated by FDA professionals (43% vs. 12%) and GPT-4 (64% vs. 35%).
Importantly, all the FDA professionals unanimously rated that 85% of the
summaries generated by GPT-4 are factually consistent with the golden reference
summary, a finding further supported by GPT-4 rating of 72% consistency. These
results strongly suggest a great potential for GPT-4 to draft food effect
summaries that could be reviewed by FDA professionals, thereby improving the
efficiency of PSG assessment cycle and promoting the generic drug product
development.
- Abstract（参考訳）: 新薬応用(NDA)による食品効果の要約は、製品特異的ガイダンス(PSG)の開発と評価に欠かせない要素である。
しかし、広範囲な薬物アプリケーションレビュー文書からの食品効果の手動要約は時間がかかるため、自動化方法の開発の必要性が高まる。
chatgptやgpt-4といった大規模言語モデル(llm)の最近の進歩は、自動テキスト要約の有効性を向上させる大きな可能性を示しているが、psg評価における食品効果の要約の精度に関する能力は未だ不明である。
本研究では,ChatGPT や GPT-4 との相互作用をより効果的かつ効率的に行うための,反復的プロンプト法を提案する。
具体的には,食品効果要約のための3ターン反復プロンプト手法を提案し,キーワード指向プロンプトと長さ制御プロンプトを連続して提供し,生成した要約の質を向上させる。
我々は,過去5年間に選択された100件のNDAレビュー文書に対して,自動測定からFDA専門家,さらにはGPT-4による評価まで,幅広い評価を行っている。
我々は,プロセス全体で要約品質が徐々に改善されることを観察する。
また, FDA専門家(43%対12%), GPT-4(64%対35%)では, GPT-4がChatGPTより優れていた。
重要なことに、すべてのFDA専門家は、GPT-4が生成したサマリーの85%が、黄金の基準の要約と事実上一致していると全会一致で評価した。
これらの結果は、gpt-4が食品効果サマリーを作成する大きな可能性を強く示唆しており、fdaの専門家によってレビューされ、psgアセスメントサイクルの効率を改善し、ジェネリック医薬品開発を促進する。
関連論文リスト
- Accuracy and Consistency of LLMs in the Registered Dietitian Exam: The Impact of Prompt Engineering and Knowledge Retrieval [4.058915438449238]
大規模言語モデル(LLMs)は、健康と幸福な領域において、人間の直面するアプリケーションを変革している。
我々は,登録栄養士試験(RD)を用いて,最先端のLDM,GPT-4o,Claude 3.5 Sonnet,Gemini 1.5 Proを評価した。
我々は,Zero-Shot (ZS), Chain of Thought (CoT), Chain of Thought with Self Consistency (CoT-SC), Retrieval Augmented Prompting (RAP) が応答の正確性と一貫性に与える影響を検討した。
論文 参考訳（メタデータ） (2024-08-06T05:21:13Z) - Assessing the Effectiveness of GPT-4o in Climate Change Evidence Synthesis and Systematic Assessments: Preliminary Insights [0.0]
GPT-4oは最先端の大規模言語モデル(LLM)である
我々は,GPT-4oによる気候変動適応に関する科学的文献からの抽出の有効性を評価した。
その結果,GPT-4oは低熟練タスクでは高い精度が得られるが,利害関係者の識別や適応応答の深さ評価などの中高熟練タスクでは信頼性が低いことが示唆された。
論文 参考訳（メタデータ） (2024-07-02T13:14:57Z) - Unveiling the Safety of GPT-4o: An Empirical Study using Jailbreak Attacks [65.84623493488633]
本稿では,GPT-4oのジェイルブレイク攻撃に対する厳密な評価を行う。
新たに導入されたオーディオモダリティは、GPT-4oに対するジェイルブレイク攻撃のための新しい攻撃ベクトルを開く。
既存のブラックボックスマルチモーダル・ジェイルブレイク攻撃は、GPT-4oとGPT-4Vに対してほとんど効果がない。
論文 参考訳（メタデータ） (2024-06-10T14:18:56Z) - GPT-4 as Evaluator: Evaluating Large Language Models on Pest Management in Agriculture [7.458004824488893]
農業、特に害虫管理における大規模言語モデル(LLM)の適用は、まだ初期段階である。
我々は,OpenAIのGenerative Pre-trained Transformer(GPT)シリーズやGoogleのFLANシリーズなど,LLMsが生み出す害虫管理アドバイスの内容を評価することで,その実現可能性を証明することを目的とした。
我々は, GPT-4 を評価指標として, コヒーレンス, 論理的一貫性, 頻度, 妥当性, 包括性, 露出性について, 生成した内容を評価する革新的な手法を提案した。
論文 参考訳（メタデータ） (2024-03-18T15:08:01Z) - Dietary Assessment with Multimodal ChatGPT: A Systematic Analysis [17.333822848423708]
本研究は、食事アセスメントの領域におけるマルチモーダルChatGPTの適用について検討する。
モデルを特定の言語プロンプトで導くことで、GPT-4Vは、米やパンのような一般的な主食を認識することから、バンクーやウグリといった地域料理を正確に識別するようになる。
GPT-4Vは、周囲の物体をスケール基準として利用し、食品の部位サイズを推定し、食品の重量を栄養分に翻訳する精度をさらに高める。
論文 参考訳（メタデータ） (2023-12-14T01:26:45Z) - GPT4Vis: What Can GPT-4 Do for Zero-shot Visual Recognition? [82.40761196684524]
本稿では,ゼロショット視覚認識タスクにおけるGPT-4の言語的・視覚的能力の評価に焦点を当てる。
我々は、画像、ビデオ、点群にわたるGPT-4の性能を評価するための広範な実験を行った。
言語記述が充実したGPT-4はゼロショット認識を著しく改善した。
論文 参考訳（メタデータ） (2023-11-27T11:29:10Z) - Comparing Humans, GPT-4, and GPT-4V On Abstraction and Reasoning Tasks [53.936643052339]
GPT-4のテキストのみおよびマルチモーダル版による推論能力の評価を行った。
実験結果から,GPT-4のどちらのバージョンも人間に近いレベルで頑健な抽象化能力を開発していないという結論が得られた。
論文 参考訳（メタデータ） (2023-11-14T04:33:49Z) - The Dawn of LMMs: Preliminary Explorations with GPT-4V(ision) [121.42924593374127]
我々は,最新のモデルであるGPT-4Vを分析し,LMMの理解を深める。
GPT-4Vは、任意にインターリーブされたマルチモーダル入力を処理するという前例のない能力により、強力なマルチモーダルジェネラリストシステムとなっている。
GPT-4Vの、入力画像に描かれた視覚マーカーを理解するユニークな能力は、新しい人間とコンピュータの相互作用方法をもたらす。
論文 参考訳（メタデータ） (2023-09-29T17:34:51Z) - A GPT-4 Reticular Chemist for Guiding MOF Discovery [0.704345141118018]
本稿では,AIモデル GPT-4 をレチキュラー化学実験の反復過程に統合する新しいフレームワークを提案する。
このGPT-4レチキュラーケミストは3つの相からなる統合システムである。
論文 参考訳（メタデータ） (2023-06-20T05:26:44Z) - Is GPT-4 a Good Data Analyst? [67.35956981748699]
我々は、GPT-4を、広範囲のドメインのデータベースでエンドツーエンドのデータ分析を行うためのデータ分析であると考えている。
我々は,複数の専門家データアナリストとGPT-4のパフォーマンスを体系的に比較するために,タスク固有の評価指標を設計する。
実験の結果, GPT-4はヒトに匹敵する性能を示した。
論文 参考訳（メタデータ） (2023-05-24T11:26:59Z) - GPT-4 Technical Report [116.90398195245983]
GPT-4は大規模なマルチモーダルモデルであり、画像やテキストの入力を受け取り、テキスト出力を生成することができる。
試験受験者の上位10%のスコアで模擬試験に合格するなど、さまざまな専門的、学術的なベンチマークで人間レベルのパフォーマンスを示す。
論文 参考訳（メタデータ） (2023-03-15T17:15:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。