論文の概要: Customizing Large Language Models for Business Context: Framework and Experiments

• arxiv url: http://arxiv.org/abs/2312.10225v2
• Date: Tue, 14 May 2024 00:59:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-15 19:31:02.506642
• Title: Customizing Large Language Models for Business Context: Framework and Experiments
• Title（参考訳）: ビジネスコンテキストのための大規模言語モデルのカスタマイズ:フレームワークと実験
• Authors: Wen Wang, Zhenyue Zhao, Tianshu Sun,
• Abstract要約: 大規模言語モデル (LLM) は情報システムにおけるデザイン科学の新しい時代を支えてきた。 我々は,LLMを一般的なビジネスコンテキストにカスタマイズするための新しいフレームワークを提案し,テストする。 医療相談の文脈で提案した枠組みをインスタンス化する。
• 参考スコア（独自算出の注目度）: 4.922554372855655
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The advent of Large Language Models (LLMs) has ushered in a new era for design science in Information Systems, demanding a paradigm shift in tailoring LLMs design for business contexts. We propose and test a novel framework to customize LLMs for general business contexts that aims to achieve three fundamental objectives simultaneously: (1) aligning conversational patterns, (2) integrating in-depth domain knowledge, and (3) embodying theory-driven soft skills and core principles. We design methodologies that combine domain-specific theory with Supervised Fine Tuning (SFT) to achieve these objectives simultaneously. We instantiate our proposed framework in the context of medical consultation. Specifically, we carefully construct a large volume of real doctors' consultation records and medical knowledge from multiple professional databases. Additionally, drawing on medical theory, we identify three soft skills and core principles of human doctors: professionalism, explainability, and emotional support, and design approaches to integrate these traits into LLMs. We demonstrate the feasibility of our framework using online experiments with thousands of real patients as well as evaluation by domain experts and consumers. Experimental results show that the customized LLM model substantially outperforms untuned base model in medical expertise as well as consumer satisfaction and trustworthiness, and it substantially reduces the gap between untuned LLMs and human doctors, elevating LLMs to the level of human experts. Additionally, we delve into the characteristics of textual consultation records and adopt interpretable machine learning techniques to identify what drives the performance gain. Finally, we showcase the practical value of our model through a decision support system designed to assist human doctors in a lab experiment.
• Abstract（参考訳）: 大規模言語モデル(LLM)の出現は、情報システムにおけるデザイン科学の新しい時代を後押しし、LLMの設計をビジネスコンテキストに合わせるためのパラダイムシフトを要求している。 1)会話パターンの整合化,(2)ドメイン内知識の統合,(3)理論駆動型ソフトスキルとコア原則の具現化という,3つの基本的な目標を同時に達成することを目的とした,一般的なビジネスコンテキストのためのLCMをカスタマイズするための新しいフレームワークを提案し,テストする。 ドメイン固有理論とスーパービジョンファインチューニング(SFT)を組み合わせてこれらの目的を同時に達成する手法を設計する。 医療相談の文脈で提案する枠組みをインスタンス化する。 具体的には,複数の専門データベースから実際の医師の診察記録と医療知識を大量に作成する。 さらに, 医療理論に基づいて, 専門性, 説明可能性, 情緒的支援の3つのソフトスキルと基本原理を同定し, それらの特徴をLCMに組み込む設計アプローチを提案する。 実際に数千人の患者によるオンライン実験と、ドメインの専門家や消費者による評価を用いて、我々のフレームワークの有効性を実証する。 実験結果から, LLMモデルは, 医療分野の未調整ベースモデル, 消費者満足度, 信頼性の面ではかなり優れており, 未調整LLMと人的医師とのギャップを著しく減らし, LLMを人間専門家のレベルまで高めることが示唆された。 さらに,テキスト相談記録の特徴を掘り下げ,解釈可能な機械学習技術を用いて,パフォーマンス向上の要因を特定する。 最後に, 実験室実験において, ヒトの医師を支援するための意思決定支援システムを用いて, モデルの有効性を実証する。

関連論文リスト

• Demystifying Large Language Models for Medicine: A Primer [50.83806796466396]
  大規模言語モデル(LLM)は、医療のさまざまな側面に革命をもたらすことのできる、変革的なAIツールのクラスである。 本チュートリアルは、LSMを臨床実践に効果的に統合するために必要なツールを医療専門家に提供することを目的としている。
  論文  参考訳（メタデータ） (2024-10-24T15:41:56Z)
• RuleAlign: Making Large Language Models Better Physicians with Diagnostic Rule Alignment [54.91736546490813]
  本稿では,大規模言語モデルと特定の診断規則との整合性を考慮したルールアラインフレームワークを提案する。 患者と医師間の規則に基づくコミュニケーションを含む医療対話データセットを開発した。 実験の結果,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-08-22T17:44:40Z)
• Beyond Human Norms: Unveiling Unique Values of Large Language Models through Interdisciplinary Approaches [69.73783026870998]
  本研究では,大言語モデルの固有値システムをスクラッチから再構築する新しいフレームワークであるValueLexを提案する。 語彙仮説に基づいて、ValueLexは30以上のLLMから様々な値を引き出すための生成的アプローチを導入している。 我々は,3つのコア値次元,能力,キャラクタ,積分をそれぞれ特定の部分次元で同定し,LLMが非人間的だが構造化された価値体系を持っていることを明らかにした。
  論文  参考訳（メタデータ） (2024-04-19T09:44:51Z)
• Evaluation of General Large Language Models in Contextually Assessing Semantic Concepts Extracted from Adult Critical Care Electronic Health Record Notes [17.648021186810663]
  本研究の目的は,大規模言語モデル(LLM)の実際の臨床ノートの理解と処理における性能を評価することである。 GPTファミリーモデルは、コスト効率と時間節約能力によって証明された、かなりの効率性を示している。
  論文  参考訳（メタデータ） (2024-01-24T16:52:37Z)
• A Survey of Large Language Models in Medicine: Progress, Application, and Challenge [85.09998659355038]
  大規模言語モデル (LLM) は、人間の言語を理解し、生成する能力のために大きな注目を集めている。 本総説は,医学におけるLSMの開発と展開について概説することを目的としている。
  論文  参考訳（メタデータ） (2023-11-09T02:55:58Z)
• Large Language Models Illuminate a Progressive Pathway to Artificial Healthcare Assistant: A Review [16.008511195589925]
  大規模言語モデル(LLM)は、人間のレベルの言語理解と推論を模倣する有望な能力を示している。 本稿では,医学におけるLSMの応用と意義について概説する。
  論文  参考訳（メタデータ） (2023-11-03T13:51:36Z)
• Large Language Models, scientific knowledge and factuality: A framework to streamline human expert evaluation [0.0]
  本研究は,生物医学的背景知識と対話するための大規模言語モデルの可能性を探るものである。 フレームワークには3つの評価ステップが含まれており、それぞれが流布、即応的なアライメント、セマンティック・コヒーレンス、事実的知識、生成した応答の特異性という3つの側面を逐次評価する。 この研究は、ChatGPT、GPT-4、Llama 2を含む11の最先端のLLMを2つのプロンプトベースタスクで持つ能力に関する体系的な評価を提供する。
  論文  参考訳（メタデータ） (2023-05-28T22:46:21Z)
• Align, Reason and Learn: Enhancing Medical Vision-and-Language Pre-training with Knowledge [68.90835997085557]
  本稿では,3つの視点から構造化された医療知識を高めるための体系的かつ効果的なアプローチを提案する。 まず、視覚エンコーダと言語エンコーダの表現を知識を通して整列する。 次に,多モード融合モデルに知識を注入し,入力画像とテキストの補足として知識を用いた推論を可能にする。 第3に、知識によって引き起こされるプレテキストタスクを設計することで、画像やテキストの最も重要な情報に重点を置くよう、モデルを指導する。
  論文  参考訳（メタデータ） (2022-09-15T08:00:01Z)
• VBridge: Connecting the Dots Between Features, Explanations, and Data for Healthcare Models [85.4333256782337]
  VBridgeは、臨床医の意思決定ワークフローに機械学習の説明をシームレスに組み込むビジュアル分析ツールである。 我々は,臨床医がMLの特徴に慣れていないこと,文脈情報の欠如,コホートレベルの証拠の必要性など,3つの重要な課題を特定した。 症例スタディと専門医4名のインタビューを通じて, VBridgeの有効性を実証した。
  論文  参考訳（メタデータ） (2021-08-04T17:34:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。