論文の概要: Can Large Language Models Extract Customer Needs as well as Professional Analysts?

• arxiv url: http://arxiv.org/abs/2503.01870v1
• Date: Tue, 25 Feb 2025 21:55:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-09 03:20:24.745350
• Title: Can Large Language Models Extract Customer Needs as well as Professional Analysts?
• Title（参考訳）: 大規模言語モデルは、顧客ニーズと専門アナリストを抽出できるか?
• Authors: Artem Timoshenko, Chengfeng Mao, John R. Hauser,
• Abstract要約: 顧客ニーズ(CN)の特定は、製品管理、製品開発、マーケティングにおいて重要である。 現在の実践はキーワード検索と機械学習によるプロセスを容易にするが、CNを定式化するには人間の判断に依存する。 大規模言語モデル(LLM)が自動的にCNを抽出できるかどうかを検討する。
• 参考スコア（独自算出の注目度）: 0.351124620232225
• License:
• Abstract: Identifying customer needs (CNs) is important for product management, product development, and marketing. Applications rely on professional analysts interpreting textual data (e.g., interview transcripts, online reviews) to understand the nuances of customer experience and concisely formulate "jobs to be done." The task is cognitively complex and time-consuming. Current practice facilitates the process with keyword search and machine learning but relies on human judgment to formulate CNs. We examine whether Large Language Models (LLMs) can automatically extract CNs. Because evaluating CNs requires professional judgment, we partnered with a marketing consulting firm to conduct a blind study of CNs extracted by: (1) a foundational LLM with prompt engineering only (Base LLM), (2) an LLM fine-tuned with professionally identified CNs (SFT LLM), and (3) professional analysts. The SFT LLM performs as well as or better than professional analysts when extracting CNs. The extracted CNs are well-formulated, sufficiently specific to identify opportunities, and justified by source content (no hallucinations). The SFT LLM is efficient and provides more complete coverage of CNs. The Base LLM was not sufficiently accurate or specific. Organizations can rely on SFT LLMs to reduce manual effort, enhance the precision of CN articulation, and provide improved insight for innovation and marketing strategy.
• Abstract（参考訳）: 顧客ニーズ(CN)の特定は、製品管理、製品開発、マーケティングにおいて重要である。 アプリケーションは、顧客体験のニュアンスを理解し、簡潔に「行うべきジョーブ」を定式化するために、テキストデータ(例えば、インタビュー書、オンラインレビュー)を解釈する専門家のアナリストに依存している。 タスクは認知的に複雑で時間がかかります。 現在の実践はキーワード検索と機械学習によるプロセスを容易にするが、CNを定式化するには人間の判断に依存する。 大規模言語モデル(LLM)が自動的にCNを抽出できるかどうかを検討する。 CNの評価には専門的な判断が必要であるため、マーケティングコンサルティング会社と共同で、(1)迅速なエンジニアリングのみによる基礎的なLLM(Base LLM)、(2)専門的に特定されたCNを微調整したLLM(SFT LLM)、(3)専門アナリストによって抽出されたCNのブラインドスタディを実施している。 SFT LLMは、CNを抽出する際、プロのアナリストと同等以上の性能を発揮する。 抽出されたCNは、十分に形成され、機会を特定するのに十分特異であり、ソース内容(幻覚を含まない)によって正当化される。 SFT LLMは効率的で、より完全なCNのカバレッジを提供する。 ベースLSMは十分な正確さや特異性を持っていなかった。 組織は、手作業の削減、CN調音の精度の向上、イノベーションとマーケティング戦略に関する洞察の向上に、SFT LLMに頼ることができる。

関連論文リスト

• Exploring Knowledge Tracing in Tutor-Student Dialogues using LLMs [49.18567856499736]
  本研究では,大規模言語モデル(LLM)が対話学習を支援することができるかどうかを検討する。 我々は,学習者の知識レベルを対話全体にわたって追跡するために,ラベル付きデータに知識追跡(KT)手法を適用した。 我々は,2つの学習対話データセットの実験を行い,従来のKT手法よりも学生の反応の正しさを予測できる新しいLCM-based method LLMKTが優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-24T22:31:39Z)
• LUK: Empowering Log Understanding with Expert Knowledge from Large Language Models [32.65636568742875]
  小言語モデル (PLM) と大言語モデル (LLM) は、ログ分析における現在の主流のアプローチとなっている。 本稿では,LLMから専門知識を自動取得するLUKと呼ばれる新しい知識向上フレームワークを導入し,これらの知識を用いてログ解析を行うため,より小さなPLMを向上する。 LUKは、異なるログ分析タスクに関する最先端の結果を達成し、LLMからのエキスパート知識をより効果的に利用してログを理解するための広範な実験を行った。
  論文  参考訳（メタデータ） (2024-09-03T13:58:34Z)
• A Survey of Prompt Engineering Methods in Large Language Models for Different NLP Tasks [0.0]
  大規模言語モデル(LLM)は多くの異なる自然言語処理(NLP)タスクにおいて顕著なパフォーマンスを示している。 プロンプトエンジニアリングは、大きなパフォーマンス向上を達成するために、既に存在するLLMの能力に追加する上で重要な役割を担います。 本稿では、異なるプロンプト手法を要約し、それらが用いた異なるNLPタスクに基づいてそれらをまとめる。
  論文  参考訳（メタデータ） (2024-07-17T20:23:19Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• Linguistic Intelligence in Large Language Models for Telecommunications [5.06945923921948]
  自然言語処理(NLP)分野において,Large Language Models (LLMs) が大きな進歩を遂げている。 本研究は,電気通信分野におけるLLMの知識と理解能力を評価することを目的とする。 評価の結果,ゼロショットLLMは現状の細調整モデルに匹敵する性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2024-02-24T14:01:07Z)
• Using Large Language Models for Natural Language Processing Tasks in Requirements Engineering: A Systematic Guideline [2.6644624823848426]
  大規模言語モデル(LLM)は、要求工学(RE)タスクを自動化するための基盤となる。 本章は、LLMに関する本質的な知識を読者に提供することを目的としている。 学生、研究者、実践者が特定の目的に対処するためにLLMを活用するための包括的なガイドラインを提供する。
  論文  参考訳（メタデータ） (2024-02-21T14:00:52Z)
• Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
  本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。 パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。 ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
  論文  参考訳（メタデータ） (2024-02-19T11:11:08Z)
• Rethinking the Roles of Large Language Models in Chinese Grammatical Error Correction [62.409807640887834]
  中国語の文法的誤り訂正(CGEC)は、入力文中のすべての文法的誤りを修正することを目的としている。 CGECの修正器としてのLLMの性能は、課題の焦点が難しいため不満足なままである。 CGECタスクにおけるLCMの役割を再考し、CGECでよりよく活用し、探索できるようにした。
  論文  参考訳（メタデータ） (2024-02-18T01:40:34Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Using Large Language Models for Qualitative Analysis can Introduce Serious Bias [0.09208007322096534]
  大規模言語モデル(LLM)は急速に普及しつつあるが、社会科学研究の意義はまだよく分かっていない。 本稿では, バングラデシュのコックス・バザールにおけるロヒンギャ難民へのインタビューの書き起こしを応用して, オープンエンドインタビューから大規模Nの質的データを分析する上で, LLMが有効かどうかを問う。 LLMを使ってテキストに注釈を付けるには、誤解を招く可能性のあるバイアスを導入するリスクがあるため、非常に注意が必要であることが分かりました。
  論文  参考訳（メタデータ） (2023-09-29T11:19:15Z)
• How Can Recommender Systems Benefit from Large Language Models: A Survey [82.06729592294322]
  大きな言語モデル(LLM)は、印象的な汎用知性と人間のような能力を示している。 我々は,実世界のレコメンデータシステムにおけるパイプライン全体の観点から,この研究の方向性を包括的に調査する。
  論文  参考訳（メタデータ） (2023-06-09T11:31:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。