論文の概要: Reading Users' Minds from What They Say: An Investigation into LLM-based Empathic Mental Inference
- arxiv url: http://arxiv.org/abs/2403.13301v1
- Date: Wed, 20 Mar 2024 04:57:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-21 17:58:10.496837
- Title: Reading Users' Minds from What They Say: An Investigation into LLM-based Empathic Mental Inference
- Title(参考訳): ユーザの心を読む:LLMに基づく共感的メンタル推論の検討
- Authors: Qihao Zhu, Leah Chong, Maria Yang, Jianxi Luo,
- Abstract要約: 人間中心の設計では、ユーザエクスペリエンスの包括的で詳細な理解を開発することが最重要である。
人間の大きな集団の 精神状態の正確な理解は 今も重要な課題です
本稿では,大規模言語モデル(LLM)を用いたメンタル推論タスクの実施について検討する。
- 参考スコア(独自算出の注目度): 6.208698652041961
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In human-centered design, developing a comprehensive and in-depth understanding of user experiences, i.e., empathic understanding, is paramount for designing products that truly meet human needs. Nevertheless, accurately comprehending the real underlying mental states of a large human population remains a significant challenge today. This difficulty mainly arises from the trade-off between depth and scale of user experience research: gaining in-depth insights from a small group of users does not easily scale to a larger population, and vice versa. This paper investigates the use of Large Language Models (LLMs) for performing mental inference tasks, specifically inferring users' underlying goals and fundamental psychological needs (FPNs). Baseline and benchmark datasets were collected from human users and designers to develop an empathic accuracy metric for measuring the mental inference performance of LLMs. The empathic accuracy of inferring goals and FPNs of different LLMs with varied zero-shot prompt engineering techniques are experimented against that of human designers. Experimental results suggest that LLMs can infer and understand the underlying goals and FPNs of users with performance comparable to that of human designers, suggesting a promising avenue for enhancing the scalability of empathic design approaches through the integration of advanced artificial intelligence technologies. This work has the potential to significantly augment the toolkit available to designers during human-centered design, enabling the development of both large-scale and in-depth understanding of users' experiences.
- Abstract(参考訳): 人間中心設計において、ユーザー体験の包括的で深い理解、すなわち共感的理解は、本当に人間のニーズを満たす製品を設計するための最重要課題である。
それでも、大きな人間の心の状態を正確に理解することは、今日でも重要な課題である。
この困難は、主にユーザー体験研究の深さと規模の間のトレードオフから生じ、少数のユーザーグループから深い洞察を得ることは、より広い人口に容易にはスケールできない。
本稿では,大規模言語モデル(LLM)を用いて精神推論を行い,特にユーザの基本的目標と基礎的心理的ニーズ(FPN)を推定する。
ベースラインとベンチマークデータセットを人やデザイナーから収集し,LLMの精神的推論性能を測定するための共感的精度指標を開発した。
異なるゼロショットプロンプト技術を用いた異なるLDMの目標推定とFPNの共感的精度を,人間設計者に対して実験した。
実験結果から,LLMは人間の設計に匹敵する性能を持つユーザの基本的な目標やFPNを推測し,理解することができることが示唆された。
この研究は、人間中心の設計においてデザイナが利用できるツールキットを著しく強化する可能性があり、ユーザ体験の大規模かつ詳細な理解の開発を可能にする。
関連論文リスト
- Persona-DB: Efficient Large Language Model Personalization for Response
Prediction with Collaborative Data Refinement [82.56964750522161]
本稿では,タスクコンテキスト間の一般化を改善するため,階層的な構築プロセスからなるシンプルなフレームワークであるPersona-DBを紹介する。
応答予測のタスクでは,Persona-DBは,検索サイズを大幅に削減した精度を維持する上で,優れた効率性を示す。
我々の実験は、ユーザーが極めて少ないデータを持つ場合、コールドスタートシナリオで15%以上の顕著な改善が示されていることも示している。
論文 参考訳(メタデータ) (2024-02-16T20:20:43Z) - Chatbots in Knowledge-Intensive Contexts: Comparing Intent and LLM-Based
Systems [9.982795366770086]
認知アシスタント(CA)は、知識集約的なタスクにおいて、ヒューマンワーカーにコンテキスト認識のサポートを提供する。
自然言語処理(NLP)の最近の進歩により、CAはより柔軟で人間的な方法で会話できるようになる。
LLMベースのCAは、インテントベースのシステムよりも優れたユーザエクスペリエンス、タスク完了率、ユーザビリティ、認識パフォーマンスを示した。
論文 参考訳(メタデータ) (2024-02-07T15:39:07Z) - Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。
ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。
本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
論文 参考訳(メタデータ) (2023-11-08T20:41:18Z) - The Shifted and The Overlooked: A Task-oriented Investigation of
User-GPT Interactions [114.67699010359637]
実際のユーザクエリの大規模なコレクションをGPTに解析する。
ユーザインタラクションでは'設計'や'計画'といったタスクが一般的だが,従来のNLPベンチマークとは大きく異なる。
論文 参考訳(メタデータ) (2023-10-19T02:12:17Z) - Violation of Expectation via Metacognitive Prompting Reduces Theory of
Mind Prediction Error in Large Language Models [0.0]
大規模言語モデル(LLM)は、心の理論(ToM)タスクにおいて、魅力的な習熟度を示す。
この、観察不能な精神状態を他人に伝える能力は、人間の社会的認知に不可欠であり、人間と人工知能(AI)の主観的関係において同様に重要であることが証明される。
論文 参考訳(メタデータ) (2023-10-10T20:05:13Z) - Aligning Large Language Models with Human: A Survey [53.6014921995006]
広範囲なテキストコーパスで訓練されたLarge Language Models (LLM) は、幅広い自然言語処理(NLP)タスクの先導的なソリューションとして登場した。
その顕著な性能にもかかわらず、これらのモデルは、人間の指示を誤解したり、偏見のあるコンテンツを生成したり、事実的に誤った情報を生成するといった、ある種の制限を受ける傾向にある。
本調査では,これらのアライメント技術の概要について概観する。
論文 参考訳(メタデータ) (2023-07-24T17:44:58Z) - Unleashing the Emergent Cognitive Synergy in Large Language Models: A Task-Solving Agent through Multi-Persona Self-Collaboration [116.09561564489799]
Solo Performance Promptingは、複数のペルソナと多ターンの自己コラボレーションをすることで、単一のLCMを認知的シナジストに変換する。
認知シナジスト(英: Cognitive Synergist)は、複雑なタスクにおける問題解決を強化するために、複数の心の強みと知識を協調的に結合するインテリジェントエージェントである。
より詳細な分析により,LLMに複数の微粒なペルソナを割り当てることによって,単一あるいは固定数のペルソナに比べて問題解決能力が向上することが示された。
論文 参考訳(メタデータ) (2023-07-11T14:45:19Z) - Towards Fair and Explainable AI using a Human-Centered AI Approach [5.888646114353372]
分類システムと単語埋め込みにおける説明可能性と公平性の向上を目的とした5つの研究プロジェクトについて述べる。
最初のプロジェクトは、ローカルモデル説明を機械教師のインタフェースとして導入するユーティリティ/ダウンサイドについて検討する。
第二のプロジェクトは、因果性に基づくヒューマン・イン・ザ・ループ視覚ツールであるD-BIASを紹介し、データセットの社会的バイアスを特定し緩和する。
第3のプロジェクトは、グループに対するバイアスに対するトレーニング済みの静的単語埋め込みの監査を支援する、ビジュアルインタラクティブツールであるWordBiasを提示する。
4番目のプロジェクトは、ソーシャルを識別するビジュアル分析ツールDramatVis Personae
論文 参考訳(メタデータ) (2023-06-12T21:08:55Z) - User profile-driven large-scale multi-agent learning from demonstration
in federated human-robot collaborative environments [5.218882272051637]
本稿では,提示された人間の行動のきめ細かい表現を提供する,新しいユーザプロファイルの定式化について紹介する。
全体的な設計は、人間の行動の短期的および長期的分析/解釈を可能にする。
論文 参考訳(メタデータ) (2021-03-30T15:33:21Z) - Understanding the Usability Challenges of Machine Learning In
High-Stakes Decision Making [67.72855777115772]
機械学習(ML)は、多種多様な成長を続ける一連のドメインに適用されている。
多くの場合、MLやデータサイエンスの専門知識を持たないドメインの専門家は、ML予測を使用してハイステークな意思決定を行うように求められます。
児童福祉スクリーニングにおけるMLユーザビリティの課題について,児童福祉スクリーニング者との一連のコラボレーションを通じて検討する。
論文 参考訳(メタデータ) (2021-03-02T22:50:45Z) - The Role of Individual User Differences in Interpretable and Explainable
Machine Learning Systems [0.3169089186688223]
本研究では,機械学習が生成したモデル出力から,個人のスキルや性格特性が解釈可能性,説明可能性,知識発見をどのように予測するかを検討する。
我々の研究は、人間がどのように数値的な刺激を処理するかという主要な理論であるファジィ・トレース理論に依存している。
論文 参考訳(メタデータ) (2020-09-14T18:15:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。