論文の概要: Exploring the Potential of Human-LLM Synergy in Advancing Qualitative Analysis: A Case Study on Mental-Illness Stigma
- arxiv url: http://arxiv.org/abs/2405.05758v1
- Date: Thu, 9 May 2024 13:27:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-10 13:23:01.095214
- Title: Exploring the Potential of Human-LLM Synergy in Advancing Qualitative Analysis: A Case Study on Mental-Illness Stigma
- Title(参考訳): 質的分析の促進におけるヒトLLMシナジーの可能性を探る:精神疾患スティグマを事例として
- Authors: Han Meng, Yitian Yang, Yunan Li, Jungup Lee, Yi-Chieh Lee,
- Abstract要約: 大規模言語モデル(LLM)は、既存のスキーム内で定性的なコーディングを行うことができるが、協調的な人間-LLM発見の可能性はまだ探索されていない。
我々は,人間とLLMの協調パラダイムを活用して,概念化を促進し,質的研究を促進する新しい手法であるCHALETを提案する。
- 参考スコア(独自算出の注目度): 6.593116883521213
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Qualitative analysis is a challenging, yet crucial aspect of advancing research in the field of Human-Computer Interaction (HCI). Recent studies show that large language models (LLMs) can perform qualitative coding within existing schemes, but their potential for collaborative human-LLM discovery and new insight generation in qualitative analysis is still underexplored. To bridge this gap and advance qualitative analysis by harnessing the power of LLMs, we propose CHALET, a novel methodology that leverages the human-LLM collaboration paradigm to facilitate conceptualization and empower qualitative research. The CHALET approach involves LLM-supported data collection, performing both human and LLM deductive coding to identify disagreements, and performing collaborative inductive coding on these disagreement cases to derive new conceptual insights. We validated the effectiveness of CHALET through its application to the attribution model of mental-illness stigma, uncovering implicit stigmatization themes on cognitive, emotional and behavioral dimensions. We discuss the implications for future research, methodology, and the transdisciplinary opportunities CHALET presents for the HCI community and beyond.
- Abstract(参考訳): 定性的分析は、ヒューマン・コンピュータ・インタラクション(HCI)分野の研究を進める上で、難しいが重要な側面である。
近年の研究では、大規模言語モデル(LLM)が既存のスキーム内で定性的なコーディングを行うことが可能であることが示されているが、人間のLLM発見と定性分析における新たな洞察生成の可能性はまだ未定である。
このギャップを埋め、LCMの力を利用して定性分析を進めていくために、人間とLLMの協調パラダイムを活用する新しい方法論であるCHALETを提案する。
CHALETのアプローチは、LLMがサポートしているデータ収集、人間とLLMの両方の導出的符号化による不一致の特定、そしてこれらの不一致のケースでの協調的帰納的符号化による新しい概念的洞察の導出である。
本研究は,CHALETの有効性を,認知,感情,行動次元に関する暗黙のシュティグマ化テーマを明らかにするメンタル・イリネス・スティグマの帰属モデルに適用することで検証した。
我々は,CHALETがHCIコミュニティ等に提示する,今後の研究,方法論,学際的機会の意義について論じる。
関連論文リスト
- Word Synchronization Challenge: A Benchmark for Word Association Responses for LLMs [4.352318127577628]
本稿では,人-コンピュータインタラクション(HCI)における大規模言語モデル(LLM)を評価するための新しいベンチマークであるWord Synchronization Challengeを紹介する。
このベンチマークでは、動的ゲームライクなフレームワークを使用して、単語アソシエーションを通じて人間の認知プロセスを模倣するLLMの能力をテストする。
論文 参考訳(メタデータ) (2025-02-12T11:30:28Z) - Moving Beyond LDA: A Comparison of Unsupervised Topic Modelling Techniques for Qualitative Data Analysis of Online Communities [5.288687501686693]
ソーシャルメディアは質的な研究者にとって豊かで影響力のある情報源となっている。
トピックモデリングのような計算技術は、ソーシャルメディアコンテンツの量と多様性を管理するのに役立ちます。
本稿では,高度大規模言語モデル(LLM)に基づくトピックモデリング技術であるBERTopicが,ソーシャルメディアの質的データ分析をどのようにサポートするかを検討する。
論文 参考訳(メタデータ) (2024-12-19T03:19:18Z) - Large Language Model for Qualitative Research -- A Systematic Mapping Study [3.302912592091359]
先進的な生成AIを駆使した大規模言語モデル(LLM)がトランスフォーメーションツールとして登場した。
本研究は, LLMを用いた定性的研究に関する文献を体系的にマッピングする。
LLMは様々な分野にまたがって利用されており、プロセスの自動化の可能性を示している。
論文 参考訳(メタデータ) (2024-11-18T21:28:00Z) - Multimodal Fusion with LLMs for Engagement Prediction in Natural Conversation [70.52558242336988]
我々は,不関心や混乱の兆候を検出することを目的として,言語的および非言語的手がかりを精査することにより,ダイアディック的相互作用における係り合いを予測することに焦点を当てた。
本研究では,カジュアルなダイアディック会話に携わる34人の参加者を対象に,各会話の最後に自己報告されたエンゲージメント評価を行うデータセットを収集する。
大規模言語モデル(LLMs)を用いた新たな融合戦略を導入し,複数行動モダリティをマルチモーダル・トランスクリプトに統合する。
論文 参考訳(メタデータ) (2024-09-13T18:28:12Z) - Large Language Models and Cognitive Science: A Comprehensive Review of Similarities, Differences, and Challenges [14.739357670600102]
本稿では,Large Language Models(LLM)と認知科学の交わりについて概観する。
我々は,LLMの認知能力を評価する手法を分析し,認知モデルとしての可能性について議論する。
我々はLLMの認知バイアスと限界を評価し,その性能向上手法を提案する。
論文 参考訳(メタデータ) (2024-09-04T02:30:12Z) - PersLLM: A Personified Training Approach for Large Language Models [66.16513246245401]
社会実践, 一貫性, 動的発達という, 心理学に根ざした個性の原則を統合したPersLLMを提案する。
モデルパラメータに直接パーソナリティ特性を組み込み、誘導に対するモデルの抵抗性を高め、一貫性を高め、パーソナリティの動的進化を支援する。
論文 参考訳(メタデータ) (2024-07-17T08:13:22Z) - Evaluating Human-AI Collaboration: A Review and Methodological Framework [4.41358655687435]
人間-AIコラボレーション(Human-AI Collaboration、HAIC)として知られる個人との作業環境における人工知能(AI)の利用が不可欠である。
HAICの有効性を評価することは、関連するコンポーネントの複雑な相互作用のため、依然として困難である。
本稿では,既存のHAIC評価手法を詳細に分析し,これらのシステムをより効果的に評価するための新しいパラダイムを開発する。
論文 参考訳(メタデータ) (2024-07-09T12:52:22Z) - Coding for Intelligence from the Perspective of Category [66.14012258680992]
符号化の対象はデータの圧縮と再構成、インテリジェンスである。
最近の傾向は、これらの2つの分野の潜在的均一性を示している。
本稿では,カテゴリ理論の観点から,インテリジェンスのためのコーディングの新たな問題を提案する。
論文 参考訳(メタデータ) (2024-07-01T07:05:44Z) - RLHF Deciphered: A Critical Analysis of Reinforcement Learning from Human Feedback for LLMs [49.386699863989335]
大きな言語モデル(LLM)を訓練し、人間の効果的なアシスタントとして機能させるには、慎重に検討する必要がある。
有望なアプローチとして、人間からのフィードバック(RLHF)からの強化学習がある。
本稿では、強化学習原理のレンズを通してRLHFを分析し、その基礎を理解する。
論文 参考訳(メタデータ) (2024-04-12T15:54:15Z) - Large Language Model-based Human-Agent Collaboration for Complex Task
Solving [94.3914058341565]
複雑なタスク解決のためのLarge Language Models(LLM)に基づくヒューマンエージェントコラボレーションの問題を紹介する。
Reinforcement Learning-based Human-Agent Collaboration method, ReHACを提案する。
このアプローチには、タスク解決プロセスにおける人間の介入の最も急進的な段階を決定するために設計されたポリシーモデルが含まれている。
論文 参考訳(メタデータ) (2024-02-20T11:03:36Z) - Rethinking Model Evaluation as Narrowing the Socio-Technical Gap [47.632123167141245]
モデル評価の実践は、この均質化によってもたらされる課題や責任に対処するために、重要なタスクを負わなければならない、と我々は主張する。
我々は,現実の文脈と人間の要求に基づく評価手法の開発をコミュニティに促す。
論文 参考訳(メタデータ) (2023-06-01T00:01:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。