論文の概要: Predicting the Big Five Personality Traits in Chinese Counselling Dialogues Using Large Language Models
- arxiv url: http://arxiv.org/abs/2406.17287v1
- Date: Tue, 25 Jun 2024 05:30:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-26 15:31:28.581019
- Title: Predicting the Big Five Personality Traits in Chinese Counselling Dialogues Using Large Language Models
- Title（参考訳）: 大規模言語モデルを用いた中国語販売対話における5つの大きな人格特性の予測
- Authors: Yang Yan, Lizhi Ma, Anqi Li, Jingsong Ma, Zhenzhong Lan,
- Abstract要約: 本研究では,ラージ言語モデル(LLM)がカウンセリング対話から直接,ビッグファイブの性格特性を予測できるかどうかを検証した。
本フレームワークは,カウンセリングセッションにおけるLLMの条件付けにロールプレイとアンケートに基づくプロンプトを適用した。
我々のモデルは130.95%の改善を実現し、現在最先端のQwen1.5-110Bを36.94%上回った。
- 参考スコア（独自算出の注目度）: 14.04596228819108
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Accurate assessment of personality traits is crucial for effective psycho-counseling, yet traditional methods like self-report questionnaires are time-consuming and biased. This study exams whether Large Language Models (LLMs) can predict the Big Five personality traits directly from counseling dialogues and introduces an innovative framework to perform the task. Our framework applies role-play and questionnaire-based prompting to condition LLMs on counseling sessions, simulating client responses to the Big Five Inventory. We evaluated our framework on 853 real-world counseling sessions, finding a significant correlation between LLM-predicted and actual Big Five traits, proving the validity of framework. Moreover, ablation studies highlight the importance of role-play simulations and task simplification via questionnaires in enhancing prediction accuracy. Meanwhile, our fine-tuned Llama3-8B model, utilizing Direct Preference Optimization with Supervised Fine-Tuning, achieves a 130.95\% improvement, surpassing the state-of-the-art Qwen1.5-110B by 36.94\% in personality prediction validity. In conclusion, LLMs can predict personality based on counseling dialogues. Our code and model are publicly available at \url{https://github.com/kuri-leo/BigFive-LLM-Predictor}, providing a valuable tool for future research in computational psychometrics.
- Abstract（参考訳）: 人格特性の正確な評価は効果的な心理カウンセリングには不可欠であるが、自己報告型アンケートのような従来の方法には時間とバイアスが伴う。
本研究では,大言語モデル(LLM)がカウンセリング対話から直接,ビッグファイブの性格特性を予測できるかどうかを検証し,その課題を実行するための革新的な枠組みを導入する。
本フレームワークは,カウンセリングセッションにおけるLCMの条件付けにロールプレイとアンケートに基づくプロンプトを適用し,Big Five Inventoryに対するクライアントの反応をシミュレートする。
実世界853回のカウンセリングセッションにおいて, LLM予測特性と実際の5つの特徴との間に有意な相関関係がみられ, フレームワークの有効性が証明された。
さらに、アブレーション研究は、予測精度を高めるために、ロールプレイシミュレーションと質問紙によるタスク単純化の重要性を強調している。
一方、スーパーバイザード・ファイン・チューニングを用いた直接選好最適化を用いた微調整Llama3-8Bモデルでは、Qwen1.5-110Bを36.94 %上回り、130.95 %の改善を実現している。
結論として、LLMはカウンセリング対話に基づいて性格を予測することができる。
我々のコードとモデルは \url{https://github.com/kuri-leo/BigFive-LLM-Predictor} で公開されている。
関連論文リスト
- Orca: Enhancing Role-Playing Abilities of Large Language Models by Integrating Personality Traits [4.092862870428798]
我々は,人格特性を統合することで,カスタム文字のLLMをデータ処理し,訓練するためのフレームワークOrcaを提案する。
Orcaは4つのステージで構成されている。 パーソナリティ特性の推測、LCMの活用により、ユーザのBigFiveパーソナリティ特性のレポートとスコアを推測する。
提案手法は,本ベンチマークにおいて優れた性能を示すことを示す。
論文 参考訳（メタデータ） (2024-11-15T07:35:47Z) - Rediscovering the Latent Dimensions of Personality with Large Language Models as Trait Descriptors [4.814107439144414]
大規模言語モデル(LLM)における潜在人格次元を明らかにする新しいアプローチを提案する。
実験の結果, LLMは, 直接アンケート入力に頼ることなく, 外転, 同意性, 良性, 神経性, 開放性などの中核的性格を「発見」することがわかった。
抽出した主成分を用いて、ビッグファイブ次元に沿ったパーソナリティを評価し、微調整モデルよりも平均的なパーソナリティ予測精度を最大5%向上させることができる。
論文 参考訳（メタデータ） (2024-09-16T00:24:40Z) - Evaluating Interventional Reasoning Capabilities of Large Language Models [58.52919374786108]
大規模言語モデル(LLM)は、システムの異なる部分への介入の下で因果効果を推定することができる。
LLMが介入に応じてデータ生成プロセスの知識を正確に更新できるかどうかを実証分析して評価する。
我々は、様々な因果グラフ(例えば、コンバウンディング、仲介)と変数タイプにまたがるベンチマークを作成し、介入に基づく推論の研究を可能にする。
論文 参考訳（メタデータ） (2024-04-08T14:15:56Z) - A Novel Nuanced Conversation Evaluation Framework for Large Language Models in Mental Health [42.711913023646915]
大規模言語モデル(LLM)のニュアンス会話能力を評価するための新しい枠組みを提案する。
そこで我々は,心理療法の会話分析文献を用いた文献から開発された,一連の定量的指標を開発した。
GPTモデルやLlamaモデルを含むいくつかの人気のあるフロンティアLCMを、検証されたメンタルヘルスデータセットを通じて評価するために、当社のフレームワークを使用します。
論文 参考訳（メタデータ） (2024-03-08T23:46:37Z) - PsyCoT: Psychological Questionnaire as Powerful Chain-of-Thought for
Personality Detection [50.66968526809069]
PsyCoTと呼ばれる新しい人格検出手法を提案する。これは、個人がマルチターン対話方式で心理的質問を完遂する方法を模倣するものである。
実験の結果,PsyCoTは人格検出におけるGPT-3.5の性能とロバスト性を大幅に向上させることがわかった。
論文 参考訳（メタデータ） (2023-10-31T08:23:33Z) - Generative Judge for Evaluating Alignment [84.09815387884753]
本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。
我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。
実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
論文 参考訳（メタデータ） (2023-10-09T07:27:15Z) - Large Language Models Can Infer Psychological Dispositions of Social Media Users [1.0923877073891446]
GPT-3.5とGPT-4は、ゼロショット学習シナリオにおいて、ユーザのFacebookステータス更新からビッグファイブの性格特性を導出できるかどうかを検証する。
その結果, LLM-inferred と self-reported trait score の間には r =.29 (range = [.22,.33]) の相関が認められた。
予測は、いくつかの特徴について、女性と若い個人にとってより正確であることが判明し、基礎となるトレーニングデータやオンライン自己表現の違いから生じる潜在的なバイアスが示唆された。
論文 参考訳（メタデータ） (2023-09-13T01:27:48Z) - Revisiting the Reliability of Psychological Scales on Large Language Models [62.57981196992073]
本研究の目的は,大規模言語モデルにパーソナリティアセスメントを適用することの信頼性を明らかにすることである。
GPT-3.5、GPT-4、Gemini-Pro、LLaMA-3.1などのモデル毎の2,500設定の分析により、様々なLCMがビッグファイブインベントリに応答して一貫性を示すことが明らかになった。
論文 参考訳（メタデータ） (2023-05-31T15:03:28Z) - Rethinking the Evaluation for Conversational Recommendation in the Era
of Large Language Models [115.7508325840751]
近年の大規模言語モデル(LLM)の成功は、より強力な対話レコメンデーションシステム(CRS)を開発する大きな可能性を示している。
本稿では,ChatGPTの会話レコメンデーションへの活用について検討し,既存の評価プロトコルが不十分であることを明らかにする。
LLMをベースとしたユーザシミュレータを用いた対話型評価手法iEvaLMを提案する。
論文 参考訳（メタデータ） (2023-05-22T15:12:43Z) - Pragmatic competence of pre-trained language models through the lens of
discourse connectives [4.917317902787791]
事前学習型言語モデル(LM)がNLPを支配し続けているため、これらのモデルにおける言語機能の深さを理解することがますます重要である。
談話接続性を予測するために実用的手がかりを使用するモデルの能力をテストすることに注力する。
自然に発生するデータのコンテキストにおいて、モデルが結合性を合理的に予測するが、高レベルの実用的手がかりを分離するためにコンテキストを制御する場合、モデル感度ははるかに低い。
論文 参考訳（メタデータ） (2021-09-27T11:04:41Z) - Learning an Effective Context-Response Matching Model with
Self-Supervised Tasks for Retrieval-based Dialogues [88.73739515457116]
我々は,次のセッション予測,発話復元,不整合検出,一貫性判定を含む4つの自己教師型タスクを導入する。
我々はPLMに基づく応答選択モデルとこれらの補助タスクをマルチタスク方式で共同で訓練する。
実験結果から,提案した補助的自己教師型タスクは,多ターン応答選択において大きな改善をもたらすことが示された。
論文 参考訳（メタデータ） (2020-09-14T08:44:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。