論文の概要: Is ChatGPT a Good Personality Recognizer? A Preliminary Study
- arxiv url: http://arxiv.org/abs/2307.03952v2
- Date: Wed, 26 Jul 2023 18:02:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-28 19:20:58.088882
- Title: Is ChatGPT a Good Personality Recognizer? A Preliminary Study
- Title（参考訳）: ChatGPTは人格認識に優れているか?
予備的研究
- Authors: Yu Ji, Wen Wu, Hong Zheng, Yi Hu, Xi Chen, Liang He
- Abstract要約: 本研究では,ChatGPTが与えられたテキストから人格を認識する能力について検討する。
我々は、ChatGPTが与えられたテキストから人格を認識する能力を調べるために、様々なプロンプト戦略を採用している。
- 参考スコア（独自算出の注目度）: 17.123907374079547
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, personality has been regarded as a valuable personal factor
being incorporated into numerous tasks such as sentiment analysis and product
recommendation. This has led to widespread attention to text-based personality
recognition task, which aims to identify an individual's personality based on
given text. Considering that ChatGPT has recently exhibited remarkable
abilities on various natural language processing tasks, we provide a
preliminary evaluation of ChatGPT on text-based personality recognition task
for generating effective personality data. Concretely, we employ a variety of
prompting strategies to explore ChatGPT's ability in recognizing personality
from given text, especially the level-oriented prompting strategy we designed
for guiding ChatGPT in analyzing given text at a specified level. The
experimental results on two representative real-world datasets reveal that
ChatGPT with zero-shot chain-of-thought prompting exhibits impressive
personality recognition ability and is capable to provide natural language
explanations through text-based logical reasoning. Furthermore, by employing
the level-oriented prompting strategy to optimize zero-shot chain-of-thought
prompting, the performance gap between ChatGPT and corresponding
state-of-the-art model has been narrowed even more. However, we observe that
ChatGPT shows unfairness towards certain sensitive demographic attributes such
as gender and age. Additionally, we discover that eliciting the personality
recognition ability of ChatGPT helps improve its performance on
personality-related downstream tasks such as sentiment classification and
stress prediction.
- Abstract（参考訳）: 近年、パーソナリティは感情分析や製品のレコメンデーションといった多くのタスクに組み込まれている価値ある個人的要因とみなされている。
これは、与えられたテキストに基づいて個人のパーソナリティを識別することを目的とした、テキストベースのパーソナリティ認識タスクに広く注目されている。
近年,ChatGPTが様々な自然言語処理タスクにおいて顕著な能力を発揮していることを考慮し,テキストに基づく人格認識タスクにおけるChatGPTの予備評価を行い,効果的な人格データを生成する。
具体的には,ChatGPTが与えられたテキストから人格を認識する能力,特に所定レベルでの分析においてChatGPTを導くために設計されたレベル指向のプロンプト戦略を探索する。
2つの代表的な実世界のデータセットにおける実験結果から,ゼロショット・チェーン・オブ・マインド・プロンプトのchatgptは印象的なパーソナリティ認識能力を示し,テキストに基づく論理推論を通じて自然言語説明を提供できることが明らかとなった。
さらに、ゼロショットチェーン・オブ・シークレット・プロンプトを最適化するためのレベル指向プロンプト戦略を利用することで、ChatGPTとそれに対応する最先端モデルのパフォーマンスギャップをさらに狭めている。
しかし、ChatGPTは、性別や年齢などの特定のセンシティブな属性に対して不公平である。
また,チャットgptのパーソナリティ認識能力の解明は,感情分類やストレス予測などのパーソナリティ関連下流タスクにおけるパフォーマンスの向上に寄与することがわかった。
関連論文リスト
- Can ChatGPT Read Who You Are? [10.577227353680994]
チェコ語で書かれたテキストを代表とする総合的なユーザスタディの結果を155人のサンプルで報告した。
本研究は,ChatGPTによる性格特性推定と人間による評価とを比較し,テキストから人格特性を推定する際のChatGPTの競争性能を報告する。
論文 参考訳（メタデータ） (2023-12-26T14:43:04Z) - PsyCoT: Psychological Questionnaire as Powerful Chain-of-Thought for
Personality Detection [50.66968526809069]
PsyCoTと呼ばれる新しい人格検出手法を提案する。これは、個人がマルチターン対話方式で心理的質問を完遂する方法を模倣するものである。
実験の結果,PsyCoTは人格検出におけるGPT-3.5の性能とロバスト性を大幅に向上させることがわかった。
論文 参考訳（メタデータ） (2023-10-31T08:23:33Z) - Is ChatGPT Involved in Texts? Measure the Polish Ratio to Detect
ChatGPT-Generated Text [48.36706154871577]
我々はHPPT(ChatGPT-polished academic abstracts)と呼ばれる新しいデータセットを紹介する。
純粋なChatGPT生成テキストの代わりに、人書きとChatGPTポリケートされた抽象文のペアを構成することで、既存のコーパスから分岐する。
また,ChatGPTによる修正の度合いを,オリジナルの人文テキストと比較した革新的な尺度であるPolish Ratio法を提案する。
論文 参考訳（メタデータ） (2023-07-21T06:38:37Z) - ChatGPT vs Human-authored Text: Insights into Controllable Text
Summarization and Sentence Style Transfer [8.64514166615844]
2つの制御可能な生成タスクにおいてChatGPTの性能を体系的に検査する。
生成したテキストの忠実度を評価し、そのモデルの性能を人間によるテキストと比較する。
テキストを特定のスタイルに適合させる際に、ChatGPTは時に事実的誤りや幻覚を取り入れている。
論文 参考訳（メタデータ） (2023-06-13T14:21:35Z) - To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。
我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。
評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
論文 参考訳（メタデータ） (2023-04-04T03:04:28Z) - Is ChatGPT A Good Keyphrase Generator? A Preliminary Study [51.863368917344864]
ChatGPTは最近、計算言語学コミュニティから大きな注目を集めている。
我々は、キーフレーズ生成プロンプト、キーフレーズ生成の多様性、長い文書理解など、様々な面でその性能を評価する。
その結果、ChatGPTは6つのプロンプトすべてに対して非常によく機能し、データセット間で小さなパフォーマンス差が観測されていることがわかった。
論文 参考訳（メタデータ） (2023-03-23T02:50:38Z) - Exploring ChatGPT's Ability to Rank Content: A Preliminary Study on
Consistency with Human Preferences [6.821378903525802]
ChatGPTは、コンテンツ評価における精度と信頼性の顕著なレベルを一貫して証明している。
幅広いユースケースをカバーするプロンプトからなるテストセットを作成し、5つのモデルを使用して対応する応答を生成する。
テストセットの結果は、ChatGPTのランク設定が人間とある程度一致していることを示している。
論文 参考訳（メタデータ） (2023-03-14T03:13:02Z) - ChatGPT: Jack of all trades, master of none [4.693597927153063]
OpenAIはChat Generative Pre-trained Transformer (ChatGPT)をリリースした。
25種類のNLPタスクにおけるChatGPTの機能について検討した。
われわれはChatGPTとGPT-4のプロンプト処理を自動化し,49k以上の応答を解析した。
論文 参考訳（メタデータ） (2023-02-21T15:20:37Z) - Can ChatGPT Understand Too? A Comparative Study on ChatGPT and
Fine-tuned BERT [103.57103957631067]
チャットGPTは、人間の質問に対する流動的で高品質な応答を生成できるため、大きな注目を集めている。
そこで我々は,ChatGPTの理解能力を,最も人気のあるGLUEベンチマークで評価し,より詳細な4種類のBERTスタイルのモデルと比較した。
2)ChatGPTは,感情分析や質問応答タスクにおいて,BERTと同等のパフォーマンスを達成している。
論文 参考訳（メタデータ） (2023-02-19T12:29:33Z) - Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。
近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。
ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
論文 参考訳（メタデータ） (2023-02-08T09:44:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。