論文の概要: Evaluating and Inducing Personality in Pre-trained Language Models
- arxiv url: http://arxiv.org/abs/2206.07550v3
- Date: Sun, 29 Oct 2023 04:39:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-01 01:40:30.194510
- Title: Evaluating and Inducing Personality in Pre-trained Language Models
- Title(参考訳): 事前学習型言語モデルにおけるパーソナリティの評価と誘導
- Authors: Guangyuan Jiang, Manjie Xu, Song-Chun Zhu, Wenjuan Han, Chi Zhang,
Yixin Zhu
- Abstract要約: 人間の個性理論を機械行動研究のツールとして活用することで,心理測定研究からインスピレーションを得た。
これらの疑問に答えるために,機械の動作を研究するためのMachine Personality Inventory(MPI)ツールを紹介した。
MPIは、ビッグファイブ・パーソナリティ・ファクター(Big Five Personality Factors、ビッグファイブ・パーソナリティ・ファクター)理論とパーソナリティ評価在庫に基づく標準化されたパーソナリティ・テストに従う。
パーソナリティ・プロンプト法(P2法)を考案し、特定のパーソナリティを持つLSMを制御可能な方法で誘導する。
- 参考スコア(独自算出の注目度): 78.19379997967191
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Standardized and quantified evaluation of machine behaviors is a crux of
understanding LLMs. In this study, we draw inspiration from psychometric
studies by leveraging human personality theory as a tool for studying machine
behaviors. Originating as a philosophical quest for human behaviors, the study
of personality delves into how individuals differ in thinking, feeling, and
behaving. Toward building and understanding human-like social machines, we are
motivated to ask: Can we assess machine behaviors by leveraging human
psychometric tests in a principled and quantitative manner? If so, can we
induce a specific personality in LLMs? To answer these questions, we introduce
the Machine Personality Inventory (MPI) tool for studying machine behaviors;
MPI follows standardized personality tests, built upon the Big Five Personality
Factors (Big Five) theory and personality assessment inventories. By
systematically evaluating LLMs with MPI, we provide the first piece of evidence
demonstrating the efficacy of MPI in studying LLMs behaviors. We further devise
a Personality Prompting (P^2) method to induce LLMs with specific personalities
in a controllable way, capable of producing diverse and verifiable behaviors.
We hope this work sheds light on future studies by adopting personality as the
essential indicator for various downstream tasks, and could further motivate
research into equally intriguing human-like machine behaviors.
- Abstract(参考訳): 機械の挙動の標準化と定量化はLLMの理解の要点である。
本研究では,人間の性格理論を機械行動研究の道具として活用し,心理計測からインスピレーションを得た。
人間の行動に対する哲学的な探求として始まり、個性の研究は個人が思考、感覚、行動においてどのように異なるかに焦点をあてる。
人間の心理測定を原則的かつ定量的に活用することで、マシンの挙動を評価できますか?
もしそうなら、LSMに特定の性格を誘導できるだろうか?
これらの質問に答えるために、機械の行動を研究するためのmpi(machine personality inventory)ツールを紹介し、mpiは5つの大きなパーソナリティ要素(big five)理論とパーソナリティアセスメントインベントリに基づいて、標準化されたパーソナリティテストに従っている。
LLMをMPIで体系的に評価することにより,本研究におけるMPIの有効性を示す最初の証拠を提供する。
さらに、特定の個性を持つllmを制御可能な方法で誘導するパーソナリティ促進法(p^2)を考案し、多様で検証可能な行動を生成する。
この研究は、さまざまな下流課題にパーソナリティを欠かせない指標として採用することで将来の研究に光を当て、人間のようなマシンの振る舞いを均等に学べることを願っている。
関連論文リスト
- Is Cognition and Action Consistent or Not: Investigating Large Language
Model's Personality [12.162460438332152]
本研究では,人格質問紙に対する回答を通じて,人格特性の証明における言語モデル(LLM)の信頼性について検討した。
我々のゴールは、LLMの人格傾向と実際の「行動」との整合性を評価することである。
本研究では,心理学的理論とメトリクスに基づく観察結果の仮説を提案する。
論文 参考訳(メタデータ) (2024-02-22T16:32:08Z) - Illuminating the Black Box: A Psychometric Investigation into the
Multifaceted Nature of Large Language Models [3.692410936160711]
本研究では,AIパーソナリティやAInalityの概念を探求し,Large Language Models(LLM)が人間のパーソナリティに似たパターンを示すことを示唆する。
プロジェクティブテストを用いて,直接質問を通じて容易にはアクセスできないLLM個性の隠れた側面を明らかにする。
機械学習解析の結果,LSMは異なるAinality特性を示し,多様な性格型を示し,外的指示に応答して動的に変化を示すことが明らかとなった。
論文 参考訳(メタデータ) (2023-12-21T04:57:21Z) - PsyCoT: Psychological Questionnaire as Powerful Chain-of-Thought for
Personality Detection [50.66968526809069]
PsyCoTと呼ばれる新しい人格検出手法を提案する。これは、個人がマルチターン対話方式で心理的質問を完遂する方法を模倣するものである。
実験の結果,PsyCoTは人格検出におけるGPT-3.5の性能とロバスト性を大幅に向上させることがわかった。
論文 参考訳(メタデータ) (2023-10-31T08:23:33Z) - Editing Personality for LLMs [95.04195851095481]
本稿では,Large Language Models (LLMs) の性格特性の編集に焦点をあてた革新的なタスクを紹介する。
この課題に対処するため、新しいベンチマークデータセットPersonalityEditを構築した。
論文 参考訳(メタデータ) (2023-10-03T16:02:36Z) - Who is ChatGPT? Benchmarking LLMs' Psychological Portrayal Using
PsychoBench [83.41621219298489]
大規模言語モデル(LLM)の多様な心理学的側面を評価するためのフレームワーク「サイコベンチ」を提案する。
サイコベンチはこれらの尺度を、性格特性、対人関係、モチベーションテスト、感情能力の4つのカテゴリーに分類する。
我々は、安全アライメントプロトコルをバイパスし、LLMの本質的な性質をテストするためにジェイルブレイクアプローチを採用している。
論文 参考訳(メタデータ) (2023-10-02T17:46:09Z) - Revisiting the Reliability of Psychological Scales on Large Language
Models [66.31055885857062]
本研究では,人格評価を大規模言語モデル(LLM)に適用する際の信頼性について検討する。
LLMのパーソナライズに光を当てることで、この分野での今後の探索の道を開くことに努める。
論文 参考訳(メタデータ) (2023-05-31T15:03:28Z) - Have Large Language Models Developed a Personality?: Applicability of
Self-Assessment Tests in Measuring Personality in LLMs [1.1316247605466567]
言語モデルでパーソナリティを測定するための適切なツールがまだないことを示す。
過去の研究は自己評価人格テストを通じてマシンパーソナリティを評価してきた。
論文 参考訳(メタデータ) (2023-05-24T03:53:43Z) - Machine Psychology: Investigating Emergent Capabilities and Behavior in
Large Language Models Using Psychological Methods [0.0]
大規模言語モデル(LLM)は、現在、人間のコミュニケーションと日常の生活を結び付けるAIシステムの最前線にある。
本稿では「機械心理学」と呼ばれる新しい研究分野を紹介する。
機械心理学研究の方法論的基準を定義しており、特にプロンプトデザインのポリシーに焦点を当てている。
論文 参考訳(メタデータ) (2023-03-24T13:24:41Z) - Can ChatGPT Assess Human Personalities? A General Evaluation Framework [70.90142717649785]
大きな言語モデル(LLM)は、様々な分野で印象的な成果を上げてきたが、その潜在的な人間のような心理学はいまだに研究されていない。
本稿では,Mers Briggs Type Indicator (MBTI) テストに基づく人格評価のための総合評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-01T06:16:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。