論文の概要: Is GPT-3 a Psychopath? Evaluating Large Language Models from a
Psychological Perspective
- arxiv url: http://arxiv.org/abs/2212.10529v1
- Date: Tue, 20 Dec 2022 18:45:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-21 14:18:34.370960
- Title: Is GPT-3 a Psychopath? Evaluating Large Language Models from a
Psychological Perspective
- Title(参考訳): GPT-3はサイコパスか?
心理学的観点からの大規模言語モデルの評価
- Authors: Xingxuan Li, Yutong Li, Linlin Liu, Lidong Bing, Shafiq Joty
- Abstract要約: 3つの異なる大言語モデル(LLM)の性格特性をテストする。
SD-3のスコアは平均よりも高く、相対的に暗い性格を示す。
BFIにおける正の回答を持つ命令ファインチューン FLAN-T5 は心理的観点から効果的にモデルを改善することができることを示す。
- 参考スコア(独自算出の注目度): 33.08106661469189
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Are large language models (LLMs) like GPT-3 psychologically safe? In this
work, we design unbiased prompts to evaluate LLMs systematically from a
psychological perspective. Firstly, we test the personality traits of three
different LLMs with Short Dark Triad (SD-3) and Big Five Inventory (BFI). We
find all of them show higher scores on SD-3 than the human average, indicating
a relatively darker personality. Furthermore, LLMs like InstructGPT and
FLAN-T5, which are fine-tuned with safety metrics, do not necessarily have more
positive personalities. They score higher on Machiavellianism and Narcissism
than GPT-3. Secondly, we test the LLMs in GPT-3 series on well-being tests to
study the impact of fine-tuning with more training data. Interestingly, we
observe a continuous increase in well-being scores from GPT-3 to InstructGPT.
Following the observations, we show that instruction-finetune FLAN-T5 with
positive answers in BFI can effectively improve the model from a psychological
perspective. Finally, we call on the community to evaluate and improve LLMs'
safety systematically instead of at the sentence level only.
- Abstract(参考訳): GPT-3のような大きな言語モデル(LLM)は心理的に安全か?
本研究では,心理学的観点からLLMを体系的に評価するための,偏りのないプロンプトを設計する。
まず,短い暗黒トライアド (SD-3) とビッグファイブインベントリ (BFI) の3種類のLLMの性格特性を検証した。
いずれも平均値よりもsd-3が高い値を示しており、性格は比較的暗くなっている。
さらに、安全基準を微調整した InstructGPT や FLAN-T5 のような LLM には、必ずしも肯定的な個性がない。
gpt-3よりもマキャベリア主義やナルシシズムが高い。
第2に, GPT-3 シリーズの LLM 実験を行い, さらなるトレーニングデータによる微調整の影響について検討した。
興味深いことに,GPT-3 から InstructGPT へのウェルビーイングスコアの連続的な増加が観察された。
観察の結果,BFIの正の回答を持つFLAN-T5は心理的観点から効果的にモデルを改善することができた。
最後に、文レベルのみではなく、LLMの安全性を体系的に評価し、改善するようコミュニティに呼びかける。
関連論文リスト
- Dissecting Human and LLM Preferences [80.55271307662365]
人間は誤りに敏感ではなく、自分の姿勢を支持する反応を好んでおり、モデルが限界を認めている場合、明確な嫌悪を示します。
GPT-4-Turboのような先進的なLCMは、より正確さ、明快さ、無害さを強調している。
嗜好に基づく評価は意図的に操作可能であることを示す。
論文 参考訳(メタデータ) (2024-02-17T14:34:31Z) - Efficiently Measuring the Cognitive Ability of LLMs: An Adaptive Testing
Perspective [63.92197404447808]
大きな言語モデル(LLM)は、人間のような認知能力を示している。
LLM評価のための適応テストフレームワークを提案する。
このアプローチは、モデルの性能に基づいて、難易度などのテスト問題の特徴を動的に調整する。
論文 参考訳(メタデータ) (2023-06-18T09:54:33Z) - An Empirical Analysis of Parameter-Efficient Methods for Debiasing
Pre-Trained Language Models [55.14405248920852]
各種言語モデルとバイアスタイプを用いたプレフィックスチューニング,プロンプトチューニング,アダプタチューニングによる実験を行い,その性能評価を行った。
パラメータ効率のよい手法は、適応調整が常に最も効果的であるジェンダーバイアスを軽減するのに有効であることがわかった。
また、早急なチューニングは、BERTよりもGPT-2に適しており、人種的・宗教的偏見に関しては、人種的・宗教的偏見が低いことが判明した。
論文 参考訳(メタデータ) (2023-06-06T23:56:18Z) - Systematic Evaluation of GPT-3 for Zero-Shot Personality Estimation [12.777659013330823]
GPT-3は、ユーザのソーシャルメディア投稿からBig 5の性格特性を推定するために使用される。
GPT-3の性能は、広く分類するために既存の訓練済みのSotAに近いことが判明した。
我々は、GPT-3が事前訓練された語彙モデルよりも優れた性能を示し、体系的な誤りを説明できる。
論文 参考訳(メタデータ) (2023-06-01T22:43:37Z) - Revisiting the Reliability of Psychological Scales on Large Language
Models [66.31055885857062]
本研究では,人格評価を大規模言語モデル(LLM)に適用する際の信頼性について検討する。
LLMのパーソナライズに光を当てることで、この分野での今後の探索の道を開くことに努める。
論文 参考訳(メタデータ) (2023-05-31T15:03:28Z) - Prompting GPT-3 To Be Reliable [117.23966502293796]
この研究は信頼性を一般化可能性、公平性、校正性、事実性という4つの側面に分解する。
GPT-3はこれらすべての面において,より小型の教師付きモデルよりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-10-17T14:52:39Z) - Evaluating the Susceptibility of Pre-Trained Language Models via
Handcrafted Adversarial Examples [0.0]
我々は、GPT-3の公開リリースにおける重大なセキュリティ脆弱性を強調し、この脆弱性を他の最先端のPLMで調査する。
我々は,トークン距離最小化摂動を,教師なしと教師なしの両方の品質対策を回避し,効果的な敵対的アプローチとして評価する。
論文 参考訳(メタデータ) (2022-09-05T20:29:17Z) - Using cognitive psychology to understand GPT-3 [0.0]
我々は認知心理学のツールを用いて,近年の大規模言語モデルであるGPT-3を研究した。
我々は, GPT-3の意思決定, 情報探索, 検討, 因果推論能力を評価する。
論文 参考訳(メタデータ) (2022-06-21T20:06:03Z) - Thinking about GPT-3 In-Context Learning for Biomedical IE? Think Again [24.150464908060112]
本研究は,GPT-3のテキスト内学習を小型(BERTサイズ)PLMと比較した最初の体系的,包括的研究である。
以上の結果から, GPT-3 は, 小型 PLM の微調整に比べてまだ性能が劣っていることが示唆された。
論文 参考訳(メタデータ) (2022-03-16T05:56:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。