論文の概要: Stick to your Role! Stability of Personal Values Expressed in Large Language Models
- arxiv url: http://arxiv.org/abs/2402.14846v4
- Date: Wed, 28 Aug 2024 14:04:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-29 21:09:20.806952
- Title: Stick to your Role! Stability of Personal Values Expressed in Large Language Models
- Title(参考訳): 役割に固執! 大規模言語モデルで表現される個人的価値の安定性
- Authors: Grgur Kovač, Rémy Portelas, Masataka Sawayama, Peter Ford Dominey, Pierre-Yves Oudeyer,
- Abstract要約: 異なる文脈における値表現の安定性に関するケーススタディを提案する。
心理学的手法を用いて,人口のランク順安定性について検討した。
モデルおよびモデルファミリーの安定性における一貫した傾向を観察する。
- 参考スコア(独自算出の注目度): 19.516125296160638
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The standard way to study Large Language Models (LLMs) with benchmarks or psychology questionnaires is to provide many different queries from similar minimal contexts (e.g. multiple choice questions). However, due to LLMs' highly context-dependent nature, conclusions from such minimal-context evaluations may be little informative about the model's behavior in deployment (where it will be exposed to many new contexts). We argue that context-dependence (specifically, value stability) should be studied as a specific property of LLMs and used as another dimension of LLM comparison (alongside others such as cognitive abilities, knowledge, or model size). We present a case-study on the stability of value expression over different contexts (simulated conversations on different topics) as measured using a standard psychology questionnaire (PVQ) and on behavioral downstream tasks. Reusing methods from psychology, we study Rank-order stability on the population (interpersonal) level, and Ipsative stability on the individual (intrapersonal) level. We consider two settings (with and without instructing LLMs to simulate particular personas), two simulated populations, and three downstream tasks. We observe consistent trends in the stability of models and model families - Mixtral, Mistral, GPT-3.5 and Qwen families are more stable than LLaMa-2 and Phi. The consistency of these trends implies that some models exhibit higher value stability than others, and that stability can be estimated with the set of introduced methodological tools. When instructed to simulate particular personas, LLMs exhibit low Rank-order stability, which further diminishes with conversation length. This highlights the need for future research on LLMs that coherently simulate different personas. This paper provides a foundational step in that direction, and, to our knowledge, it is the first study of value stability in LLMs.
- Abstract(参考訳): ベンチマークや心理調査でLLM(Large Language Models)を研究する標準的な方法は、同様の最小限のコンテキスト(例えば複数の選択質問)から多くの異なるクエリを提供することである。
しかし、LLMの高度にコンテキストに依存した性質のため、そのような最小限のコンテキスト評価からの結論は、デプロイ中のモデルの振る舞い(多くの新しいコンテキストに露呈する)についてほとんど情報がないかもしれない。
我々は、文脈依存(特に価値安定性)は、LLMの特定の特性として研究されるべきであり、LLMの比較の別の次元(認知能力、知識、モデルサイズなど)として使用されるべきであると論じる。
本稿では,標準的な心理質問紙(PVQ)と行動下流タスクを用いて,異なる文脈(異なる話題に関する模擬会話)における価値表現の安定性について事例研究を行った。
心理学的手法を用いて,集団(対人)レベルでのランク順の安定性,個人(対人)レベルでのIpsative stabilityについて検討した。
2つの設定(LLMに特定のペルソナをシミュレートするよう指示しない)、2つのシミュレートされた集団、そして3つの下流タスクについて検討する。
LLaMa-2 や Phi よりも混合系,ミストラル系, GPT-3.5 および Qwen 系の方が安定である。
これらの傾向の整合性は、いくつかのモデルが他のモデルよりも高い価値安定性を示し、導入した方法論ツールのセットで安定性を推定できることを示している。
特定のペルソナをシミュレートするように指示されると、LLMは低いランク順安定性を示し、会話の長さによってさらに減少する。
これは、異なるペルソナをコヒーレントにシミュレートするLSMに関する将来の研究の必要性を強調している。
本稿は、その方向性の基本的なステップを提供し、我々の知る限り、LLMにおける価値の安定性に関する最初の研究である。
関連論文リスト
- Are Large Language Models Chameleons? [1.5727456947901746]
我々は,プロンプトがバイアスや多様性に与える影響が基本であり,文化的,年齢的,性別的バイアスが顕著であることを示す。
個人決定や集団行動のモデル化にLLMを使用する前に,プロンプトの堅牢性と変動性を分析することが重要である。
論文 参考訳(メタデータ) (2024-05-29T17:54:22Z) - Beyond Human Norms: Unveiling Unique Values of Large Language Models through Interdisciplinary Approaches [69.73783026870998]
本研究では,大言語モデルの固有値システムをスクラッチから再構築する新しいフレームワークであるValueLexを提案する。
語彙仮説に基づいて、ValueLexは30以上のLLMから様々な値を引き出すための生成的アプローチを導入している。
我々は,3つのコア値次元,能力,キャラクタ,積分をそれぞれ特定の部分次元で同定し,LLMが非人間的だが構造化された価値体系を持っていることを明らかにした。
論文 参考訳(メタデータ) (2024-04-19T09:44:51Z) - Characterizing Truthfulness in Large Language Model Generations with
Local Intrinsic Dimension [63.330262740414646]
大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。
モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
論文 参考訳(メタデータ) (2024-02-28T04:56:21Z) - Political Compass or Spinning Arrow? Towards More Meaningful Evaluations for Values and Opinions in Large Language Models [61.45529177682614]
我々は,大規模言語モデルにおける価値と意見の制約評価パラダイムに挑戦する。
強制されない場合、モデルが実質的に異なる答えを与えることを示す。
我々はこれらの知見をLLMの価値と意見を評価するための推奨とオープンな課題に抽出する。
論文 参考訳(メタデータ) (2024-02-26T18:00:49Z) - Identifying Multiple Personalities in Large Language Models with
External Evaluation [6.657168333238573]
大きな言語モデル(LLM)は、人間の日常的なアプリケーションと迅速に統合されます。
近年の多くの研究は、人間のために作られた自己評価テストを用いて、LLMの個性を定量化している。
しかし、LCMに適用した場合、これらの自己評価テストの適用性と信頼性に疑問を呈する批評家も多い。
論文 参考訳(メタデータ) (2024-02-22T18:57:20Z) - Taxonomy-based CheckList for Large Language Model Evaluation [0.0]
我々は、自然言語の介入に人間の知識を導入し、事前訓練された言語モデル(LM)の振る舞いを研究する。
CheckListの振る舞いテストに触発されて,LMの非倫理的行動の探索と定量化を目的としたチェックリストスタイルのタスクを提案する。
論文 参考訳(メタデータ) (2023-12-15T12:58:07Z) - CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。
このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。
LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
論文 参考訳(メタデータ) (2023-11-29T08:29:54Z) - You don't need a personality test to know these models are unreliable: Assessing the Reliability of Large Language Models on Psychometric Instruments [37.03210795084276]
本稿では, 大規模言語モデルが応答を一貫した, 頑健な方法で引き起こすかどうかを考察する。
17種類のLDM実験により,単純な摂動でさえモデルの問合せ能力を大幅に低下させることが判明した。
その結果,現在広く普及しているプロンプトは,モデル知覚を正確にかつ確実に捉えるには不十分であることが示唆された。
論文 参考訳(メタデータ) (2023-11-16T09:50:53Z) - Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。
より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。
この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
論文 参考訳(メタデータ) (2023-09-20T09:23:46Z) - Large Language Models as Superpositions of Cultural Perspectives [25.114678091641935]
大きな言語モデル(LLM)は、しばしば個性や値の集合を持つものとして誤解を招く。
LLMは、異なる価値観と性格特性を持つ視点の重ね合わせとみなすことができる。
論文 参考訳(メタデータ) (2023-07-15T19:04:33Z) - Revisiting the Reliability of Psychological Scales on Large Language
Models [66.31055885857062]
本研究では,人格評価を大規模言語モデル(LLM)に適用する際の信頼性について検討する。
LLMのパーソナライズに光を当てることで、この分野での今後の探索の道を開くことに努める。
論文 参考訳(メタデータ) (2023-05-31T15:03:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。