論文の概要: Stick to your Role! Context-dependence and Stability of Personal Values Expression in Large Language Models

• arxiv url: http://arxiv.org/abs/2402.14846v2
• Date: Mon, 29 Apr 2024 17:36:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-30 23:26:08.351910
• Title: Stick to your Role! Context-dependence and Stability of Personal Values Expression in Large Language Models
• Title（参考訳）: 役割に固執! 大規模言語モデルにおける個人的価値表現の文脈依存性と安定性
• Authors: Grgur Kovač, Rémy Portelas, Masataka Sawayama, Peter Ford Dominey, Pierre-Yves Oudeyer,
• Abstract要約: 異なる文脈における値表現の安定性に関するケーススタディを提案する。 心理学的手法を用いて,人口のランク順安定性について検討した。 モデルおよびモデルファミリーの安定性における一貫した傾向を観察する。
• 参考スコア（独自算出の注目度）: 19.516125296160638
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The standard way to study Large Language Models (LLMs) with benchmarks or psychology questionnaires is to provide many different queries from similar minimal contexts (e.g. multiple choice questions). However, due to LLMs' highly context-dependent nature, conclusions from such minimal-context evaluations may be little informative about the model's behavior in deployment (where it will be exposed to many new contexts). We argue that context-dependence (specifically, value stability) should be studied a specific property of LLMs and used as another dimension of LLM comparison (alongside others such as cognitive abilities, knowledge, or model size). We present a case-study on the stability of value expression over different contexts (simulated conversations on different topics) as measured using a standard psychology questionnaire (PVQ) and on behavioral downstream tasks. Reusing methods from psychology, we study Rank-order stability on the population (interpersonal) level, and Ipsative stability on the individual (intrapersonal) level. We consider two settings (with and without instructing LLMs to simulate particular personas), two simulated populations, and three downstream tasks. We observe consistent trends in the stability of models and model families - Mixtral, Mistral, GPT-3.5 and Qwen families are more stable than LLaMa-2 and Phi. The consistency of these trends implies that some models exhibit higher value-stability than others, and that value stability can be estimated with the set of introduced methodological tools. When instructed to simulate particular personas, LLMs exhibit low Rank-Order stability, which further diminishes with conversation length. This highlights the need for future research on LLMs that coherently simulate different personas. This paper provides a foundational step in that direction, and, to our knowledge, it is the first study of value stability in LLMs.
• Abstract（参考訳）: ベンチマークや心理調査でLLM(Large Language Models)を研究する標準的な方法は、同様の最小限のコンテキスト(例えば複数の選択質問)から多くの異なるクエリを提供することである。 しかし、LLMの高度にコンテキストに依存した性質のため、そのような最小限のコンテキスト評価からの結論は、デプロイ中のモデルの振る舞い(多くの新しいコンテキストに露呈する)についてほとんど情報がないかもしれない。 我々は、文脈依存(特に価値安定性)は、LLMの特定の特性を研究し、LLMの比較の別の次元として(認知能力、知識、モデルサイズなど)使用されるべきであると論じる。 本稿では,標準的な心理質問紙(PVQ)と行動下流タスクを用いて,異なる文脈(異なる話題に関する模擬会話)における価値表現の安定性について事例研究を行った。 心理学的手法を用いて,集団(対人)レベルでのランク順の安定性,個人(対人)レベルでのIpsative stabilityについて検討した。 2つの設定(LLMに特定のペルソナをシミュレートするよう指示しない)、2つのシミュレートされた集団、そして3つの下流タスクについて検討する。 LLaMa-2 や Phi よりも混合系,ミストラル系, GPT-3.5 および Qwen 系の方が安定である。 これらの傾向の整合性は、いくつかのモデルが他のモデルよりも高い安定性を示し、導入した方法論ツールのセットで価値の安定性を推定できることを示している。 特定のペルソナをシミュレートするように指示されると、LLMは低いランク階安定性を示し、会話の長さによってさらに減少する。 これは、異なるペルソナをコヒーレントにシミュレートするLSMに関する将来の研究の必要性を強調している。 本稿は、その方向性の基本的なステップを提供し、我々の知る限り、LLMにおける価値の安定性に関する最初の研究である。

関連論文リスト

• Unconditional Truthfulness: Learning Conditional Dependency for Uncertainty Quantification of Large Language Models [96.43562963756975]
  対象変数が条件と非条件生成信頼度のギャップである回帰モデルを訓練する。 この学習条件依存モデルを用いて、前のステップの不確実性に基づいて、現在の生成ステップの不確かさを変調する。
  論文  参考訳（メタデータ） (2024-08-20T09:42:26Z)
• CogBench: a large language model walks into a psychology lab [12.981407327149679]
  本稿では,7つの認知心理学実験から得られた10の行動指標を含むベンチマークであるCogBenchを紹介する。 本稿では,CagBenchを35大言語モデル(LLM)に適用し,統計的多レベルモデリング手法を用いて解析する。 オープンソースモデルは、プロプライエタリなモデルよりもリスクが高く、コードの微調整は必ずしもLLMの振舞いを促進しない。
  論文  参考訳（メタデータ） (2024-02-28T10:43:54Z)
• Political Compass or Spinning Arrow? Towards More Meaningful Evaluations for Values and Opinions in Large Language Models [61.45529177682614]
  我々は,大規模言語モデルにおける価値と意見の制約評価パラダイムに挑戦する。 強制されない場合、モデルが実質的に異なる答えを与えることを示す。 我々はこれらの知見をLLMの価値と意見を評価するための推奨とオープンな課題に抽出する。
  論文  参考訳（メタデータ） (2024-02-26T18:00:49Z)
• Identifying Multiple Personalities in Large Language Models with External Evaluation [6.657168333238573]
  大きな言語モデル(LLM)は、人間の日常的なアプリケーションと迅速に統合されます。 近年の多くの研究は、人間のために作られた自己評価テストを用いて、LLMの個性を定量化している。 しかし、LCMに適用した場合、これらの自己評価テストの適用性と信頼性に疑問を呈する批評家も多い。
  論文  参考訳（メタデータ） (2024-02-22T18:57:20Z)
• Evaluating and Improving Continual Learning in Spoken Language Understanding [58.723320551761525]
  本研究では,連続学習における安定性,可塑性,一般化性に関する統一的な評価手法を提案する。 提案手法を用いることで,SLUモデルのこれらの3つの特性の異なる側面を,様々な知識蒸留の導入によってどのように改善するかを実証する。
  論文  参考訳（メタデータ） (2024-02-16T03:30:27Z)
• You don't need a personality test to know these models are unreliable: Assessing the Reliability of Large Language Models on Psychometric Instruments [37.03210795084276]
  本稿では, 大規模言語モデルが応答を一貫した, 頑健な方法で引き起こすかどうかを考察する。 17種類のLDM実験により,単純な摂動でさえモデルの問合せ能力を大幅に低下させることが判明した。 その結果,現在広く普及しているプロンプトは,モデル知覚を正確にかつ確実に捉えるには不十分であることが示唆された。
  論文  参考訳（メタデータ） (2023-11-16T09:50:53Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• Large Language Models as Superpositions of Cultural Perspectives [25.114678091641935]
  大きな言語モデル(LLM)は、しばしば個性や値の集合を持つものとして誤解を招く。 LLMは、異なる価値観と性格特性を持つ視点の重ね合わせとみなすことができる。
  論文  参考訳（メタデータ） (2023-07-15T19:04:33Z)
• Revisiting Out-of-distribution Robustness in NLP: Benchmark, Analysis, and LLMs Evaluations [111.88727295707454]
  本稿では,NLP分野におけるアウト・オブ・ディストリビューション(OOD)のロバスト性に関する研究を再検討する。 本稿では, 明確な分化と分散の困難さを保証するための, ベンチマーク構築プロトコルを提案する。 我々は,OODロバスト性の分析と評価のための事前学習言語モデルの実験を行った。
  論文  参考訳（メタデータ） (2023-06-07T17:47:03Z)
• Personality testing of Large Language Models: Limited temporal stability, but highlighted prosociality [0.0]
  大きな言語モデル(LLM)は、人間のような特徴と、ユーザに提供する親密さによって人気を博している。 本研究は,人格楽器に対する時間的安定度と時間的合意度を2点に評価することを目的とした。 短時間でLSMs反応において, レーザー間一致のレベルが異なることが判明した。
  論文  参考訳（メタデータ） (2023-06-07T10:14:17Z)
• Revisiting the Reliability of Psychological Scales on Large Language Models [62.57981196992073]
  本研究の目的は,大規模言語モデルにパーソナリティアセスメントを適用することの信頼性を明らかにすることである。 GPT-3.5、GPT-4、Gemini-Pro、LLaMA-3.1などのモデル毎の2,500設定の分析により、様々なLCMがビッグファイブインベントリに応答して一貫性を示すことが明らかになった。
  論文  参考訳（メタデータ） (2023-05-31T15:03:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。