論文の概要: Stick to your Role! Stability of Personal Values Expressed in Large
Language Models
- arxiv url: http://arxiv.org/abs/2402.14846v1
- Date: Mon, 19 Feb 2024 14:53:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-03 19:26:19.792994
- Title: Stick to your Role! Stability of Personal Values Expressed in Large
Language Models
- Title(参考訳): あなたの役割に固執!
大規模言語モデルにおける個人価値の安定性
- Authors: Grgur Kova\v{c}, R\'emy Portelas, Masataka Sawayama, Peter Ford
Dominey, Pierre-Yves Oudeyer
- Abstract要約: 本稿では,異なる文脈における値表現の安定性に関するケーススタディを提案する。
5つのファミリーから19のオープンソースLarge Language Models (LLM)を考える。
- 参考スコア(独自算出の注目度): 26.354916886707766
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The standard way to study Large Language Models (LLMs) through benchmarks or
psychology questionnaires is to provide many different queries from similar
minimal contexts (e.g. multiple choice questions). However, due to LLM's highly
context-dependent nature, conclusions from such minimal-context evaluations may
be little informative about the model's behavior in deployment (where it will
be exposed to many new contexts). We argue that context-dependence should be
studied as another dimension of LLM comparison alongside others such as
cognitive abilities, knowledge, or model size. In this paper, we present a
case-study about the stability of value expression over different contexts
(simulated conversations on different topics), and as measured using a standard
psychology questionnaire (PVQ) and a behavioral downstream task. We consider 19
open-sourced LLMs from five families. Reusing methods from psychology, we study
Rank-order stability on the population (interpersonal) level, and Ipsative
stability on the individual (intrapersonal) level. We explore two settings:
with and without instructing LLMs to simulate particular personalities. We
observe similar trends in the stability of models and model families - Mixtral,
Mistral and Qwen families being more stable than LLaMa-2 and Phi - over those
two settings, two different simulated populations, and even in the downstream
behavioral task. When instructed to simulate particular personas, LLMs exhibit
low Rank-Order stability, and this stability further diminishes with
conversation length. This highlights the need for future research directions on
LLMs that can coherently simulate a diversity of personas, as well as how
context-dependence can be studied in more thorough and efficient ways. This
paper provides a foundational step in that direction, and, to our knowledge, it
is the first study of value stability in LLMs.
- Abstract(参考訳): ベンチマークや心理学のアンケートを通じて、LLM(Large Language Models)を研究する標準的な方法は、同様の最小限の文脈から多くの異なるクエリを提供することである。
しかし、LLMの高度にコンテキストに依存した性質のため、そのような最小限のコンテキスト評価から得られた結論は、デプロイメントにおけるモデルの振る舞い(多くの新しいコンテキストに露呈する)についてほとんど意味がないかもしれない。
文脈依存は、認知能力、知識、モデルサイズなどとLLMの比較の別の次元として研究されるべきである。
本稿では,様々な文脈における価値表現の安定性に関するケーススタディ(異なる話題に関する会話のシミュレーション)と,標準心理学アンケート(pvq)と行動下流課題を用いて測定した。
5つのファミリーから19のオープンソース LLM を考える。
心理学的手法を用いて,集団(対人)レベルでのランク順安定性と個人(対人)レベルでのIpsative stabilityを検討した。
特定の個性をシミュレートするための LLM の指導と指導の2つの設定を探索する。
モデルとモデルファミリー(ミクトラル、ミストラル、qwenファミリー)の安定性は、llama-2とphiよりも安定している。
特定のペルソナをシミュレートするように指示されると、LLMは低いランク順安定性を示し、この安定性は会話の長さによってさらに低下する。
このことは、パーソナの多様性をコヒーレントにシミュレートできるLCMの今後の研究方向の必要性と、より徹底的で効率的な方法でコンテキスト依存がどのように研究されるかを強調している。
本稿は,その方向への基本的なステップを提供するとともに,LLMにおける価値安定性に関する最初の研究である。
関連論文リスト
- Beyond Human Norms: Unveiling Unique Values of Large Language Models through Interdisciplinary Approaches [69.73783026870998]
本研究では,大言語モデルの固有値システムをスクラッチから再構築する新しいフレームワークであるValueLexを提案する。
語彙仮説に基づいて、ValueLexは30以上のLLMから様々な値を引き出すための生成的アプローチを導入している。
我々は,3つのコア値次元,能力,キャラクタ,積分をそれぞれ特定の部分次元で同定し,LLMが非人間的だが構造化された価値体系を持っていることを明らかにした。
論文 参考訳(メタデータ) (2024-04-19T09:44:51Z) - Characterizing Truthfulness in Large Language Model Generations with
Local Intrinsic Dimension [63.330262740414646]
大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。
モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
論文 参考訳(メタデータ) (2024-02-28T04:56:21Z) - Identifying Multiple Personalities in Large Language Models with
External Evaluation [6.657168333238573]
大きな言語モデル(LLM)は、人間の日常的なアプリケーションと迅速に統合されます。
近年の多くの研究は、人間のために作られた自己評価テストを用いて、LLMの個性を定量化している。
しかし、LCMに適用した場合、これらの自己評価テストの適用性と信頼性に疑問を呈する批評家も多い。
論文 参考訳(メタデータ) (2024-02-22T18:57:20Z) - Is Cognition and Action Consistent or Not: Investigating Large Language
Model's Personality [12.162460438332152]
本研究では,人格質問紙に対する回答を通じて,人格特性の証明における言語モデル(LLM)の信頼性について検討した。
我々のゴールは、LLMの人格傾向と実際の「行動」との整合性を評価することである。
本研究では,心理学的理論とメトリクスに基づく観察結果の仮説を提案する。
論文 参考訳(メタデータ) (2024-02-22T16:32:08Z) - Taxonomy-based CheckList for Large Language Model Evaluation [0.0]
我々は、自然言語の介入に人間の知識を導入し、事前訓練された言語モデル(LM)の振る舞いを研究する。
CheckListの振る舞いテストに触発されて,LMの非倫理的行動の探索と定量化を目的としたチェックリストスタイルのタスクを提案する。
論文 参考訳(メタデータ) (2023-12-15T12:58:07Z) - You don't need a personality test to know these models are unreliable: Assessing the Reliability of Large Language Models on Psychometric Instruments [37.03210795084276]
本稿では, 大規模言語モデルが応答を一貫した, 頑健な方法で引き起こすかどうかを考察する。
17種類のLDM実験により,単純な摂動でさえモデルの問合せ能力を大幅に低下させることが判明した。
その結果,現在広く普及しているプロンプトは,モデル知覚を正確にかつ確実に捉えるには不十分であることが示唆された。
論文 参考訳(メタデータ) (2023-11-16T09:50:53Z) - Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。
より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。
この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
論文 参考訳(メタデータ) (2023-09-20T09:23:46Z) - Large Language Models as Superpositions of Cultural Perspectives [25.114678091641935]
大きな言語モデル(LLM)は、しばしば個性や値の集合を持つものとして誤解を招く。
LLMは、異なる価値観と性格特性を持つ視点の重ね合わせとみなすことができる。
論文 参考訳(メタデータ) (2023-07-15T19:04:33Z) - Revisiting Out-of-distribution Robustness in NLP: Benchmark, Analysis,
and LLMs Evaluations [111.88727295707454]
本稿では,NLP分野におけるアウト・オブ・ディストリビューション(OOD)のロバスト性に関する研究を再検討する。
本稿では, 明確な分化と分散の困難さを保証するための, ベンチマーク構築プロトコルを提案する。
我々は,OODロバスト性の分析と評価のための事前学習言語モデルの実験を行った。
論文 参考訳(メタデータ) (2023-06-07T17:47:03Z) - Revisiting the Reliability of Psychological Scales on Large Language
Models [66.31055885857062]
本研究では,人格評価を大規模言語モデル(LLM)に適用する際の信頼性について検討する。
LLMのパーソナライズに光を当てることで、この分野での今後の探索の道を開くことに努める。
論文 参考訳(メタデータ) (2023-05-31T15:03:28Z) - Benchmarking Large Language Models for News Summarization [79.37850439866938]
大規模言語モデル(LLM)は自動要約を約束しているが、その成功の背景にある理由はよく分かっていない。
LLMのゼロショット要約能力の鍵は、モデルサイズではなく、命令チューニングにある。
論文 参考訳(メタデータ) (2023-01-31T18:46:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。