論文の概要: Stick to your Role! Stability of Personal Values Expressed in Large Language Models

• arxiv url: http://arxiv.org/abs/2402.14846v1
• Date: Mon, 19 Feb 2024 14:53:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-03 19:26:19.792994
• Title: Stick to your Role! Stability of Personal Values Expressed in Large Language Models
• Title（参考訳）: あなたの役割に固執! 大規模言語モデルにおける個人価値の安定性
• Authors: Grgur Kova\v{c}, R\'emy Portelas, Masataka Sawayama, Peter Ford Dominey, Pierre-Yves Oudeyer
• Abstract要約: 本稿では,異なる文脈における値表現の安定性に関するケーススタディを提案する。 5つのファミリーから19のオープンソースLarge Language Models (LLM)を考える。
• 参考スコア（独自算出の注目度）: 26.354916886707766
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The standard way to study Large Language Models (LLMs) through benchmarks or psychology questionnaires is to provide many different queries from similar minimal contexts (e.g. multiple choice questions). However, due to LLM's highly context-dependent nature, conclusions from such minimal-context evaluations may be little informative about the model's behavior in deployment (where it will be exposed to many new contexts). We argue that context-dependence should be studied as another dimension of LLM comparison alongside others such as cognitive abilities, knowledge, or model size. In this paper, we present a case-study about the stability of value expression over different contexts (simulated conversations on different topics), and as measured using a standard psychology questionnaire (PVQ) and a behavioral downstream task. We consider 19 open-sourced LLMs from five families. Reusing methods from psychology, we study Rank-order stability on the population (interpersonal) level, and Ipsative stability on the individual (intrapersonal) level. We explore two settings: with and without instructing LLMs to simulate particular personalities. We observe similar trends in the stability of models and model families - Mixtral, Mistral and Qwen families being more stable than LLaMa-2 and Phi - over those two settings, two different simulated populations, and even in the downstream behavioral task. When instructed to simulate particular personas, LLMs exhibit low Rank-Order stability, and this stability further diminishes with conversation length. This highlights the need for future research directions on LLMs that can coherently simulate a diversity of personas, as well as how context-dependence can be studied in more thorough and efficient ways. This paper provides a foundational step in that direction, and, to our knowledge, it is the first study of value stability in LLMs.
• Abstract（参考訳）: ベンチマークや心理学のアンケートを通じて、LLM(Large Language Models)を研究する標準的な方法は、同様の最小限の文脈から多くの異なるクエリを提供することである。 しかし、LLMの高度にコンテキストに依存した性質のため、そのような最小限のコンテキスト評価から得られた結論は、デプロイメントにおけるモデルの振る舞い(多くの新しいコンテキストに露呈する)についてほとんど意味がないかもしれない。 文脈依存は、認知能力、知識、モデルサイズなどとLLMの比較の別の次元として研究されるべきである。 本稿では,様々な文脈における価値表現の安定性に関するケーススタディ(異なる話題に関する会話のシミュレーション)と,標準心理学アンケート(pvq)と行動下流課題を用いて測定した。 5つのファミリーから19のオープンソース LLM を考える。 心理学的手法を用いて,集団(対人)レベルでのランク順安定性と個人(対人)レベルでのIpsative stabilityを検討した。 特定の個性をシミュレートするための LLM の指導と指導の2つの設定を探索する。 モデルとモデルファミリー(ミクトラル、ミストラル、qwenファミリー)の安定性は、llama-2とphiよりも安定している。 特定のペルソナをシミュレートするように指示されると、LLMは低いランク順安定性を示し、この安定性は会話の長さによってさらに低下する。 このことは、パーソナの多様性をコヒーレントにシミュレートできるLCMの今後の研究方向の必要性と、より徹底的で効率的な方法でコンテキスト依存がどのように研究されるかを強調している。 本稿は,その方向への基本的なステップを提供するとともに,LLMにおける価値安定性に関する最初の研究である。

関連論文リスト

• LIFBench: Evaluating the Instruction Following Performance and Stability of Large Language Models in Long-Context Scenarios [16.72802527902692]
  本稿では,Long-context Instruction-Following Benchmark (LIFBench)を紹介する。 LIFBenchは3つの長文シナリオと11の多様なタスクから構成されており、長さ、式、変数の3次元にわたる自動拡張メソッドによって生成される2,766の命令でサポートされている。 評価のために,LLM支援評価や人的判断に頼ることなく,複雑なLCM応答の正確な自動スコアリングを提供するルーリックベースの評価フレームワークLIFEvalを提案する。
  論文  参考訳（メタデータ） (2024-11-11T14:43:51Z)
• Unconditional Truthfulness: Learning Conditional Dependency for Uncertainty Quantification of Large Language Models [96.43562963756975]
  対象変数が条件と非条件生成信頼度のギャップである回帰モデルを訓練する。 この学習条件依存モデルを用いて、前のステップの不確実性に基づいて、現在の生成ステップの不確かさを変調する。
  論文  参考訳（メタデータ） (2024-08-20T09:42:26Z)
• Political Compass or Spinning Arrow? Towards More Meaningful Evaluations for Values and Opinions in Large Language Models [61.45529177682614]
  我々は,大規模言語モデルにおける価値と意見の制約評価パラダイムに挑戦する。 強制されない場合、モデルが実質的に異なる答えを与えることを示す。 我々はこれらの知見をLLMの価値と意見を評価するための推奨とオープンな課題に抽出する。
  論文  参考訳（メタデータ） (2024-02-26T18:00:49Z)
• Identifying Multiple Personalities in Large Language Models with External Evaluation [6.657168333238573]
  大きな言語モデル(LLM)は、人間の日常的なアプリケーションと迅速に統合されます。 近年の多くの研究は、人間のために作られた自己評価テストを用いて、LLMの個性を定量化している。 しかし、LCMに適用した場合、これらの自己評価テストの適用性と信頼性に疑問を呈する批評家も多い。
  論文  参考訳（メタデータ） (2024-02-22T18:57:20Z)
• Evaluating and Improving Continual Learning in Spoken Language Understanding [58.723320551761525]
  本研究では,連続学習における安定性,可塑性,一般化性に関する統一的な評価手法を提案する。 提案手法を用いることで,SLUモデルのこれらの3つの特性の異なる側面を,様々な知識蒸留の導入によってどのように改善するかを実証する。
  論文  参考訳（メタデータ） (2024-02-16T03:30:27Z)
• You don't need a personality test to know these models are unreliable: Assessing the Reliability of Large Language Models on Psychometric Instruments [37.03210795084276]
  本稿では, 大規模言語モデルが応答を一貫した, 頑健な方法で引き起こすかどうかを考察する。 17種類のLDM実験により,単純な摂動でさえモデルの問合せ能力を大幅に低下させることが判明した。 その結果,現在広く普及しているプロンプトは,モデル知覚を正確にかつ確実に捉えるには不十分であることが示唆された。
  論文  参考訳（メタデータ） (2023-11-16T09:50:53Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• Large Language Models as Superpositions of Cultural Perspectives [25.114678091641935]
  大きな言語モデル(LLM)は、しばしば個性や値の集合を持つものとして誤解を招く。 LLMは、異なる価値観と性格特性を持つ視点の重ね合わせとみなすことができる。
  論文  参考訳（メタデータ） (2023-07-15T19:04:33Z)
• Revisiting Out-of-distribution Robustness in NLP: Benchmark, Analysis, and LLMs Evaluations [111.88727295707454]
  本稿では,NLP分野におけるアウト・オブ・ディストリビューション(OOD)のロバスト性に関する研究を再検討する。 本稿では, 明確な分化と分散の困難さを保証するための, ベンチマーク構築プロトコルを提案する。 我々は,OODロバスト性の分析と評価のための事前学習言語モデルの実験を行った。
  論文  参考訳（メタデータ） (2023-06-07T17:47:03Z)
• Personality testing of Large Language Models: Limited temporal stability, but highlighted prosociality [0.0]
  大きな言語モデル(LLM)は、人間のような特徴と、ユーザに提供する親密さによって人気を博している。 本研究は,人格楽器に対する時間的安定度と時間的合意度を2点に評価することを目的とした。 短時間でLSMs反応において, レーザー間一致のレベルが異なることが判明した。
  論文  参考訳（メタデータ） (2023-06-07T10:14:17Z)
• Revisiting the Reliability of Psychological Scales on Large Language Models [62.57981196992073]
  本研究の目的は,大規模言語モデルにパーソナリティアセスメントを適用することの信頼性を明らかにすることである。 GPT-3.5、GPT-4、Gemini-Pro、LLaMA-3.1などのモデル毎の2,500設定の分析により、様々なLCMがビッグファイブインベントリに応答して一貫性を示すことが明らかになった。
  論文  参考訳（メタデータ） (2023-05-31T15:03:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。