論文の概要: Quantifying the Persona Effect in LLM Simulations

• arxiv url: http://arxiv.org/abs/2402.10811v1
• Date: Fri, 16 Feb 2024 16:35:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-19 15:01:33.548339
• Title: Quantifying the Persona Effect in LLM Simulations
• Title（参考訳）: LLMシミュレーションにおけるペルソナ効果の定量化
• Authors: Tiancheng Hu and Nigel Collier
• Abstract要約: ペルソナ変数は、既存の主観的NLPデータセットにおけるアノテーションの10%の分散を説明することができる。 ペルソナプロンプトは、アノテータ間の不一致が頻繁に発生するが、限られた範囲に限定されるデータサンプルに対して最も効果的である。
• 参考スコア（独自算出の注目度）: 29.968845575976232
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have shown remarkable promise in simulating human language use and behavior. In this study, we delve into the intersection of persona variables and the capability of LLMs to simulate different perspectives. We find that persona variables can explain <10\% variance in annotations in existing subjective NLP datasets. Nonetheless, incorporating them via prompting in LLMs provides modest improvement. Persona prompting is most effective on data samples where disagreements among annotators are frequent yet confined to a limited range. A linear correlation exists: the more persona variables influence human annotations, the better LLMs predictions are using persona prompting. However, when the utility of persona variables is low (i.e., explaining <10\% of human annotations), persona prompting has little effect. Most subjective NLP datasets fall into this category, casting doubt on simulating diverse perspectives in the current NLP landscape.
• Abstract（参考訳）: 大規模言語モデル(llm)は、人間の言語使用と行動のシミュレーションにおいて顕著な期待を示してきた。 本研究では,ペルソナ変数の交点と,異なる視点をシミュレートするllmの能力について考察する。 ペルソナ変数は既存の主観的nlpデータセットにおけるアノテーションの<10\%のばらつきを説明できることがわかった。 それでも、LSMのプロンプトを通じてそれらを組み込むことは、控えめな改善をもたらす。 ペルソナプロンプトは、アノテータ間の不一致が頻繁に発生するが、限られた範囲に限定されるデータサンプルに対して最も効果的である。 パーソナリティ変数が人間のアノテーションに影響を与えるほど、llmの予測がペルソナプロンプトを使用するようになる。 しかしながら、ペルソナ変数の効用が低い場合(つまり、人間のアノテーションの10%)、ペルソナのプロンプトはほとんど効果がない。 ほとんどの主観的NLPデータセットはこのカテゴリに該当し、現在のNLPランドスケープにおける多様な視点をシミュレートすることに疑問を呈している。

関連論文リスト

• Personas with Attitudes: Controlling LLMs for Diverse Data Annotation [4.916264341371062]
  大規模言語モデル(LLM)のパーソナライズによるデータアノテーションタスクにおける多様性と制御の向上のための新しいアプローチを提案する。 我々は、ペルソナがアノテーションの多様性を高め、個々のペルソナがアノテーションに与える影響が一貫性があり、制御可能であるかどうかを検討する。
  論文  参考訳（メタデータ） (2024-10-15T16:22:49Z)
• Using LLMs for Explaining Sets of Counterfactual Examples to Final Users [0.0]
  自動意思決定シナリオでは、因果推論手法は基礎となるデータ生成プロセスを分析することができる。 カウンターファクトな例では、最小限の要素が変更される仮説的なシナリオを探求する。 本稿では,アクションの自然言語説明を生成するために,反事実を用いた新しい多段階パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-08-27T15:13:06Z)
• Modeling Human Subjectivity in LLMs Using Explicit and Implicit Human Factors in Personas [14.650234624251716]
  大規模言語モデル (LLMs) は、人間中心の社会科学タスクでますます使われている。 これらのタスクは非常に主観的であり、環境、態度、信念、生きた経験など人間的要因に依存している。 我々は,LLMを人間的なペルソナで促進する役割について検討し,モデルに特定の人間であるかのように答えるよう求めた。
  論文  参考訳（メタデータ） (2024-06-20T16:24:07Z)
• Evaluating Large Language Model Biases in Persona-Steered Generation [26.92498998306013]
  大規模な言語モデル (LLM) は、不連続な人格に対して、連続した人格よりも9.7%少ないことが示される。 強化学習(Reinforcement Learning from Human Feedback, RLHF)により微調整されたモデルは、特に政治的リベラル派や女性に関連するスタンスに対して、より安定している。
  論文  参考訳（メタデータ） (2024-05-30T17:06:03Z)
• Scaling Data Diversity for Fine-Tuning Language Models in Human Alignment [84.32768080422349]
  人間の好みの調整は、大きな言語モデルが誤解を招くか有害なコンテンツを生成するのを防ぐ。 本研究では, 微調整後のLLMの最終性能と線形相関を示唆し, 即時多様性の新たな定式化を提案する。
  論文  参考訳（メタデータ） (2024-03-17T07:08:55Z)
• LLMvsSmall Model? Large Language Model Based Text Augmentation Enhanced Personality Detection Model [58.887561071010985]
  パーソナリティ検出は、ソーシャルメディア投稿に根ざした性格特性を検出することを目的としている。 既存のほとんどのメソッドは、事前訓練された言語モデルを微調整することで、ポスト機能を直接学習する。 本稿では,大規模言語モデル (LLM) に基づくテキスト拡張強化人格検出モデルを提案する。
  論文  参考訳（メタデータ） (2024-03-12T12:10:18Z)
• Dissecting Human and LLM Preferences [80.55271307662365]
  人間は誤りに敏感ではなく、自分の姿勢を支持する反応を好んでおり、モデルが限界を認めている場合、明確な嫌悪を示します。 GPT-4-Turboのような先進的なLCMは、より正確さ、明快さ、無害さを強調している。 嗜好に基づく評価は意図的に操作可能であることを示す。
  論文  参考訳（メタデータ） (2024-02-17T14:34:31Z)
• Aligning Large Language Models with Human Opinions through Persona Selection and Value--Belief--Norm Reasoning [67.33899440998175]
  Chain-of-Opinion (COO)は、単純な4段階のソリューションモデリングであり、ペルソナによる推論方法である。 COOは明示的な人格(デモグラフィーとイデオロギー)と暗黙的な人格(歴史学的な意見)を区別する COOは、推論コールを5回だけ促すことで、新しい最先端の意見予測を効率的に達成し、以前のテクニックを最大4%改善する。
  論文  参考訳（メタデータ） (2023-11-14T18:48:27Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)
• CoAnnotating: Uncertainty-Guided Work Allocation between Human and Large Language Models for Data Annotation [94.59630161324013]
  本稿では,非構造化テキストの大規模共同アノテーションのための新しいパラダイムであるCoAnnotatingを提案する。 我々の実証研究は、CoAnnotatingが、異なるデータセット上の結果から作業を割り当てる効果的な手段であることを示し、ランダムベースラインよりも最大21%のパフォーマンス改善を実現している。
  論文  参考訳（メタデータ） (2023-10-24T08:56:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。