論文の概要: Helpful assistant or fruitful facilitator? Investigating how personas affect language model behavior

• arxiv url: http://arxiv.org/abs/2407.02099v1
• Date: Tue, 2 Jul 2024 09:36:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-03 16:04:54.473546
• Title: Helpful assistant or fruitful facilitator? Investigating how personas affect language model behavior
• Title（参考訳）: 援助的アシスタントか実りあるファシリテーターか : ペルソナが言語モデル行動に与える影響について
• Authors: Pedro Henrique Luz de Araujo, Benjamin Roth,
• Abstract要約: 大きな言語モデル(LLM)から世代をパーソナライズし、ステアリングする方法の1つは、ペルソナを割り当てることである。 本稿では,ペルソナがモデル行動の多様な側面に与える影響について考察する。
• 参考スコア（独自算出の注目度）: 2.4095382017500464
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One way to personalize and steer generations from large language models (LLM) is to assign a persona: a role that describes how the user expects the LLM to behave (e.g., a helpful assistant, a teacher, a woman). This paper investigates how personas affect diverse aspects of model behavior. We assign to seven LLMs 162 personas from 12 categories spanning variables like gender, sexual orientation, and occupation. We prompt them to answer questions from five datasets covering objective (e.g., questions about math and history) and subjective tasks (e.g., questions about beliefs and values). We also compare persona's generations to two baseline settings: a control persona setting with 30 paraphrases of "a helpful assistant" to control for models' prompt sensitivity, and an empty persona setting where no persona is assigned. We find that for all models and datasets, personas show greater variability than the control setting and that some measures of persona behavior generalize across models.
• Abstract（参考訳）: 大規模言語モデル(LLM)から世代をパーソナライズし、ステアリングする方法の1つは、パーソナを割り当てることである。 本稿では,ペルソナがモデル行動の多様な側面に与える影響について考察する。 我々は、性別、性的指向、職業など、12のカテゴリから7つのLDM162ペルソナを割り当てる。 目的(例えば、数学と歴史に関する質問)と主観的タスク(例えば、信念と価値観に関する質問)をカバーする5つのデータセットからの質問に答えるよう促します。 また,モデルの迅速な感度を制御するための「補助アシスタント」の30パラフレーズを持つ制御ペルソナ設定と,ペルソナが割り当てられない空のペルソナ設定の2つのベースライン設定を比較した。 すべてのモデルとデータセットに対して、ペルソナは制御設定よりも大きな変数を示し、パーソナの振る舞いのいくつかの尺度がモデル全体にわたって一般化されることに気付きました。

関連論文リスト

• Modulating Language Model Experiences through Frictions [56.17593192325438]
  言語モデルの過度な消費は、短期において未確認エラーを伝播し、長期的な批判的思考のために人間の能力を損なうリスクを出力する。 行動科学の介入にインスパイアされた言語モデル体験のための選択的摩擦を提案し,誤用を抑える。
  論文  参考訳（メタデータ） (2024-06-24T16:31:11Z)
• LLMvsSmall Model? Large Language Model Based Text Augmentation Enhanced Personality Detection Model [58.887561071010985]
  パーソナリティ検出は、ソーシャルメディア投稿に根ざした性格特性を検出することを目的としている。 既存のほとんどのメソッドは、事前訓練された言語モデルを微調整することで、ポスト機能を直接学習する。 本稿では,大規模言語モデル (LLM) に基づくテキスト拡張強化人格検出モデルを提案する。
  論文  参考訳（メタデータ） (2024-03-12T12:10:18Z)
• ControlLM: Crafting Diverse Personalities for Language Models [32.411304295746746]
  そこで本研究では,モデルの潜在空間における行動プロンプトの対比から導かれる,差動アクティベーションパターンを利用した制御LMを提案する。 まず、トレーニングなしで多様なペルソナ行動を引き出す制御LMの能力を実証する一方、精度制御により、人格特性が平均的な人格値と密に一致できることを実証する。 我々は,良心や親しみなどの有益な属性を選択的に増幅することで,推論と質問応答を改善した。
  論文  参考訳（メタデータ） (2024-02-15T17:58:29Z)
• Eliciting Personality Traits in Large Language Models [0.0]
  大規模言語モデル(LLM)は採用の文脈において、候補者と雇用主の両方が利用している。 本研究は,異なる入力プロンプトに基づいて,それらの出力変動を調べることによって,そのようなモデルをよりよく理解することを目的とする。
  論文  参考訳（メタデータ） (2024-02-13T10:09:00Z)
• When "A Helpful Assistant" Is Not Really Helpful: Personas in System Prompts Do Not Improve Performances of Large Language Models [34.831938712535084]
  商用AIシステムは一般に、システムプロンプトにおけるLarge Language Models(LLM)の役割を定義している。 客観的タスクにおいて、異なるペルソナがモデルのパフォーマンスにどの程度影響するかは、まだ不明である。 6種類の対人関係と8つの専門領域を含む162のロールのリストをキュレートする。
  論文  参考訳（メタデータ） (2023-11-16T17:48:55Z)
• On the steerability of large language models toward data-driven personas [98.9138902560793]
  大規模言語モデル(LLM)は、特定のグループや集団の意見が不足している偏りのある応答を生成することが知られている。 本稿では, LLM を用いて特定の視点の制御可能な生成を実現するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T19:01:13Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)
• Character-LLM: A Trainable Agent for Role-Playing [67.35139167985008]
  大規模言語モデル(LLM)は、人間の振る舞いをシミュレートするエージェントとして用いられる。 本稿では, ベートーヴェン, クレオパトラ女王, ユリウス・カエサルなど, LLM に特定の人物として行動するように教えるキャラクタ-LLMを紹介する。
  論文  参考訳（メタデータ） (2023-10-16T07:58:56Z)
• Editing Personality for Large Language Models [73.59001811199823]
  本稿では,Large Language Models (LLMs) の性格特性の編集に焦点をあてた革新的なタスクを紹介する。 このタスクに対処する新しいベンチマークデータセットであるPersonalityEditを構築します。
  論文  参考訳（メタデータ） (2023-10-03T16:02:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。