論文の概要: Measuring and Controlling Persona Drift in Language Model Dialogs
- arxiv url: http://arxiv.org/abs/2402.10962v1
- Date: Tue, 13 Feb 2024 20:10:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-25 17:08:19.406732
- Title: Measuring and Controlling Persona Drift in Language Model Dialogs
- Title(参考訳): 言語モデルダイアログにおけるペルソナドリフトの測定と制御
- Authors: Kenneth Li, Tianle Liu, Naomi Bashkansky, David Bau, Fernanda
Vi\'egas, Hanspeter Pfister, Martin Wattenberg
- Abstract要約: パーソナライズされた2つのチャットボット間のセルフチャットによりペルソナの安定性を評価する。
8ラウンドの会話で大きなペルソナの漂流が明らかになりました。
この現象の実証的および理論的解析は、トランスフォーマーの注意機構が役割を果たすことを示唆している。
そこで本研究では,2つの強力なベースラインに対して良好に比較可能なsplit-softmaxという軽量な手法を提案する。
- 参考スコア(独自算出の注目度): 75.97202858893111
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Prompting is a standard tool for customizing language-model chatbots,
enabling them to take on a specific "persona". An implicit assumption in the
use of prompts is that they will be stable, so the chatbot will continue to
generate text according to the stipulated persona for the duration of a
conversation. We propose a quantitative benchmark to test this assumption,
evaluating persona stability via self-chats between two personalized chatbots.
Testing popular models like LLaMA2-chat-70B, we reveal a significant persona
drift within eight rounds of conversations. An empirical and theoretical
analysis of this phenomenon suggests the transformer attention mechanism plays
a role, due to attention decay over long exchanges. To combat attention decay
and persona drift, we propose a lightweight method called split-softmax, which
compares favorably against two strong baselines.
- Abstract(参考訳): Promptingは、言語モデルチャットボットをカスタマイズするための標準ツールであり、特定の"ペルソナ"を実行できる。
プロンプトの使用における暗黙の仮定は、それらが安定していることであり、チャットボットは、会話の間、規定されたペルソナに従ってテキストを生成し続ける。
2つのパーソナライズされたチャットボット間の自己チャットを通じてペルソナの安定性を評価する。
LLaMA2-chat-70Bのような一般的なモデルをテストすると、8ラウンドの会話の中で重要なペルソナドリフトが明らかになる。
この現象を実証的、理論的に分析すると、長い交換で注意が減衰するため、トランスフォーマーの注意機構が重要な役割を果たしていることが示唆される。
注意崩壊とペルソナドリフトに対処するため,2つの強いベースラインに対して良好に比較可能なsplit-softmaxと呼ばれる軽量な手法を提案する。
関連論文リスト
- Multi-Purpose NLP Chatbot : Design, Methodology & Conclusion [0.0]
本研究は,現在あるチャットボット技術環境を網羅的に分析するものである。
ユーザインタラクションと会話体験を改善するために強化学習戦略を利用する、非常に柔軟なシステムを提供する。
チャットボット技術の発展の複雑さと、これらの開発を推進してきた要因と、それらが様々な分野に及ぼした影響についても検討する。
論文 参考訳(メタデータ) (2023-10-13T09:47:24Z) - Can Language Models Learn to Listen? [96.01685069483025]
本稿では,話者の言葉に基づく社会的対話における聞き手から適切な表情応答を生成するための枠組みを提案する。
提案手法は,VQ-VAEを用いて定量化したリスナーの顔のジェスチャー列であるリスナーの応答を自己回帰的に予測する。
生成したリスナーの動きは,定量的メトリクスと質的ユーザスタディを通じて,言語意味論に精通し,反映していることを示す。
論文 参考訳(メタデータ) (2023-08-21T17:59:02Z) - Improving Personality Consistency in Conversation by Persona Extending [22.124187337032946]
本稿では,Persona Retrieval Model(PRM)とPosterior-Scored Transformer(PS-Transformer)の2つのサブコンポーネントからなる新しい検索・予測パラダイムを提案する。
提案モデルでは,自動測定と人的評価の両面で大幅に改善されている。
論文 参考訳(メタデータ) (2022-08-23T09:00:58Z) - Detecting Speaker Personas from Conversational Texts [52.4557098875992]
本研究では,平易な会話テキストに基づく話者ペルソナの検出を目的とした,話者ペルソナ検出(SPD)という新しいタスクについて検討する。
我々は、Persona Match on Persona-Chat (PMPC)と呼ばれるSPDのためのデータセットを構築している。
本稿では,複数のベースラインモデルを評価し,この課題に対する発話対注目(U2P)マッチングネットワークを提案する。
論文 参考訳(メタデータ) (2021-09-03T06:14:38Z) - Put Chatbot into Its Interlocutor's Shoes: New Framework to Learn
Chatbot Responding with Intention [55.77218465471519]
本稿では,チャットボットに人間のような意図を持つための革新的なフレームワークを提案する。
我々のフレームワークには、ガイドロボットと人間の役割を担うインターロケータモデルが含まれていた。
本フレームワークを3つの実験的なセットアップを用いて検討し,4つの異なる指標を用いた誘導ロボットの評価を行い,柔軟性と性能の利点を実証した。
論文 参考訳(メタデータ) (2021-03-30T15:24:37Z) - Spot The Bot: A Robust and Efficient Framework for the Evaluation of
Conversational Dialogue Systems [21.36935947626793]
emphSpot ボットは人間とボットの会話をボット間の会話に置き換える。
人間の判断は、それが人間であるかどうかに関わらず、会話において各実体に注釈を付けるだけである。
emphSurvival Analysisは、人間のような行動を最も長く維持できるボットを計測する。
論文 参考訳(メタデータ) (2020-10-05T16:37:52Z) - FinChat: Corpus and evaluation setup for Finnish chat conversations on
everyday topics [15.94497202872835]
フィンランドのチャットコーパス「FinChat」を公開している。
FinChatには、異なる年齢の人々の7つのトピックに関する説明されていない会話が含まれている。
人間の評価では、チャットボットが生成した評価セットからの質問に対する応答は、主に非一貫性としてマークされる。
論文 参考訳(メタデータ) (2020-08-19T07:58:16Z) - You Impress Me: Dialogue Generation via Mutual Persona Perception [62.89449096369027]
認知科学の研究は、理解が高品質なチャット会話に不可欠なシグナルであることを示唆している。
そこで我々は,P2 Botを提案する。このP2 Botは,理解を明示的にモデル化することを目的とした送信機受信者ベースのフレームワークである。
論文 参考訳(メタデータ) (2020-04-11T12:51:07Z) - XPersona: Evaluating Multilingual Personalized Chatbot [76.00426517401894]
我々はペルソナ・チャットの多言語拡張(XPersona)を提案する。
我々のデータセットには、多言語パーソナライズされたエージェントの構築と評価のための英語以外の6言語でのペルソナ会話が含まれています。
論文 参考訳(メタデータ) (2020-03-17T07:52:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。