論文の概要: Those Aren't Your Memories, They're Somebody Else's: Seeding Misinformation in Chat Bot Memories

• arxiv url: http://arxiv.org/abs/2304.05371v1
• Date: Thu, 6 Apr 2023 05:09:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-16 22:16:32.835865
• Title: Those Aren't Your Memories, They're Somebody Else's: Seeding Misinformation in Chat Bot Memories
• Title（参考訳）: チャットボットの記憶の中の誤情報を見よ!
• Authors: Conor Atkins, Benjamin Zi Hao Zhao, Hassan Jameel Asghar, Ian Wood, Mohamed Ali Kaafar
• Abstract要約: 我々は、個人的発言と情報的発言を組み合わせれば、ボットは長期的な記憶の中で、個人的知識と並行して、情報的発言を記憶することができることを示す。 つまり、会話の話題に関連する情報を思い出すとき、ボットは事実のステートメントとして再帰する誤った情報を思い出すことができる。
• 参考スコア（独自算出の注目度）: 5.089811515036067
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One of the new developments in chit-chat bots is a long-term memory mechanism that remembers information from past conversations for increasing engagement and consistency of responses. The bot is designed to extract knowledge of personal nature from their conversation partner, e.g., stating preference for a particular color. In this paper, we show that this memory mechanism can result in unintended behavior. In particular, we found that one can combine a personal statement with an informative statement that would lead the bot to remember the informative statement alongside personal knowledge in its long term memory. This means that the bot can be tricked into remembering misinformation which it would regurgitate as statements of fact when recalling information relevant to the topic of conversation. We demonstrate this vulnerability on the BlenderBot 2 framework implemented on the ParlAI platform and provide examples on the more recent and significantly larger BlenderBot 3 model. We generate 150 examples of misinformation, of which 114 (76%) were remembered by BlenderBot 2 when combined with a personal statement. We further assessed the risk of this misinformation being recalled after intervening innocuous conversation and in response to multiple questions relevant to the injected memory. Our evaluation was performed on both the memory-only and the combination of memory and internet search modes of BlenderBot 2. From the combinations of these variables, we generated 12,890 conversations and analyzed recalled misinformation in the responses. We found that when the chat bot is questioned on the misinformation topic, it was 328% more likely to respond with the misinformation as fact when the misinformation was in the long-term memory.
• Abstract（参考訳）: chit-chatボットの新たな発展の1つは、過去の会話からの情報を記憶し、エンゲージメントと応答の一貫性を高める長期記憶メカニズムである。 このボットは、会話相手(例えば特定の色の好みを述べるなど)から個人性に関する知識を抽出するように設計されている。 本稿では,このメモリ機構が意図しない動作を引き起こすことを示す。 特に、個人的発言と情報的発言を組み合わせれば、ボットは長期的な記憶の中で個人的知識と合わせて、情報的発言を記憶することができることがわかった。 つまり、ボットは、会話の話題に関連する情報を思い出すときに事実のステートメントとして再現する誤情報を思い出すように騙すことができる。 この脆弱性をParlAIプラットフォーム上に実装されたBlenderBot 2フレームワーク上で実証し、より最新ではるかに大きなBlenderBot 3モデルの例を示す。 誤情報を150例生成し,そのうち114例(76%)がBlenderBot 2で記憶された。 さらに, 入力された記憶に関連する複数の質問に応答して, 不適切な会話を交わした後, この誤報がリコールされるリスクについても検討した。 blenderbot 2.0のメモリのみとメモリとインターネット検索モードの組み合わせで評価を行った。 これらの変数の組み合わせから,12,890の会話を生成し,回答の誤報を分析した。 その結果、チャットボットが誤情報に関する質問を受けた場合、その誤情報が長期記憶にある事実として、誤情報に応答する確率は328%であった。

関連論文リスト

• Conversational AI Powered by Large Language Models Amplifies False Memories in Witness Interviews [23.443181324643017]
  本研究では,AIが人間の虚偽記憶に与える影響について検討する。 犯罪目撃者のインタビューをシミュレートし、人間とAIのインタラクションにおける示唆的質問を通じて、偽の記憶誘導を探索する。
  論文  参考訳（メタデータ） (2024-08-08T04:55:03Z)
• Ever-Evolving Memory by Blending and Refining the Past [30.63352929849842]
  CREEMは長期会話のための新しい記憶システムである。 過去と現在の情報をシームレスに接続すると同時に、障害情報を忘れる能力も備えている。
  論文  参考訳（メタデータ） (2024-03-03T08:12:59Z)
• My Brother Helps Me: Node Injection Based Adversarial Attack on Social Bot Detection [69.99192868521564]
  Twitterのようなソーシャルプラットフォームは、数多くの不正なユーザーから包囲されている。 ソーシャルネットワークの構造のため、ほとんどの手法は攻撃を受けやすいグラフニューラルネットワーク(GNN)に基づいている。 本稿では,ボット検出モデルを欺いたノードインジェクションに基づく逆攻撃手法を提案する。
  論文  参考訳（メタデータ） (2023-10-11T03:09:48Z)
• MemoryBank: Enhancing Large Language Models with Long-Term Memory [7.654404043517219]
  本稿では,大規模言語モデルに適した新しいメモリ機構であるMemoryBankを提案する。 MemoryBankは、モデルが関連するメモリを呼び出し、継続的なメモリ更新を通じて継続的に進化し、過去のインタラクションから情報を合成することで、ユーザの個性に適応することを可能にする。
  論文  参考訳（メタデータ） (2023-05-17T14:40:29Z)
• LaMemo: Language Modeling with Look-Ahead Memory [50.6248714811912]
  右側トークンへの漸進的参加により再帰記憶を向上させるLook-Ahead Memory(LaMemo)を提案する。 LaMemoは、メモリ長に比例した追加のオーバーヘッドで、双方向の注意とセグメントの再発を受け入れる。 広く使われている言語モデリングベンチマークの実験は、異なる種類のメモリを備えたベースラインよりも優れていることを示した。
  論文  参考訳（メタデータ） (2022-04-15T06:11:25Z)
• Identification of Twitter Bots based on an Explainable ML Framework: the US 2020 Elections Case Study [72.61531092316092]
  本稿では,ラベル付きTwitterデータに基づくTwitterボット識別システムの設計に焦点をあてる。 Supervised Machine Learning (ML)フレームワークは、Extreme Gradient Boosting (XGBoost)アルゴリズムを用いて採用されている。 また、MLモデルの予測を説明するためにShapley Additive Explanations (SHAP)をデプロイした。
  論文  参考訳（メタデータ） (2021-12-08T14:12:24Z)
• CheerBots: Chatbots toward Empathy and Emotionusing Reinforcement Learning [60.348822346249854]
  本研究では,複数の共感型チャットボットがユーザの暗黙の感情を理解し,複数の対話のターンに対して共感的に応答する枠組みを提案する。 チャットボットをCheerBotsと呼びます。CheerBotsは検索ベースまたは生成ベースで、深い強化学習によって微調整されます。 共感的態度で反応するため,CheerBotsの学習支援としてシミュレーションエージェントである概念人間モデルを開発し,今後のユーザの感情状態の変化を考慮し,共感を喚起する。
  論文  参考訳（メタデータ） (2021-10-08T07:44:47Z)
• Put Chatbot into Its Interlocutor's Shoes: New Framework to Learn Chatbot Responding with Intention [55.77218465471519]
  本稿では,チャットボットに人間のような意図を持つための革新的なフレームワークを提案する。 我々のフレームワークには、ガイドロボットと人間の役割を担うインターロケータモデルが含まれていた。 本フレームワークを3つの実験的なセットアップを用いて検討し,4つの異なる指標を用いた誘導ロボットの評価を行い,柔軟性と性能の利点を実証した。
  論文  参考訳（メタデータ） (2021-03-30T15:24:37Z)
• TruthBot: An Automated Conversational Tool for Intent Learning, Curated Information Presenting, and Fake News Alerting [12.95006904081387]
  TruthBotは、特定のトピックに関する真理(信頼できる、検証された情報)を求めるように設計されている。 特定のトピックに特有の情報を取得し、ファクトチェック情報を取得し、最新のニュースを得るのに役立つ。 TruthBotは2020年6月にデプロイされ、現在運用中である。
  論文  参考訳（メタデータ） (2021-01-31T18:23:05Z)
• Self-Attentive Associative Memory [69.40038844695917]
  我々は、個々の体験(記憶)とその発生する関係(関連記憶)の記憶を分離することを提案する。 機械学習タスクの多様性において,提案した2メモリモデルと競合する結果が得られる。
  論文  参考訳（メタデータ） (2020-02-10T03:27:48Z)
• Twitter Bot Detection Using Bidirectional Long Short-term Memory Neural Networks and Word Embeddings [6.09170287691728]
  本稿では,Twitterボットを人間アカウントと区別するために,単語埋め込みを用いたリカレントニューラルネットワークを開発した。 実験により,既存の最先端ボット検出システムと比較して,本手法が競争力を発揮することが示された。
  論文  参考訳（メタデータ） (2020-02-03T17:07:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。