論文の概要: On the Reliability of Large Language Models to Misinformed and Demographically-Informed Prompts

• arxiv url: http://arxiv.org/abs/2410.10850v2
• Date: Thu, 17 Oct 2024 11:52:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:17:41.064285
• Title: On the Reliability of Large Language Models to Misinformed and Demographically-Informed Prompts
• Title（参考訳）: 誤変形・復号化プロンプトに対する大規模言語モデルの信頼性について
• Authors: Toluwani Aremu, Oluwakemi Akinwehinmi, Chukwuemeka Nwagu, Syed Ishtiaque Ahmed, Rita Orji, Pedro Arnau Del Amo, Abdulmotaleb El Saddik,
• Abstract要約: 本研究では,大言語モデル(LLM)が支援するチャットボットを用いて,人口統計情報を用いて,誤情報や質問に対処する。 True/Falseの質問を使って定量的に分析すると、これらのチャットボットがこれらのクローズドな質問に対して正しい答えを与えることができることが分かる。 ドメインの専門家から集めた質的な洞察は プライバシーや倫理的影響に 懸念がまだあることを示している
• 参考スコア（独自算出の注目度）: 20.84000437261526
• License:
• Abstract: We investigate and observe the behaviour and performance of Large Language Model (LLM)-backed chatbots in addressing misinformed prompts and questions with demographic information within the domains of Climate Change and Mental Health. Through a combination of quantitative and qualitative methods, we assess the chatbots' ability to discern the veracity of statements, their adherence to facts, and the presence of bias or misinformation in their responses. Our quantitative analysis using True/False questions reveals that these chatbots can be relied on to give the right answers to these close-ended questions. However, the qualitative insights, gathered from domain experts, shows that there are still concerns regarding privacy, ethical implications, and the necessity for chatbots to direct users to professional services. We conclude that while these chatbots hold significant promise, their deployment in sensitive areas necessitates careful consideration, ethical oversight, and rigorous refinement to ensure they serve as a beneficial augmentation to human expertise rather than an autonomous solution.
• Abstract（参考訳）: 気候変化とメンタルヘルスの領域における人口統計情報による誤報や質問に対処するために,大規模言語モデル(LLM)が支援するチャットボットの行動と性能について検討し,考察した。 定量的および定性的な手法を組み合わせることで,チャットボットが発言の正確性,事実への忠実さ,バイアスや誤情報の存在を識別する能力を評価する。 True/Falseの質問を定量的に分析した結果,これらの質問に対して適切な回答を与えるために,これらのチャットボットを頼りにすることができることがわかった。 しかし、ドメインの専門家が収集した質的な洞察は、プライバシー、倫理的意味、そしてチャットボットがユーザーをプロフェッショナルなサービスに誘導する必要があるという懸念がまだ残っていることを示している。 これらのチャットボットは大きな可能性を秘めているものの、自律的なソリューションではなく、人間の専門性に有益な拡張として機能するためには、慎重な考慮、倫理的監視、厳格な改善が必要であると結論付けている。

関連論文リスト

• MisinfoEval: Generative AI in the Era of "Alternative Facts" [50.069577397751175]
  本稿では,大規模言語モデル(LLM)に基づく誤情報介入の生成と評価を行うフレームワークを提案する。 本研究では,(1)誤情報介入の効果を測定するための模擬ソーシャルメディア環境の実験,(2)ユーザの人口動態や信念に合わせたパーソナライズされた説明を用いた第2の実験について述べる。 以上の結果から,LSMによる介入はユーザの行動の修正に極めて有効であることが確認された。
  論文  参考訳（メタデータ） (2024-10-13T18:16:50Z)
• Prompt Engineering a Schizophrenia Chatbot: Utilizing a Multi-Agent Approach for Enhanced Compliance with Prompt Instructions [0.0699049312989311]
  統合失調症の患者は、しばしば認知障害を伴い、自分の状態について学ぶ能力を妨げることがある。 大規模言語モデル(LLM)は、トピックのメンタルヘルス情報をよりアクセシビリティとエンゲージメントを高める可能性を秘めているが、それらのブラックボックスの性質は倫理と安全に関する懸念を喚起する。
  論文  参考訳（メタデータ） (2024-10-10T09:49:24Z)
• Trust No Bot: Discovering Personal Disclosures in Human-LLM Conversations in the Wild [40.57348900292574]
  人間とチャットボットのインタラクションにおける個人の開示を測定することで、ユーザのAIリテラシーをよりよく理解することができる。 我々は、実際のユーザが商用のGPTモデルに対して行った個人情報を詳細に分析する。
  論文  参考訳（メタデータ） (2024-07-16T07:05:31Z)
• Designing Chatbots to Support Victims and Survivors of Domestic Abuse [2.3020018305241337]
  このような状況や支援への直接アクセスが制限される状況において、チャットボットが被害者や生き残りを支援する役割について検討する。 家庭内虐待支援サービスや組織に携わる専門家とインタビューを行った。 Thematic Content Analysis was applied to evaluate and extract insights from the interview data and the content on victims- supported Website。
  論文  参考訳（メタデータ） (2024-02-27T10:40:15Z)
• Multi-Purpose NLP Chatbot : Design, Methodology & Conclusion [0.0]
  本研究は,現在あるチャットボット技術環境を網羅的に分析するものである。 ユーザインタラクションと会話体験を改善するために強化学習戦略を利用する、非常に柔軟なシステムを提供する。 チャットボット技術の発展の複雑さと、これらの開発を推進してきた要因と、それらが様々な分野に及ぼした影響についても検討する。
  論文  参考訳（メタデータ） (2023-10-13T09:47:24Z)
• ExpertQA: Expert-Curated Questions and Attributed Answers [51.68314045809179]
  我々は,様々な属性と事実の軸に沿って,いくつかの代表システムからの応答を人為的に評価する。 我々は32分野にわたる484人の被験者から専門家による質問を収集し、同じ専門家に自身の質問に対する反応を評価する。 分析の結果は,32分野にまたがる2177の質問と,回答の検証とクレームの属性を備えた高品質な長文QAデータセットであるExpertQAである。
  論文  参考訳（メタデータ） (2023-09-14T16:54:34Z)
• On the Robustness of ChatGPT: An Adversarial and Out-of-distribution Perspective [67.98821225810204]
  本研究は,ChatGPTの頑健性について,敵対的視点とアウト・オブ・ディストリビューションの観点から評価する。 その結果,ほとんどの対人・OOD分類・翻訳作業において一貫した優位性を示した。 ChatGPTは対話関連テキストの理解において驚くべきパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-02-22T11:01:20Z)
• A Categorical Archive of ChatGPT Failures [47.64219291655723]
  OpenAIが開発したChatGPTは、大量のデータを使って訓練され、人間の会話をシミュレートしている。 それは、広範囲の人間の問い合わせに効果的に答える能力のために、大きな注目を集めている。 しかし、ChatGPTの失敗の包括的分析は欠落しており、これが本研究の焦点となっている。
  論文  参考訳（メタデータ） (2023-02-06T04:21:59Z)
• Put Chatbot into Its Interlocutor's Shoes: New Framework to Learn Chatbot Responding with Intention [55.77218465471519]
  本稿では,チャットボットに人間のような意図を持つための革新的なフレームワークを提案する。 我々のフレームワークには、ガイドロボットと人間の役割を担うインターロケータモデルが含まれていた。 本フレームワークを3つの実験的なセットアップを用いて検討し,4つの異なる指標を用いた誘導ロボットの評価を行い,柔軟性と性能の利点を実証した。
  論文  参考訳（メタデータ） (2021-03-30T15:24:37Z)
• You Impress Me: Dialogue Generation via Mutual Persona Perception [62.89449096369027]
  認知科学の研究は、理解が高品質なチャット会話に不可欠なシグナルであることを示唆している。 そこで我々は,P2 Botを提案する。このP2 Botは,理解を明示的にモデル化することを目的とした送信機受信者ベースのフレームワークである。
  論文  参考訳（メタデータ） (2020-04-11T12:51:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。