論文の概要: The Colorful Future of LLMs: Evaluating and Improving LLMs as Emotional Supporters for Queer Youth

• arxiv url: http://arxiv.org/abs/2402.11886v1
• Date: Mon, 19 Feb 2024 06:54:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 18:04:58.242555
• Title: The Colorful Future of LLMs: Evaluating and Improving LLMs as Emotional Supporters for Queer Youth
• Title（参考訳）: LLMのカラーフルフューチャー:キューアユースにおける感情支援者としてのLCMの評価と改善
• Authors: Shir Lissak, Nitay Calderon, Geva Shenkman, Yaakov Ophir, Eyal Fruchter, Anat Brunstein Klomek and Roi Reichart
• Abstract要約: 本稿では,大規模言語モデルがクェーアに対する感情的支援に革命をもたらす可能性を探究することを目的とする。 我々は,心理学的基準と専門家の入力にインスパイアされた,新しい10質問尺度を開発した。 LLMの反応は支持的であり、包括的であり、人間を誇張している。 しかし、それらは一般的なものであり、共感的でない傾向があり、パーソナライゼーションが欠如しているため、信頼できない、潜在的に有害なアドバイスをもたらす。
• 参考スコア（独自算出の注目度）: 14.751539420563752
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Queer youth face increased mental health risks, such as depression, anxiety, and suicidal ideation. Hindered by negative stigma, they often avoid seeking help and rely on online resources, which may provide incompatible information. Although access to a supportive environment and reliable information is invaluable, many queer youth worldwide have no access to such support. However, this could soon change due to the rapid adoption of Large Language Models (LLMs) such as ChatGPT. This paper aims to comprehensively explore the potential of LLMs to revolutionize emotional support for queers. To this end, we conduct a qualitative and quantitative analysis of LLM's interactions with queer-related content. To evaluate response quality, we develop a novel ten-question scale that is inspired by psychological standards and expert input. We apply this scale to score several LLMs and human comments to posts where queer youth seek advice and share experiences. We find that LLM responses are supportive and inclusive, outscoring humans. However, they tend to be generic, not empathetic enough, and lack personalization, resulting in nonreliable and potentially harmful advice. We discuss these challenges, demonstrate that a dedicated prompt can improve the performance, and propose a blueprint of an LLM-supporter that actively (but sensitively) seeks user context to provide personalized, empathetic, and reliable responses. Our annotated dataset is available for further research.
• Abstract（参考訳）: キーアの若者は抑うつ、不安、自殺イデオロギーなどの精神的健康リスクが高まる。 否定的なスティグマに妨げられ、しばしば助けを求めるのを避け、互換性のない情報を提供するオンラインリソースに頼る。 支援的な環境と信頼できる情報へのアクセスは貴重なものであるが、世界中の多くの若者はそのような支援にアクセスできない。 しかし、これはChatGPTのような大規模言語モデル(LLM)の急速な採用によってすぐに変わる可能性がある。 本稿では,LCMがクイアに対する感情的支援に革命をもたらす可能性を包括的に探求することを目的とする。 そこで我々は,LLMとクイア関連コンテンツとの相互作用を質的,定量的に分析する。 反応の質を評価するために,心理学的基準と専門家のインプットに触発された新しい10質問尺度を開発した。 この尺度を適用して、いくつかのllmと人間のコメントを、queer youthがアドバイスを求め、経験を共有する投稿に適用する。 LLMの反応は支持的であり、包括的であり、人間を誇張している。 しかし、それらは汎用的で共感力に乏しく、パーソナライゼーションに欠ける傾向があり、信頼できない、潜在的に有害なアドバイスをもたらす。 我々は,これらの課題について議論し,専用プロンプトがパフォーマンスを向上させることを示すとともに,ユーザコンテキストを積極的に(しかし敏感に)求め,パーソナライズされ,共感的で,信頼性の高い応答を提供するllmサポートの青写真を提案する。 注釈付きデータセットは、さらなる研究のために利用可能です。

関連論文リスト

• NewsInterview: a Dataset and a Playground to Evaluate LLMs' Ground Gap via Informational Interviews [65.35458530702442]
  我々はジャーナリストのインタビューに焦点をあて、コミュニケーションの基盤と豊富なデータに富んだドメインに焦点をあてる。 我々はNPRとCNNから4万人の2人によるインフォメーションインタビューのデータセットをキュレートする。 LLMは、人間のインタビュアーよりも、認識を使い、より高いレベルの質問に目を向ける可能性がはるかに低い。
  論文  参考訳（メタデータ） (2024-11-21T01:37:38Z)
• Persuasion with Large Language Models: a Survey [49.86930318312291]
  大規模言語モデル (LLM) は説得力のあるコミュニケーションに新たな破壊的可能性を生み出している。 政治、マーケティング、公衆衛生、電子商取引、慈善事業などの分野では、LLMシステムズは既に人間レベルや超人的説得力を達成している。 LLMをベースとした説得の現在と将来の可能性は、倫理的・社会的リスクを著しく引き起こす可能性が示唆された。
  論文  参考訳（メタデータ） (2024-11-11T10:05:52Z)
• LLM Echo Chamber: personalized and automated disinformation [0.0]
  大規模な言語モデルは、説得力のある人間のような誤報を大規模に広めることができ、世論に影響を及ぼす可能性がある。 本研究は,誤報を事実として伝達するLSMの能力に着目し,これらのリスクについて検討する。 そこで我々は,ソーシャルメディアのチャットルームを模擬した制御型デジタル環境であるLLM Echo Chamberを構築した。 このセットアップは、説得性と有害性のためにGPT4によって評価され、LSMを取り巻く倫理的懸念に光を当て、誤情報に対するより強力な保護の必要性を強調している。
  論文  参考訳（メタデータ） (2024-09-24T17:04:12Z)
• I Need Help! Evaluating LLM's Ability to Ask for Users' Support: A Case Study on Text-to-SQL Generation [60.00337758147594]
  本研究では,LLMのユーザサポートを積極的に行う能力について検討する。 性能改善とユーザ負担のトレードオフを評価する指標を提案する。 我々の実験は、外部からのフィードバックがなければ、多くのLCMがユーザサポートの必要性を認識するのに苦労していることを示している。
  論文  参考訳（メタデータ） (2024-07-20T06:12:29Z)
• LLMs Assist NLP Researchers: Critique Paper (Meta-)Reviewing [106.45895712717612]
  大規模言語モデル(LLM)は、様々な生成タスクにおいて顕著な汎用性を示している。 本研究は,NLP研究者を支援するLLMの話題に焦点を当てる。 私たちの知る限りでは、このような包括的な分析を提供するのはこれが初めてです。
  論文  参考訳（メタデータ） (2024-06-24T01:30:22Z)
• Can AI Relate: Testing Large Language Model Response for Mental Health Support [23.97212082563385]
  大型言語モデル(LLM)はすでにニューヨーク・ラングーン、ダナ・ファーバー、NHSなどの病院システムで臨床使用のために試験されている。 精神医療の自動化に向けて, LLM 反応が有効かつ倫理的な道筋であるか否かを評価するための評価枠組みを開発する。
  論文  参考訳（メタデータ） (2024-05-20T13:42:27Z)
• Large Language Models are Capable of Offering Cognitive Reappraisal, if Guided [38.11184388388781]
  大規模言語モデル(LLM)は感情的サポートの新しい機会を提供する。 この研究は、認知的再評価に取り組み、第一歩を踏み出す。 我々は、認知的再評価反応を生成するLLMのゼロショット能力について、第一種専門家による評価を行う。
  論文  参考訳（メタデータ） (2024-04-01T17:56:30Z)
• Can Large Language Models be Good Emotional Supporter? Mitigating Preference Bias on Emotional Support Conversation [28.74445806009475]
  この研究はESConv上での大規模言語モデル(LLM)の結果を分析した。 特定の戦略に対する高い嗜好を示すことは、効果的な感情的支援を妨げている。 その結果,(1) 特定の戦略に対する嗜好の低さは情緒的支援の進行を妨げること,(2) 外部援助は嗜好バイアスの軽減に役立つこと,(3) 既存のLCMだけでは感情的な支持者にはならないこと,などが強調された。
  論文  参考訳（メタデータ） (2024-02-20T18:21:32Z)
• Factuality of Large Language Models: A Survey [29.557596701431827]
  我々は、主要な課題とその原因を特定することを目的として、既存の研究を批判的に分析する。 オープンエンドテキスト生成における事実自動評価の障害を解析する。
  論文  参考訳（メタデータ） (2024-02-04T09:36:31Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate [85.3444184685235]
  複数のエージェントが"tit for tat"の状態で議論を表現するマルチエージェント議論(MAD)フレームワークを提案し、審査員が議論プロセスを管理して最終解を得る。 我々のフレームワークは、深い熟考を必要とするタスクに役立ちそうなLSMにおける散発的思考を奨励する。
  論文  参考訳（メタデータ） (2023-05-30T15:25:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。