論文の概要: Multi-Level Feedback Generation with Large Language Models for Empowering Novice Peer Counselors
- arxiv url: http://arxiv.org/abs/2403.15482v1
- Date: Thu, 21 Mar 2024 04:23:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-26 22:32:02.882414
- Title: Multi-Level Feedback Generation with Large Language Models for Empowering Novice Peer Counselors
- Title(参考訳): 初心者子育て支援のための大規模言語モデルを用いたマルチレベルフィードバック生成
- Authors: Alicja Chaszczewicz, Raj Sanjay Shah, Ryan Louie, Bruce A Arnow, Robert Kraut, Diyi Yang,
- Abstract要約: フィードバックを提供する既存のメカニズムは、主に人間の監督に依存している。
我々の研究は、大規模言語モデルを活用し、コンテキスト化されたマルチレベルフィードバックを提供し、ピアカウンセラーに力を与えることを目的としている。
- 参考スコア(独自算出の注目度): 43.42054421125617
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Realistic practice and tailored feedback are key processes for training peer counselors with clinical skills. However, existing mechanisms of providing feedback largely rely on human supervision. Peer counselors often lack mechanisms to receive detailed feedback from experienced mentors, making it difficult for them to support the large number of people with mental health issues who use peer counseling. Our work aims to leverage large language models to provide contextualized and multi-level feedback to empower peer counselors, especially novices, at scale. To achieve this, we co-design with a group of senior psychotherapy supervisors to develop a multi-level feedback taxonomy, and then construct a publicly available dataset with comprehensive feedback annotations of 400 emotional support conversations. We further design a self-improvement method on top of large language models to enhance the automatic generation of feedback. Via qualitative and quantitative evaluation with domain experts, we demonstrate that our method minimizes the risk of potentially harmful and low-quality feedback generation which is desirable in such high-stakes scenarios.
- Abstract(参考訳): 現実的な実践と調整されたフィードバックは、臨床スキルを持つピアカウンセラーを訓練するための重要なプロセスである。
しかし、フィードバックを提供する既存のメカニズムは、主に人間の監督に依存している。
ピアカウンセラーは経験豊富なメンターから詳細なフィードバックを受けるメカニズムが欠如していることが多く、ピアカウンセリングを使用するメンタルヘルス問題に悩む多くの人々を支援することは困難である。
我々の研究は、大規模言語モデルを活用して、コンテキスト化されたマルチレベルフィードバックを提供し、ピアカウンセラー、特に初心者を大規模に支援することを目的としている。
これを達成するため、我々は上級心理療法監督者グループと共同で多段階のフィードバック分類を開発し、400の感情支援会話の総合的なフィードバックアノテーションを用いた公開データセットを構築した。
さらに,大規模な言語モデル上に自己改善手法を設計し,フィードバックの自動生成を強化する。
ドメインエキスパートによる質的,定量的な評価により,このようなシナリオで望ましい潜在的に有害な,低品質なフィードバック生成のリスクを最小化できることが実証された。
関連論文リスト
- VCounselor: A Psychological Intervention Chat Agent Based on a Knowledge-Enhanced Large Language Model [1.0055768887247036]
本研究の目的は,心理介入における大規模言語モデルの有効性と信頼性を向上させることである。
我々は、新しい感情的相互作用構造と知識・エンハンスメント構造を提案することで、この目標を達成した。
その結果, VCounselorの感情的相互作用構造と知識強調構造は, 心理的介入の有効性と信頼性を有意に向上した。
論文 参考訳(メタデータ) (2024-03-20T12:46:02Z) - Automatic Evaluation for Mental Health Counseling using LLMs [19.71452604279078]
自己または第三者のマニュアルレポートに頼ってカウンセリングの質を評価する既存の方法は、主観的バイアスと時間の制限に悩まされている。
本稿では,大規模言語モデル(LLM)を用いてカウンセリング会話における作業アライアンスを評価するための,革新的で効率的な自動アプローチを提案する。
論文 参考訳(メタデータ) (2024-02-19T09:00:10Z) - K-ESConv: Knowledge Injection for Emotional Support Dialogue Systems via
Prompt Learning [83.19215082550163]
K-ESConvは、感情支援対話システムのための、新しい学習に基づく知識注入手法である。
本研究では,情緒的支援データセットESConvを用いて,外部の専門的情緒的Q&Aフォーラムから知識を抽出し,組み込んだモデルを評価した。
論文 参考訳(メタデータ) (2023-12-16T08:10:10Z) - Enhancing Psychological Counseling with Large Language Model: A
Multifaceted Decision-Support System for Non-Professionals [31.01304974679576]
本稿では,非専門職を支援するために,大規模言語モデルの基礎の上に構築された新しいモデルを紹介し,オンラインユーザ談話に対する心理的介入を提供する。
様々な専門知識を持つ10人の専門的心理学的カウンセラーによる総合的研究を行い,システムの評価を行った。
以上の結果から,本システムは患者の問題を相対的精度で分析し,プロレベルの方策を推奨できる可能性が示唆された。
論文 参考訳(メタデータ) (2023-08-29T10:20:53Z) - ChatEval: Towards Better LLM-based Evaluators through Multi-Agent Debate [57.71597869337909]
われわれはChatEvalと呼ばれるマルチエージェントの審判チームを構築し、異なるモデルから生成された応答の品質を自律的に議論し評価する。
分析の結果,ChatEvalは単なるテキストスコアリングを超越し,信頼性評価のための人間模倣評価プロセスを提供することがわかった。
論文 参考訳(メタデータ) (2023-08-14T15:13:04Z) - Continually Improving Extractive QA via Human Feedback [59.49549491725224]
本研究では,人間のフィードバックによる抽出質問応答(QA)システムの改善を継続的に進める。
多様な設定の下で何千ものユーザインタラクションを含む実験を行い、時間とともにフィードバックからの学習の理解を広げます。
論文 参考訳(メタデータ) (2023-05-21T14:35:32Z) - Helping the Helper: Supporting Peer Counselors via AI-Empowered Practice
and Feedback [40.065280357381035]
CAREは、自動提案生成を通じてピアカウンセラーに権限を与える、インタラクティブなAIベースのツールである。
実践的なトレーニング段階において、CAREは特定のカウンセリング戦略が与えられた文脈で最も適しているかを診断するのに役立つ。
CAREは特に、初心者カウンセラーが挑戦的な状況でより良く対応するのに役立ちます。
論文 参考訳(メタデータ) (2023-05-15T19:48:59Z) - Perspectives on Incorporating Expert Feedback into Model Updates [46.99664744930785]
専門家のフィードバックタイプと実践者の更新とを一致させる分類法を考案する。
実践者は、観察レベルまたはドメインレベルの専門家からフィードバックを受けることができる。
我々は、このフィードバック更新分類について、MLと人間とコンピュータの相互作用による既存の研究を概観する。
論文 参考訳(メタデータ) (2022-05-13T21:46:55Z) - "Am I A Good Therapist?" Automated Evaluation Of Psychotherapy Skills
Using Speech And Language Technologies [38.726068038788384]
5000以上のレコードのデータセットを使用して、当社のプラットフォームとそのパフォーマンスを説明します。
本システムでは,セッションのダイナミクスに関する情報を含む包括的フィードバックをセラピストに提供する。
我々は、近い将来、自動精神療法評価ツールの広範な利用が専門家の能力を増強すると確信している。
論文 参考訳(メタデータ) (2021-02-22T18:52:52Z) - Facial Feedback for Reinforcement Learning: A Case Study and Offline
Analysis Using the TAMER Framework [51.237191651923666]
訓練者の表情からエージェント学習の可能性について,評価フィードバックとして解釈することで検討した。
設計したCNN-RNNモデルを用いて,学習者に対して表情とコンペティションの使用を指示することで,肯定的および否定的なフィードバックを推定する精度を向上させることができることを示す。
シミュレーション実験の結果,表情に基づく予測フィードバックのみから学習できることが示唆された。
論文 参考訳(メタデータ) (2020-01-23T17:50:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。