論文の概要: Multi-Level Feedback Generation with Large Language Models for Empowering Novice Peer Counselors

• arxiv url: http://arxiv.org/abs/2403.15482v1
• Date: Thu, 21 Mar 2024 04:23:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 22:32:02.882414
• Title: Multi-Level Feedback Generation with Large Language Models for Empowering Novice Peer Counselors
• Title（参考訳）: 初心者子育て支援のための大規模言語モデルを用いたマルチレベルフィードバック生成
• Authors: Alicja Chaszczewicz, Raj Sanjay Shah, Ryan Louie, Bruce A Arnow, Robert Kraut, Diyi Yang,
• Abstract要約: フィードバックを提供する既存のメカニズムは、主に人間の監督に依存している。 我々の研究は、大規模言語モデルを活用し、コンテキスト化されたマルチレベルフィードバックを提供し、ピアカウンセラーに力を与えることを目的としている。
• 参考スコア（独自算出の注目度）: 43.42054421125617
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Realistic practice and tailored feedback are key processes for training peer counselors with clinical skills. However, existing mechanisms of providing feedback largely rely on human supervision. Peer counselors often lack mechanisms to receive detailed feedback from experienced mentors, making it difficult for them to support the large number of people with mental health issues who use peer counseling. Our work aims to leverage large language models to provide contextualized and multi-level feedback to empower peer counselors, especially novices, at scale. To achieve this, we co-design with a group of senior psychotherapy supervisors to develop a multi-level feedback taxonomy, and then construct a publicly available dataset with comprehensive feedback annotations of 400 emotional support conversations. We further design a self-improvement method on top of large language models to enhance the automatic generation of feedback. Via qualitative and quantitative evaluation with domain experts, we demonstrate that our method minimizes the risk of potentially harmful and low-quality feedback generation which is desirable in such high-stakes scenarios.
• Abstract（参考訳）: 現実的な実践と調整されたフィードバックは、臨床スキルを持つピアカウンセラーを訓練するための重要なプロセスである。 しかし、フィードバックを提供する既存のメカニズムは、主に人間の監督に依存している。 ピアカウンセラーは経験豊富なメンターから詳細なフィードバックを受けるメカニズムが欠如していることが多く、ピアカウンセリングを使用するメンタルヘルス問題に悩む多くの人々を支援することは困難である。 我々の研究は、大規模言語モデルを活用して、コンテキスト化されたマルチレベルフィードバックを提供し、ピアカウンセラー、特に初心者を大規模に支援することを目的としている。 これを達成するため、我々は上級心理療法監督者グループと共同で多段階のフィードバック分類を開発し、400の感情支援会話の総合的なフィードバックアノテーションを用いた公開データセットを構築した。 さらに,大規模な言語モデル上に自己改善手法を設計し,フィードバックの自動生成を強化する。 ドメインエキスパートによる質的,定量的な評価により,このようなシナリオで望ましい潜在的に有害な,低品質なフィードバック生成のリスクを最小化できることが実証された。

関連論文リスト

• Cactus: Towards Psychological Counseling Conversations using Cognitive Behavioral Theory [24.937025825501998]
  我々は,認知行動療法(Cognitive Behavioral Therapy, CBT)の目標指向的, 構造化的アプローチを用いて, 実生活インタラクションをエミュレートする多ターン対話データセットを作成する。 我々は、実際のカウンセリングセッションの評価、専門家の評価との整合性の確保に使用される確立された心理学的基準をベンチマークする。 Cactusで訓練されたモデルであるCamelはカウンセリングスキルにおいて他のモデルよりも優れており、カウンセリングエージェントとしての有効性と可能性を強調している。
  論文  参考訳（メタデータ） (2024-07-03T13:41:31Z)
• Optimizing Psychological Counseling with Instruction-Tuned Large Language Models [9.19192059750618]
  本稿では,心理カウンセリングにおける大規模言語モデル(LLM)の適用について検討する。 本稿では,共感的,関連性,支援的な応答を提供することで,特定のプロンプトを持つLLMを指導し,その性能を高める方法を提案する。
  論文  参考訳（メタデータ） (2024-06-19T15:13:07Z)
• CPsyCoun: A Report-based Multi-turn Dialogue Reconstruction and Evaluation Framework for Chinese Psychological Counseling [27.193022503592342]
  中国における心理カウンセリングのための多面的対話再構築・評価フレームワークCPsyCounを提案する。 心理カウンセリングレポートを完全に活用するために、高品質な対話を構築するための2段階のアプローチが考案された。 マルチターン心理相談の効果的な自動評価のための総合評価ベンチマークを開発した。
  論文  参考訳（メタデータ） (2024-05-26T05:18:00Z)
• K-ESConv: Knowledge Injection for Emotional Support Dialogue Systems via Prompt Learning [83.19215082550163]
  K-ESConvは、感情支援対話システムのための、新しい学習に基づく知識注入手法である。 本研究では,情緒的支援データセットESConvを用いて,外部の専門的情緒的Q&Aフォーラムから知識を抽出し,組み込んだモデルを評価した。
  論文  参考訳（メタデータ） (2023-12-16T08:10:10Z)
• Enhancing Psychological Counseling with Large Language Model: A Multifaceted Decision-Support System for Non-Professionals [31.01304974679576]
  本稿では,非専門職を支援するために,大規模言語モデルの基礎の上に構築された新しいモデルを紹介し,オンラインユーザ談話に対する心理的介入を提供する。 様々な専門知識を持つ10人の専門的心理学的カウンセラーによる総合的研究を行い,システムの評価を行った。 以上の結果から,本システムは患者の問題を相対的精度で分析し,プロレベルの方策を推奨できる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-08-29T10:20:53Z)
• ChatEval: Towards Better LLM-based Evaluators through Multi-Agent Debate [57.71597869337909]
  われわれはChatEvalと呼ばれるマルチエージェントの審判チームを構築し、異なるモデルから生成された応答の品質を自律的に議論し評価する。 分析の結果,ChatEvalは単なるテキストスコアリングを超越し,信頼性評価のための人間模倣評価プロセスを提供することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T15:13:04Z)
• Continually Improving Extractive QA via Human Feedback [59.49549491725224]
  本研究では,人間のフィードバックによる抽出質問応答(QA)システムの改善を継続的に進める。 多様な設定の下で何千ものユーザインタラクションを含む実験を行い、時間とともにフィードバックからの学習の理解を広げます。
  論文  参考訳（メタデータ） (2023-05-21T14:35:32Z)
• Helping the Helper: Supporting Peer Counselors via AI-Empowered Practice and Feedback [40.065280357381035]
  CAREは、自動提案生成を通じてピアカウンセラーに権限を与える、インタラクティブなAIベースのツールである。 実践的なトレーニング段階において、CAREは特定のカウンセリング戦略が与えられた文脈で最も適しているかを診断するのに役立つ。 CAREは特に、初心者カウンセラーが挑戦的な状況でより良く対応するのに役立ちます。
  論文  参考訳（メタデータ） (2023-05-15T19:48:59Z)
• Perspectives on Incorporating Expert Feedback into Model Updates [46.99664744930785]
  専門家のフィードバックタイプと実践者の更新とを一致させる分類法を考案する。 実践者は、観察レベルまたはドメインレベルの専門家からフィードバックを受けることができる。 我々は、このフィードバック更新分類について、MLと人間とコンピュータの相互作用による既存の研究を概観する。
  論文  参考訳（メタデータ） (2022-05-13T21:46:55Z)
• Facial Feedback for Reinforcement Learning: A Case Study and Offline Analysis Using the TAMER Framework [51.237191651923666]
  訓練者の表情からエージェント学習の可能性について,評価フィードバックとして解釈することで検討した。 設計したCNN-RNNモデルを用いて,学習者に対して表情とコンペティションの使用を指示することで,肯定的および否定的なフィードバックを推定する精度を向上させることができることを示す。 シミュレーション実験の結果,表情に基づく予測フィードバックのみから学習できることが示唆された。
  論文  参考訳（メタデータ） (2020-01-23T17:50:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。