論文の概要: An Automated Quality Evaluation Framework of Psychotherapy Conversations with Local Quality Estimates

• arxiv url: http://arxiv.org/abs/2106.07922v1
• Date: Tue, 15 Jun 2021 07:18:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-16 15:09:12.252206
• Title: An Automated Quality Evaluation Framework of Psychotherapy Conversations with Local Quality Estimates
• Title（参考訳）: 地域品質推定を用いた心理療法会話の自動品質評価フレームワーク
• Authors: Zhuohao Chen, Nikolaos Flemotomos, Karan Singla, Torrey A. Creed, David C. Atkins, Shrikanth Narayanan
• Abstract要約: CBTインタラクションの品質を自動評価する階層型フレームワークを提案する。 まず、セグメントレベルの(局所的な)品質スコアを予測するために、BERTを微調整する。 次に、双方向LSTMベースのニューラルネットワークへの低レベル入力としてセグメント埋め込みを使用し、セッションレベル(グローバル)の品質推定を予測します。
• 参考スコア（独自算出の注目度）: 38.841853815519734
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Computational approaches for assessing the quality of conversation-based psychotherapy, such as Cognitive Behavioral Therapy (CBT) and Motivational Interviewing (MI), have been developed recently to support quality assurance and clinical training. However, due to the long session lengths and limited modeling resources, computational methods largely rely on frequency-based lexical features or distribution of dialogue acts. In this work, we propose a hierarchical framework to automatically evaluate the quality of a CBT interaction. We divide each psychotherapy session into conversation segments and input those into a BERT-based model to produce segment embeddings. We first fine-tune BERT for predicting segment-level (local) quality scores and then use segment embeddings as lower-level input to a Bidirectional LSTM-based neural network to predict session-level (global) quality estimates. In particular, the segment-level quality scores are initialized with the session-level scores and we model the global quality as a function of the local quality scores to achieve the accurate segment-level quality estimates. These estimated segment-level scores benefit theBERT fine-tuning and in learning better segment embeddings. We evaluate the proposed framework on data drawn from real-world CBT clinical session recordings to predict multiple session-level behavior codes. The results indicate that our approach leads to improved evaluation accuracy for most codes in both regression and classification tasks.
• Abstract（参考訳）: CBT(Cognitive Behavioral Therapy)やMI(Motivational Interviewing)といった,会話に基づく心理療法の質を評価するための計算手法が近年開発され,品質保証と臨床研修が支援されている。 しかしながら、長いセッションの長さと限られたモデリングリソースのため、計算手法は主に周波数ベースの語彙的特徴や対話行為の分布に依存する。 本研究では,cbtインタラクションの品質を自動的に評価する階層的フレームワークを提案する。 各心理療法セッションを会話セグメントに分割し、BERTベースのモデルに入力し、セグメント埋め込みを生成する。 まず、セグメントレベルの(局所的な)品質スコアを予測し、次に、双方向LSTMベースのニューラルネットワークへの下位レベルの入力としてセグメント埋め込みを使用してセッションレベルの(グローバルな)品質推定を予測する。 特に,セグメントレベルの品質スコアはセッションレベルのスコアで初期化され,グローバル品質を局所的な品質スコアの関数としてモデル化し,正確なセグメントレベルの品質推定を行う。 これらの推定セグメントレベルスコアは、BERTの微調整とより良いセグメント埋め込みの学習の恩恵を受ける。 実世界のCBT臨床セッション記録から得られたデータに基づいて,複数のセッションレベルの行動コードを予測する。 その結果,回帰処理と分類処理の両方において,ほとんどの符号の評価精度が向上することが示唆された。

関連論文リスト

• CBT-Bench: Evaluating Large Language Models on Assisting Cognitive Behavior Therapy [67.23830698947637]
  認知行動療法(CBT)支援の体系的評価のための新しいベンチマークであるCBT-BENCHを提案する。 我々は, CBT-BENCHにおける3段階の課題を含む: I: 基本的CBT知識獲得, 複数選択質問のタスク; II: 認知的モデル理解, 認知的歪み分類, 主根的信念分類, きめ細かい中核信念分類のタスク; III: 治療的応答生成, CBTセラピーセッションにおける患者音声に対する応答生成のタスク。 実験結果から,LLMはCBT知識のリサイティングに優れるが,複雑な実世界のシナリオでは不十分であることが示唆された。
  論文  参考訳（メタデータ） (2024-10-17T04:52:57Z)
• Exploring Pathological Speech Quality Assessment with ASR-Powered Wav2Vec2 in Data-Scarce Context [7.567181073057191]
  本稿では,データ不足にもかかわらずセグメントではなく,音声レベルで学習する手法を提案する。 その結果, ASR に基づく Wav2Vec2 モデルが最高の結果をもたらし, ASR と音声品質評価との間に強い相関関係があることが示唆された。
  論文  参考訳（メタデータ） (2024-03-29T13:59:34Z)
• Hyperparameters in Continual Learning: A Reality Check [53.30082523545212]
  連続学習(CL)は、可塑性(新しいタスクを学ぶ)と安定性(事前知識を保持する)のトレードオフをバランスしながら、一連のタスクでモデルを訓練することを目的としている。 CLアルゴリズムの従来の評価プロトコルは、与えられたシナリオで最適なハイパーパラメータを選択し、同じシナリオでアルゴリズムを評価する。 このプロトコルには大きな欠点があり、アルゴリズムのCL能力を過大評価し、非現実的なハイパーパラメータチューニングに依存している。 CLアルゴリズムの評価は,予測できないシナリオに対するCL能力の一般化性を評価することに集中すべきである,と我々は主張する。
  論文  参考訳（メタデータ） (2024-03-14T03:13:01Z)
• Calibrating LLM-Based Evaluator [92.17397504834825]
  マルチステージで勾配のないアプローチであるAutoCalibrateを提案し,LLMに基づく評価器を人間の好みに合わせて調整・調整する。 人間の嗜好を明示的にモデル化する代わりに、まず暗黙的に人間のラベルに含めます。 複数のテキスト品質評価データセットに関する実験は、校正による専門家評価との相関性を大幅に改善したことを示す。
  論文  参考訳（メタデータ） (2023-09-23T08:46:11Z)
• Improving Generalization Capability of Deep Learning-Based Nuclei Instance Segmentation by Non-deterministic Train Time and Deterministic Test Time Stain Normalization [0.674572634849505]
  核のインスタンスセグメンテーションは、幅広い臨床および研究応用において、基本的な役割を果たす。 ディープラーニング(DL)ベースのアプローチは、最高のパフォーマンスを提供するために示されています。 本稿では,DLに基づく自動セグメンテーション手法の一般化能力向上のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-09-12T11:29:35Z)
• Deep Quality Estimation: Creating Surrogate Models for Human Quality Ratings [6.645279583701951]
  複雑な多クラスセグメンテーション問題,特にBraTSアノテーションプロトコルに従ってグリオーマセグメンテーションを評価する。 トレーニングデータは、コンピュータ生成および手動の3Dアノテーションのために、1から6つの星のスケールで15人の神経放射線学者による品質評価を特徴としている。 誤差の範囲内でのセグメンテーションの質を、人間のレータ内信頼性に匹敵する程度に近似することができる。
  論文  参考訳（メタデータ） (2022-05-17T10:32:27Z)
• NaturalSpeech: End-to-End Text to Speech Synthesis with Human-Level Quality [123.97136358092585]
  我々は、ベンチマークデータセット上で人間レベルの品質を実現するNaturalSpeechと呼ばれるTSシステムを開発した。 具体的には、波形生成のための変分オートエンコーダ(VAE)を利用する。 LJSpeechデータセットを用いた実験により,提案したNaturalSpeechは文レベルでの人間の記録に対して-0.01CMOSを達成した。
  論文  参考訳（メタデータ） (2022-05-09T16:57:35Z)
• Automated Quality Assessment of Cognitive Behavioral Therapy Sessions Through Highly Contextualized Language Representations [34.670548892766625]
  認知行動療法(Cognitive Behavioral Therapy, CBT)という,特定の心理療法の行動自動スコアリングモデルを提案する。 このモデルは高い解釈可能性を達成するためにマルチタスクで訓練される。 BERTベースの表現は、利用可能な治療メタデータでさらに拡張され、関連する非言語的コンテキストを提供し、一貫したパフォーマンス改善につながります。
  論文  参考訳（メタデータ） (2021-02-23T09:22:29Z)
• Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy Evaluation Approach [84.02388020258141]
  強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。 ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。 実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-02-20T03:29:20Z)
• Quality-aware semi-supervised learning for CMR segmentation [2.9928692313705505]
  医用画像セグメンテーションのためのディープラーニングアルゴリズムを開発する上での課題の1つは、トレーニングデータの不足である。 本稿では,下流タスクのQCを用いて,CMRセグメンテーションネットワークの高品質な出力を同定する手法を提案する。 本質的にこれは、セグメンテーションネットワーク用のSSLの変種におけるトレーニングデータの品質向上を提供する。
  論文  参考訳（メタデータ） (2020-09-01T17:18:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。