論文の概要: Domain-Specific Improvement on Psychotherapy Chatbot Using Assistant
- arxiv url: http://arxiv.org/abs/2404.16160v1
- Date: Wed, 24 Apr 2024 19:30:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-26 16:02:40.914312
- Title: Domain-Specific Improvement on Psychotherapy Chatbot Using Assistant
- Title(参考訳): アシスタントを用いた心理療法チャットボットのドメイン特異的改善
- Authors: Cheng Kang, Daniel Novak, Katerina Urbanova, Yuqing Cheng, Yong Hu,
- Abstract要約: 我々はAlexanderStreet療法に基づくドメイン特化補助命令を提案する。
心理療法補助指導における事前学習LSMは、最先端LSMの反応ベースラインよりも優れていた。
- 参考スコア(独自算出の注目度): 1.5706140100056272
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have demonstrated impressive generalization capabilities on specific tasks with human-written instruction data. However, the limited quantity, diversity, and professional expertise of such instruction data raise concerns about the performance of LLMs in psychotherapy tasks when provided with domain-specific instructions. To address this, we firstly propose Domain-Specific Assistant Instructions based on AlexanderStreet therapy, and secondly, we use an adaption fine-tuning method and retrieval augmented generation method to improve pre-trained LLMs. Through quantitative evaluation of linguistic quality using automatic and human evaluation, we observe that pre-trained LLMs on Psychotherapy Assistant Instructions outperform state-of-the-art LLMs response baselines. Our Assistant-Instruction approach offers a half-annotation method to align pre-trained LLMs with instructions and provide pre-trained LLMs with more psychotherapy knowledge.
- Abstract(参考訳): 大規模言語モデル (LLM) は、人手による命令データを用いた特定のタスクに対する印象的な一般化機能を実証している。
しかし、そのような指導データに対する限られた量、多様性、専門知識は、ドメイン固有の指示が与えられた場合の精神療法タスクにおけるLLMのパフォーマンスに関する懸念を提起する。
まず、AlexanderStreet療法に基づくドメイン特化補助命令を提案し、次に、適応微調整法と検索強化法を用いて、事前学習したLLMを改善する。
自動評価と人的評価を用いて言語質を定量的に評価することにより、心理療法補助指導における事前学習のLLMが、最先端のLLM応答ベースラインを上回っていることを観察する。
我々の助教授アプローチは、トレーニング済みのLSMに指示を合わせ、トレーニング済みのLSMにより心理学的な知識を与える半注釈法を提供する。
関連論文リスト
- The Lay Person's Guide to Biomedicine: Orchestrating Large Language
Models [38.8292168447796]
大規模言語モデル(LLM)は、テキストの単純化、背景情報生成、テキスト評価において顕著な能力を示した。
我々は,LLMを利用して高品質なバックグラウンド知識を生成する,新しいtextitExplain-then-Summarise LSフレームワークを提案する。
また,複数の視点からレイネスを評価する2つの新しいLS評価指標を提案する。
論文 参考訳(メタデータ) (2024-02-21T03:21:14Z) - A Survey of Large Language Models in Medicine: Progress, Application,
and Challenge [86.4234483148876]
大規模言語モデル (LLM) は、人間の言語を理解し、生成する能力のために大きな注目を集めている。
本総説は,医学におけるLSMの開発と展開について概説することを目的としている。
論文 参考訳(メタデータ) (2023-11-09T02:55:58Z) - Auto-Instruct: Automatic Instruction Generation and Ranking for
Black-Box Language Models [91.02730155418699]
大規模言語モデル(LLM)は、自然言語命令に従うことで幅広いタスクを実行できる。
LLMに提供される命令の質を自動改善する新しい手法であるAuto-Instructを導入する。
118のアウトオブドメインタスクの実験では、Auto-Instructは人間による命令と既存のLCM生成命令のベースラインを超越している。
論文 参考訳(メタデータ) (2023-10-19T19:52:55Z) - Reflection-Tuning: Data Recycling Improves LLM Instruction-Tuning [79.32236399694077]
トレーニングセットの低品質データは、通常、チューニングのチューニングに有害である。
我々は「反射チューニング」と呼ばれる新しい手法を提案する。
このアプローチでは、オラクルLSMを使用して、データ内の命令や応答の質を検査し、向上することで、元のトレーニングデータをリサイクルする。
論文 参考訳(メタデータ) (2023-10-18T05:13:47Z) - SELF: Self-Evolution with Language Feedback [68.6673019284853]
SELF(Self-Evolution with Language Feedback)は、大規模言語モデルを進化させる新しいアプローチである。
LLMは、人間の学習プロセスと同様、自己回帰を通じて自己改善を可能にする。
数学および一般タスクにおける実験により,SELFは人間の介入なしにLLMの能力を高めることができることが示された。
論文 参考訳(メタデータ) (2023-10-01T00:52:24Z) - From Language Modeling to Instruction Following: Understanding the Behavior Shift in LLMs after Instruction Tuning [63.63840740526497]
そこで本研究では,本質的な変化に着目した事前学習モデルの調整方法について検討する。
次に、事前訓練されたモデルと命令調整されたモデルから導かれた説明を比較することで、命令チューニングの影響について研究する。
この結果から,指導指導の3つの重要な影響が明らかになった。
論文 参考訳(メタデータ) (2023-09-30T21:16:05Z) - Aligning Large Language Models for Clinical Tasks [0.0]
大規模言語モデル(LLM)は目覚ましい適応性を示しており、明示的に訓練されていないタスクに精通する能力を示している。
我々は「Expand-guess-refine」として知られる医療質問応答のためのアライメント戦略を提案する。
この手法の予備的な分析により、USMLEデータセットから得られた質問のサブセットで70.63%のスコアが得られた。
論文 参考訳(メタデータ) (2023-09-06T10:20:06Z) - Aligning Large Language Models with Human: A Survey [53.6014921995006]
広範囲なテキストコーパスで訓練されたLarge Language Models (LLM) は、幅広い自然言語処理(NLP)タスクの先導的なソリューションとして登場した。
その顕著な性能にもかかわらず、これらのモデルは、人間の指示を誤解したり、偏見のあるコンテンツを生成したり、事実的に誤った情報を生成するといった、ある種の制限を受ける傾向にある。
本調査では,これらのアライメント技術の概要について概観する。
論文 参考訳(メタデータ) (2023-07-24T17:44:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。