論文の概要: Roleplay-doh: Enabling Domain-Experts to Create LLM-simulated Patients via Eliciting and Adhering to Principles

• arxiv url: http://arxiv.org/abs/2407.00870v2
• Date: Sun, 14 Jul 2024 22:35:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 23:57:10.049654
• Title: Roleplay-doh: Enabling Domain-Experts to Create LLM-simulated Patients via Eliciting and Adhering to Principles
• Title（参考訳）: Roleplay-doh: LLMを模擬した患者を励磁し、原則に固執するドメインエキスパートの育成
• Authors: Ryan Louie, Ananjan Nandi, William Fang, Cheng Chang, Emma Brunskill, Diyi Yang,
• Abstract要約: ドメインエキスパートから定性的なフィードバックを引き出す新しい人間-LLMコラボレーションパイプラインであるRoleplay-dohを開発した。 このパイプラインを適用して、シニアメンタルヘルスサポーターが、シミュレートされた実践パートナのためにカスタマイズされたAI患者を作成できるようにします。
• 参考スコア（独自算出の注目度）: 58.82161879559716
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent works leverage LLMs to roleplay realistic social scenarios, aiding novices in practicing their social skills. However, simulating sensitive interactions, such as in mental health, is challenging. Privacy concerns restrict data access, and collecting expert feedback, although vital, is laborious. To address this, we develop Roleplay-doh, a novel human-LLM collaboration pipeline that elicits qualitative feedback from a domain-expert, which is transformed into a set of principles, or natural language rules, that govern an LLM-prompted roleplay. We apply this pipeline to enable senior mental health supporters to create customized AI patients for simulated practice partners for novice counselors. After uncovering issues in GPT-4 simulations not adhering to expert-defined principles, we also introduce a novel principle-adherence prompting pipeline which shows 30% improvements in response quality and principle following for the downstream task. Via a user study with 25 counseling experts, we demonstrate that the pipeline makes it easy and effective to create AI patients that more faithfully resemble real patients, as judged by creators and third-party counselors. See our project website at https://roleplay-doh.github.io/ for code and data.
• Abstract（参考訳）: 最近の研究は、LLMを現実的な社会的シナリオのロールプレイに活用し、初心者の社会的スキルの実践を支援している。 しかし、メンタルヘルスのような敏感な相互作用をシミュレートすることは困難である。 プライバシに関する懸念はデータアクセスを制限し、専門家からのフィードバックを集めることは極めて重要だ。 そこで我々は,LLMが推進するロールプレイを管理する,一連の原則や自然言語規則に変換されたドメインエキスパートからの質的なフィードバックを取り入れた,新しい人間-LLMコラボレーションパイプラインであるRoleplay-dohを開発した。 我々は、このパイプラインを適用し、初心者カウンセラーのためのシミュレートされた実践パートナーのために、シニアメンタルヘルスサポーターがカスタマイズされたAI患者を作成できるようにします。 また,GPT-4シミュレーションの課題を専門家が定義した原則に順守せず,応答品質の30%向上と下流タスクの原則改善を示す新しい原理順守促進パイプラインも導入した。 25人のカウンセリングの専門家によるユーザスタディにより、このパイプラインは、クリエーターやサードパーティのカウンセラーによって判断されるように、実際の患者にもっと忠実に類似したAI患者を、簡単かつ効果的に作成できることを示した。 コードとデータについては、プロジェクトのWebサイトhttps://roleplay-doh.github.io/を参照してください。

関連論文リスト

• Virtual Agents for Alcohol Use Counseling: Exploring LLM-Powered Motivational Interviewing [7.899257236779216]
  アルコール使用カウンセリングのためのモチベーション面接(MI)を行う仮想カウンセラーを開発した。 当社のアプローチでは,迅速なエンジニアリングと統合をユーザフレンドリな仮想プラットフォームに統合し,現実的で共感的なインタラクションを促進する。
  論文  参考訳（メタデータ） (2024-07-10T23:50:08Z)
• Capturing Minds, Not Just Words: Enhancing Role-Playing Language Models with Personality-Indicative Data [58.92110996840019]
  本稿では、パーソナリティを指標としたデータを用いて、ロールプレイング言語モデル(RPLM)を強化することを提案する。 具体的には、心理学的尺度からの質問を活用し、高度なRPAを蒸留し、文字の心を把握した対話を生成する。 実験により,本データセットを用いてトレーニングしたRPLMは,一般人格関連評価と人格関連評価の両面において,高度なロールプレイング能力を示した。
  論文  参考訳（メタデータ） (2024-06-27T06:24:00Z)
• Dr-LLaVA: Visual Instruction Tuning with Symbolic Clinical Grounding [53.629132242389716]
  VLM(Vision-Language Models)は、医用画像を分析し、自然言語の相互作用に関与することによって、臨床医を支援する。 VLMはしばしば「幻覚的」な振る舞いを示し、文脈的マルチモーダル情報に基づかないテキスト出力を生成する。 本稿では,臨床推論の象徴的表現を用いて医療知識にVLMを基盤とする新たなアライメントアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-29T23:19:28Z)
• Can AI Relate: Testing Large Language Model Response for Mental Health Support [23.97212082563385]
  大型言語モデル(LLM)はすでにニューヨーク・ラングーン、ダナ・ファーバー、NHSなどの病院システムで臨床使用のために試験されている。 本研究は、精神医療の自動化に向けて、LCM応答が有効かつ倫理的な道筋であるかどうかを判断するための評価枠組みを開発する。
  論文  参考訳（メタデータ） (2024-05-20T13:42:27Z)
• Response Generation for Cognitive Behavioral Therapy with Large Language Models: Comparative Study with Socratic Questioning [6.400704401007114]
  本研究では,感情変化,認知的変化,対話品質などの主観的評価に及ぼす生成応答の影響について検討した。 GPT-4を使用すると、気分の変化、共感、その他の対話の質が著しく向上する。
  論文  参考訳（メタデータ） (2024-01-29T08:53:41Z)
• Character-LLM: A Trainable Agent for Role-Playing [67.35139167985008]
  大規模言語モデル(LLM)は、人間の振る舞いをシミュレートするエージェントとして用いられる。 本稿では, ベートーヴェン, クレオパトラ女王, ユリウス・カエサルなど, LLM に特定の人物として行動するように教えるキャラクタ-LLMを紹介する。
  論文  参考訳（メタデータ） (2023-10-16T07:58:56Z)
• How Can Recommender Systems Benefit from Large Language Models: A Survey [82.06729592294322]
  大きな言語モデル(LLM)は、印象的な汎用知性と人間のような能力を示している。 我々は,実世界のレコメンデータシステムにおけるパイプライン全体の観点から,この研究の方向性を包括的に調査する。
  論文  参考訳（メタデータ） (2023-06-09T11:31:50Z)
• Principle-Driven Self-Alignment of Language Models from Scratch with Minimal Human Supervision [84.31474052176343]
  ChatGPTのような最近のAIアシスタントエージェントは、人間のアノテーションと人間のフィードバックからの強化学習を教師付き微調整(SFT)に頼り、アウトプットを人間の意図に合わせる。 この依存は、人間の監督を得るために高いコストがかかるため、AIアシスタントエージェントの真の可能性を大幅に制限することができる。 本稿では,AIエージェントの自己調整と人間監督の最小化のために,原則駆動推論とLLMの生成能力を組み合わせたSELF-ALIGNという新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-04T17:59:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。