論文の概要: Evaluating Role-Consistency in LLMs for Counselor Training

• arxiv url: http://arxiv.org/abs/2601.08892v1
• Date: Tue, 13 Jan 2026 12:26:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-15 18:59:20.128403
• Title: Evaluating Role-Consistency in LLMs for Counselor Training
• Title（参考訳）: カウンセラー研修におけるLLMの役割整合性の評価
• Authors: Eric Rudolph, Natalie Engert, Jens Albrecht,
• Abstract要約: 本稿では,オンラインカウンセリングのための仮想クライアントであるVirCoについて検討する。 VirCoは、現実的なクライアントインタラクションをシミュレートすることで、学術的なトレーニングにおける従来のロールプレイング手法を補完するように設計されている。 我々は,大規模言語モデルが割り当てられた役割を維持する能力をテストするために,敵攻撃を取り入れた新しいデータセットを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rise of online counseling services has highlighted the need for effective training methods for future counselors. This paper extends research on VirCo, a Virtual Client for Online Counseling, designed to complement traditional role-playing methods in academic training by simulating realistic client interactions. Building on previous work, we introduce a new dataset incorporating adversarial attacks to test the ability of large language models (LLMs) to maintain their assigned roles (role-consistency). The study focuses on evaluating the role consistency and coherence of the Vicuna model's responses, comparing these findings with earlier research. Additionally, we assess and compare various open-source LLMs for their performance in sustaining role consistency during virtual client interactions. Our contributions include creating an adversarial dataset, evaluating conversation coherence and persona consistency, and providing a comparative analysis of different LLMs.
• Abstract（参考訳）: オンラインカウンセリングサービスの台頭は、将来のカウンセラーにとって効果的なトレーニング方法の必要性を浮き彫りにした。 本稿では,オンラインカウンセリングのための仮想クライアントであるVirCoの研究を拡張し,現実的なクライアントインタラクションをシミュレートすることで,従来のロールプレイング手法を補完する。 従来の研究に基づいて,大規模言語モデル(LLM)が割り当てられた役割(ロール一貫性)を維持する能力をテストするために,敵攻撃を組み込んだ新たなデータセットを導入する。 この研究は、Vicunaモデルの役割の一貫性とコヒーレンスを評価することに焦点を当て、これらの知見を以前の研究と比較した。 さらに,仮想クライアント間通信における役割の整合性を維持するために,様々なオープンソースのLCMを評価し,比較する。 我々の貢献は、敵対的データセットの作成、会話のコヒーレンスとペルソナの一貫性の評価、異なるLLMの比較分析の提供である。

関連論文リスト

• Ψ-Arena: Interactive Assessment and Optimization of LLM-based Psychological Counselors with Tripartite Feedback [51.26493826461026]
  大規模言語モデル(LLM)の総合的評価と最適化のための対話型フレームワークであるPsi-Arenaを提案する。 アリーナは、心理学的にプロファイルされたNPCクライアントとの多段階対話を通じて現実世界のカウンセリングをシミュレートする現実的なアリーナ相互作用を特徴としている。 8つの最先端のLLM実験は、異なる実世界のシナリオと評価の観点で大きなパフォーマンス変化を示す。
  論文  参考訳（メタデータ） (2025-05-06T08:22:51Z)
• Playpen: An Environment for Exploring Learning Through Conversational Interaction [84.0413820245725]
  本研究は,対話ゲームが学習のフィードバック信号の源として機能するかどうかを考察する。 本稿では,対話ゲームによるオフラインおよびオンライン学習環境であるPlaypenを紹介する。 SFTによる模倣学習は、目に見えないインスタンスのパフォーマンスを向上させるが、他のスキルに悪影響を及ぼす。
  論文  参考訳（メタデータ） (2025-04-11T14:49:33Z)
• Enhancing Persona Consistency for LLMs' Role-Playing using Persona-Aware Contrastive Learning [7.836439251883518]
  モデルロールプレイング行動を調整するために,textbfunderlinePersona-Aware textbfunderlineContrastive textbfunderlineLearning (PCL) という新しいフレームワークを提案する。 自動評価法と人手による評価では,PCLはバニラLLMよりも有意に優れていた。
  論文  参考訳（メタデータ） (2025-03-22T06:12:34Z)
• Interactive Agents: Simulating Counselor-Client Psychological Counseling via Role-Playing LLM-to-LLM Interactions [12.455050661682051]
  本稿では,カウンセラーとクライアントの相互作用をシミュレートするためのロールプレイングを通じて,2つの大きな言語モデル(LLM)を利用するフレームワークを提案する。 我々のフレームワークは2つのLCMで構成され、1つは特定の実生活のユーザープロファイルを備えたクライアントとして機能し、もう1つは経験豊富なカウンセラーとして機能する。
  論文  参考訳（メタデータ） (2024-08-28T13:29:59Z)
• Peer Review as A Multi-Turn and Long-Context Dialogue with Role-Based Interactions [62.0123588983514]
  大規模言語モデル(LLM)は様々な分野にまたがる幅広い応用を実証してきた。 我々は、ピアレビュープロセスを多ターン長文対話として再構築し、著者、レビュアー、意思決定者に対して異なる役割を担っている。 複数の情報源から収集された92,017件のレビューを含む26,841件の論文を含む包括的データセットを構築した。
  論文  参考訳（メタデータ） (2024-06-09T08:24:17Z)
• SAIE Framework: Support Alone Isn't Enough -- Advancing LLM Training with Adversarial Remarks [47.609417223514605]
  この研究は、学習者とパートナーモデルの間の支援的および敵対的な議論を促進するSAIEフレームワークを紹介している。 実験により,SAIEフレームワークで微調整したモデルでは,従来の微調整手法で訓練したモデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2023-11-14T12:12:25Z)
• Rethinking the Evaluation for Conversational Recommendation in the Era of Large Language Models [115.7508325840751]
  近年の大規模言語モデル(LLM)の成功は、より強力な対話レコメンデーションシステム(CRS)を開発する大きな可能性を示している。 本稿では,ChatGPTの会話レコメンデーションへの活用について検討し,既存の評価プロトコルが不十分であることを明らかにする。 LLMをベースとしたユーザシミュレータを用いた対話型評価手法iEvaLMを提案する。
  論文  参考訳（メタデータ） (2023-05-22T15:12:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。