論文の概要: EMPATH: A Multilingual Auditor-Judge Benchmark for Safety Evaluation of Emotional-Support Chatbots
- arxiv url: http://arxiv.org/abs/2606.30256v1
- Date: Mon, 29 Jun 2026 13:05:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:16.239837
- Title: EMPATH: A Multilingual Auditor-Judge Benchmark for Safety Evaluation of Emotional-Support Chatbots
- Title（参考訳）: 情緒応答型チャットボットの安全性評価のためのマルチリンガルオーディタ・ジャッジベンチマークEMPATH
- Abstract要約: 本稿では,感情支援型チャットボットの安全性評価のためのベンチマークEMPATHを提案する。
オーディタモデルでは,140のシード命令と34のペルソナから多ターン会話を生成する。
審査員モデルは、危機処理、治療的品質、会話の整合性、感情的安全、文化的適応の5つの次元にわたる19の指標に対して、それぞれの全文をスコアする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Safety benchmarks often buy scalability by fixing the prompt, the language, and the turn structure. For emotional-support chatbots, that bargain hides precisely where safety failures emerge: across a multilingual, multi-turn crisis conversation. We present EMPATH, a benchmark for safety evaluation of emotional-support chatbots. An auditor model role-plays help-seeking users, generating multi-turn conversations from 140 seed instructions and 34 personas. A judge model scores each full transcript against 19 metrics across five dimensions: crisis handling, therapeutic quality, conversational integrity, emotional safety, and cultural adaptation. EMPATH is built for Mexican Spanish and US English; the studies reported here run in Mexican Spanish. Auditor and judge are drawn from different model families, and the judge is treated as an instrument to be calibrated rather than trusted. A strict per-criterion rubric reveals material score inflation on 10 of the 19 metrics and restores discrimination. We study the measurement properties of the benchmark through judge calibration and cross-family inter-judge agreement. We also illustrate EMPATH on three frontier models, one of them open-weight. Aggregate scores sit within 0.74 points of one another, but per-metric profiles diverge by up to six points in model-specific places. Under the standard rubric, both the ranking and the weak spots are stable across a second, cross-family judge: 93% of scores fall within plus or minus 1. A five-run test-retest adds a second axis: even the steadiest model swings from 2 to 10 on a crisis metric across identical re-runs, and deepseek-v4-pro returns a different conversation on every run even at temperature 0. Run-to-run reliability is therefore a per-model safety property, not noise to average away. EMPATH is system-agnostic; the pipeline, seeds, personas, and rubrics are released for reuse.
- Abstract（参考訳）: 安全ベンチマークは、しばしばプロンプト、言語、ターン構造を修正してスケーラビリティを取得する。
感情に支えられたチャットボットにとって、このバーゲンは安全上の障害が現れる場所を正確に隠している。
本稿では,感情支援型チャットボットの安全性評価のためのベンチマークEMPATHを提案する。
オーディタモデルでは,140のシード命令と34のペルソナから多ターン会話を生成する。
審査員モデルは、危機処理、治療的品質、会話の整合性、感情的安全、文化的適応の5つの次元にわたる19の指標に対して、それぞれの全文をスコアする。
EMPATHはメキシコ・スペイン語とアメリカ・イングリッシュのために作られており、この研究はメキシコ・スペイン語で行われている。
審査員と審査員は、異なるモデルファミリーから引き出され、審査員は信頼されるのではなく、校正される道具として扱われる。
基準当たりの厳格なルーリックは、19の指標のうち10の材料スコアのインフレを明らかにし、差別を回復させる。
判定校正と家族間合意によるベンチマークの測定特性について検討した。
また、3つのフロンティアモデルでEMPATHを説明します。
アグリゲートスコアは互いに0.74ポイント以内であるが、メトリックごとのプロファイルはモデル固有の場所で最大6ポイントまで分散する。
標準的なルーリックの下では、ランキングと弱いスポットは、第2の家庭横断審査員の間で安定している:93%のスコアがプラス1またはマイナス1に落ちる。
5回の試行テストでは、第2の軸が加わり、最も安定したモデルでさえ、同じリランの危機指標で2から10に揺れ、Deepseek-v4-proは、温度0.0のときでも、各ランで異なる会話を返します。
したがって、ラン・ツー・ランの信頼性は、平均的な距離でのノイズではなく、モデルごとの安全性特性である。
EMPATHはシステムに依存しない。パイプライン、シード、ペルソナ、ルーリックは再利用のためにリリースされている。
関連論文リスト
- CompanionBench: A Theory-Anchored, Real-World-Grounded Benchmark for AI Emotional Companionship [7.643253506288442]
既存のベンチマークでは、手書きのシナリオを使用し、シミュレーターを誘導する。
対話型バイリンガルベンチマークCompanionBenchを紹介する。
実際のデータにシナリオとトレーニングされたユーザーシミュレータの両方を基盤とした最初のコンパニオンベンチマークである。
論文 参考訳（メタデータ） (2026-08-03T10:44:04Z) - Enjoy Your Talk: A Human-Centered Benchmark for Multi-Turn Dialogue with Decoupled User Simulation, Target Modeling, and Judging [15.994164469249727]
EYT-Benchは、大規模な言語モデルを評価するための人間中心のベンチマークである。
人体は人体培養コーパスから採取される。
最先端のクローズドおよびオープンソースモデルは、統計的に主観的次元に近接している。
論文 参考訳（メタデータ） (2026-07-11T18:22:49Z) - SLMJury: Can Small Language Models Judge as Well as Large Ones? [1.5990700377571574]
SLMJury(Small Language Model (SLM) 評価フレームワーク)を2つのパラダイムの審査対象として紹介する。
我々は10のベンチマークで4つのモデルファミリーから16のSLM判定値(0.6B-14Bパラメータ)をベンチマークした。
信頼性の高い自動評価は大きなプロプライエタリなモデルを必要としないが、単一のSLMが支配的ではない。
論文 参考訳（メタデータ） (2026-06-05T19:38:15Z) - Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。
8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。
FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
論文 参考訳（メタデータ） (2026-06-02T07:01:33Z) - Let the Results Speak: A Replication-First Paradigm for LLM Behavioral Benchmarking [22.825786049667602]
本稿では,1つのヒト・ラタのコンセンサスに有効性を確保するために,複製第一パラダイムを提案する。
楽器を4つの特性で認証する - Kランの信頼性、アーキテクチャ的に異なる審査員間のクロスインストラクトレプリケーション、以前のトレーニングコホートからの審査員による歴史的フットプリントキャリブレーション、事前登録された予測。
本研究は, 自己発達型データ駆動による情緒的伴奏で, 次元は事前に決められず, 手順は9次元に安定化する。
論文 参考訳（メタデータ） (2026-05-27T03:41:11Z) - Evaluating Commercial AI Chatbots as News Intermediaries [85.32040752972836]
ベストシステムは、数時間前に報告されたイベントに関する質問に対して、90%以上の多重選択精度を達成する。
すべてのモデルはヒンディー語で最小の精度を達成する。
原因ではなく検索は エラーの70%以上を 引き起こします
論文 参考訳（メタデータ） (2026-05-21T17:42:07Z) - ProactBench: Beyond What The User Asked For [5.422521416406412]
ProactBenchは、textscEmergent、単一の公開アンカーからの推論、textscCritical、複数のアンカー間での合成、textscRecovery、タスク完了後の前方にある値の3つのフェーズ型に分解する。
我々の情報アシンメトリーは、スタイル強調スコア、漏洩、外部コンテキスト汚染、情報ダンプに対して防御します。
論文 参考訳（メタデータ） (2026-05-09T23:56:04Z) - Prosa: Rubric-Based Evaluation of LLMs on Real User Chats in Brazilian Portuguese [8.678622777553267]
Prosaはブラジル初のマルチターンポルトガル語チャットベンチマークである。
3人の審査員は16位のうち1つに同意する一方、総投票では16位のうち7つに同意する。
我々は、将来のモデルを同一条件下で評価できるように、ベンチマークとフィルタリングコードをリリースする。
論文 参考訳（メタデータ） (2026-05-02T22:44:44Z) - How Sensitive Are Safety Benchmarks to Judge Configuration Choices? [5.94231111588812]
HarmBenchのような安全ベンチマークは、モデル応答を有害または安全と分類する判断に頼っている。
判定モデルと判定プロンプトの組み合わせは,一般に一定の実装の詳細として扱われる。
審査員モデルの定式化により, 評価された有害応答率を最大24.2%にシフトした。
論文 参考訳（メタデータ） (2026-04-27T05:59:59Z) - A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。
我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
論文 参考訳（メタデータ） (2026-02-04T15:13:35Z) - One Battle After Another: Probing LLMs' Limits on Multi-Turn Instruction Following with a Benchmark Evolving Framework [51.50565654314582]
大規模言語モデルは、複数のトピックにまたがる対話を通して、ユーザの指示に従うことができる。
既存のベンチマークは、しばしば一定回数のターンに制限されるため、飽和の影響を受けにくく、ユーザのインタラクティブなエクスペリエンスを考慮できない。
マルチターン命令追従能力を評価するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2025-11-05T14:39:59Z) - AHELM: A Holistic Evaluation of Audio-Language Models [78.20477815156484]
マルチモーダルオーディオ言語モデル(ALM)は、インターリーブされた音声とテキストを入力および出力テキストとして取り込む。
AHELMは、PARADEとCoRe-Benchと呼ばれる2つの新しい合成オーディオテキストデータセットを含む、さまざまなデータセットを集約するベンチマークである。
また、モデル間の等価比較を確保するために、プロンプト、推論パラメータ、評価指標を標準化する。
論文 参考訳（メタデータ） (2025-08-29T07:40:39Z) - Large Language Models are not Fair Evaluators [60.27164804083752]
候補回答の品質ランキングは,文脈の出現順序を変えることで容易にハックできることがわかった。
この操作により、評価結果をスキューし、一方のモデルを他方よりもかなり優れているようにすることができる。
この問題を緩和するための3つのシンプルかつ効果的な戦略を持つフレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-29T07:41:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。