論文の概要: HerHealthEval: Evaluating Multilingual and Register-Sensitive Understanding of Women's Health Communication
- arxiv url: http://arxiv.org/abs/2609.20684v1
- Date: Thu, 17 Sep 2026 16:53:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:54.38814
- Title: HerHealthEval: Evaluating Multilingual and Register-Sensitive Understanding of Women's Health Communication
- Title（参考訳）: HerHealthEval:女性の健康コミュニケーションの多言語的・登録的理解の評価
- Abstract要約: 女性の健康コミュニケーションを多言語で理解するための評価フレームワークであるHerHealthEvalを紹介する。
それぞれの臨床症例について、HerHealthEvalは6つのコミュニケーション形式を使用して、英語、フランス語、現代標準アラビア語で一致したバージョンを提供する。
我々は,多言語命令モデルとQLoRA適応変種を,関係分類,リスクキャリブレーション,明確化行動,パースコンプライアンス,相互整合性に基づいて評価する。
- 参考スコア（独自算出の注目度）: 0.2609784101826761
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models are increasingly used in healthcare communication, yet most evaluations emphasize response quality while assuming that the user's concern has been interpreted correctly. We introduce HerHealthEval, a controlled evaluation framework for multilingual understanding of women's-health communication. For each clinical case, HerHealthEval provides matched versions in English, French, and Modern Standard Arabic using six communicative forms: canonical, clinical, layperson, indirect or hedged, emotionally concerned, and deliberately under-specified. The first five express the same underlying concern and retain the same clinical information, whereas the under-specified form intentionally omits relevant details to test whether the model recognizes that clarification is needed. We evaluate a multilingual instruction model and QLoRA-adapted variants on concern classification, risk calibration, clarification behavior, parse compliance, and cross-form consistency. Results reveal that aggregate accuracy and consistency can conceal safety-relevant failures. A multilingual adaptation model reaches 0.994 under-triage in French and Arabic under language-asymmetric risk supervision. A controlled re-adaptation using source-derived, language-invariant risk labels reduces under-triage to 0.572 and 0.558, respectively. These findings show that robust multilingual healthcare evaluation requires explicit testing of register variation, uncertainty handling, and the provenance and invariance of adaptation labels.
- Abstract（参考訳）: 大規模言語モデルは、医療コミュニケーションにおいてますます使われるようになっているが、ほとんどの評価は、ユーザの懸念が正しく解釈されていると仮定しながら、応答品質を強調している。
女性の健康コミュニケーションを多言語で理解するための評価フレームワークであるHerHealthEvalを紹介する。
それぞれの臨床症例について、HerHealthEvalは英語、フランス語、モダン・スタンダード・アラビアで一致したバージョンを提供しており、6つのコミュニケーション形式(標準、臨床、レイパーソン、間接的またはヘッジド、感情的に懸念され、意図的に不明確である。
最初の5つは、同じ懸念を表現し、同じ臨床情報を保持する一方、未特定の形式は、モデルが明確化が必要であることを認識しているかどうかをテストするために、意図的に関連した詳細を省略する。
我々は,多言語命令モデルとQLoRA適応変種を,関係分類,リスクキャリブレーション,明確化行動,パースコンプライアンス,相互整合性に基づいて評価する。
その結果、集計精度と一貫性が安全関連障害を隠蔽することが明らかとなった。
多言語適応モデルは、言語非対称リスク監視の下でフランス語とアラビア語で0.994アンダートリアージュに達する。
ソースから派生した言語不変のリスクラベルを用いた制御された再適応は、それぞれ0.572と0.558に減少する。
これらの結果から, 頑健な多言語医療評価には, レジスタ変動, 不確実性処理, 適応ラベルの出現と不変性の明示的な検査が必要であることが示唆された。
関連論文リスト
- EviSI: An Evidence-Based Evaluation Agent for Simultaneous Interpreting [15.392286631815763]
EviSIは多次元品質指標(MQM)とプロのインタプリタで開発された基準を組み合わせた大規模言語モデル評価エージェントである。
EviSIは、人格の英語から中国語、中国語、英語のデータに対して、総合的な英語から中国語の人格のランキングを復元する。
人間の評価のない5方向への多言語拡張は、次元とスコアリングルールを保持し、COMETとの正のシステムランキング相関を示す。
論文 参考訳（メタデータ） (2026-09-08T03:00:11Z) - Inference-Time Steering for Cross-Lingual Factual Consistency in LLMs [51.56484100374058]
大規模言語モデル(LLM)は目覚ましい多言語流布を示すが、その内部知識表現はハイリソース言語に対して不均等に偏っている。
我々は,これらのバイアスを推論時に緩和できるかどうかを考察し,対象言語でクエリされたかのように,英語の確率モデルに答えるように強制する。
Gemma 3 12Bの実験では、最も強い全体的な介入、効率性のバランス、安全性、ドメイン外の一般化を促すペルソナが明らかにされている。
論文 参考訳（メタデータ） (2026-07-21T16:15:05Z) - Reliable Multilingual Orthopedic Decision Support from Clinical Narratives: Language-Aware Adaptation and Verification-Guided Deferral [0.0]
本稿では,英語,ヒンディー語,パンジャービ語で自由文正書法を分類するための信頼性指向フレームワークを提案する。
本研究では,タスク整列型多言語トランスフォーマーエンコーダ,タスク細調整型 DistilBERT ベースライン,ゼロショット命令調整型大言語モデル(LLM),ドメイン適応型エンコーダ IndicBERT-HPA を比較した。
論文 参考訳（メタデータ） (2026-05-29T16:30:45Z) - Retrieval-Augmented Linguistic Calibration [57.41519309308438]
我々は,言語的信頼度を,文が正しいと認識される確率値の分布としてモデル化する。
Retrieval-Augmented Linguistic truth (RALC)は、信頼性信号を自然言語に伝達する軽量なポストホックパイプラインである。
論文 参考訳（メタデータ） (2026-05-19T04:31:38Z) - Reliability-Oriented Multilingual Orthopedic Diagnosis: A Domain-Adaptive Modeling and a Conceptual Validation Framework [0.0]
英語,ヒンディー語,パンジャービ語におけるフリーテキストによる多言語整形外科診断のシステムレベルでの分析を行った。
i)タスク整列型多言語トランスフォーマーエンコーダ,(ii)タスク細調整ベースライン(DistilBERT),(iii)整形テキストに適したドメイン適応型アーキテクチャの3つのモデリング方式を評価する。
論文 参考訳（メタデータ） (2026-05-04T06:20:36Z) - Multilingual Refusal Alignment for Safer Large Language Models [53.64286756804503]
単言語アライメントが言語横断的に伝達されるか,トレーニング中に言語一貫性が保たれるか,一般的な知識能力とのトレードオフが生じるかを検討する。
RefusEUは、12のヨーロッパ言語をカバーする新しい拒絶アライメントデータセットであり、現在の最先端モデルを評価するための専用のテストセットを含む。
制御された直接選好最適化(DPO)実験は、2つの重要な洞察を提供する: 英語でのみモデルを整列することは、同じハーネスカテゴリであっても、言語間安全を保証するには不十分である。
論文 参考訳（メタデータ） (2026-04-24T09:29:14Z) - Cross-Lingual Stability of LLM Judges Under Controlled Generation: Evidence from Finno-Ugric Languages [0.22009842278462158]
大規模言語モデル(LLM)の言語間評価は、典型的には、真のモデルの性能差と測定不安定性の2つの要因を混同する。
対象言語が異なる場合に生成条件を一定に保って評価信頼性を評価する。
本研究は, 形態学的に豊かな言語における談話レベルの評価には, ゼロショット・ジャッジ・トランスファーが信頼できないことを示唆している。
論文 参考訳（メタデータ） (2026-02-02T16:27:32Z) - When Meanings Meet: Investigating the Emergence and Quality of Shared Concept Spaces during Multilingual Language Model Training [57.230355403478995]
本研究では,EuroLLMの事前学習における言語に依存しない概念空間の開発について検討する。
共有概念空間は早期に出現し、洗練され続けていますが、それらとの整合性は言語に依存しています。
従来の作業とは対照的に、細かな手作業分析により、翻訳品質の顕著な向上は、行動の変化を反映していることが判明した。
論文 参考訳（メタデータ） (2026-01-30T11:23:01Z) - JMedEthicBench: A Multi-Turn Conversational Benchmark for Evaluating Medical Safety in Japanese Large Language Models [47.20100799532625]
JMedEthicBenchは,大規模言語モデルの医療安全性を評価するための,最初のマルチターン対話型ベンチマークである。
デュアルLLMスコアリングプロトコルを用いて27のモデルを評価し,医療特化モデルでは脆弱性が増大するのに対して,商業モデルは堅牢な安全性を維持していることを確認した。
論文 参考訳（メタデータ） (2026-01-04T18:18:18Z) - Few-Shot Cross-lingual Transfer for Coarse-grained De-identification of
Code-Mixed Clinical Texts [56.72488923420374]
事前学習型言語モデル (LM) は低リソース環境下での言語間移動に大きな可能性を示している。
脳卒中におけるコードミキシング(スペイン・カタラン)臨床ノートの低リソース・実世界の課題を解決するために,NER (name recognition) のためのLMの多言語間転写特性を示す。
論文 参考訳（メタデータ） (2022-04-10T21:46:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。