論文の概要: Safety That Does Not Transfer: Cross-Lingual Clinical Correctness Drift in Deployable Medical Language Models
- arxiv url: http://arxiv.org/abs/2607.17270v1
- Date: Sun, 19 Jul 2026 14:20:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.415613
- Title: Safety That Does Not Transfer: Cross-Lingual Clinical Correctness Drift in Deployable Medical Language Models
- Title（参考訳）: 移動しない安全性: デプロイ可能な医療用言語モデルにおける言語間クリニカル・クリニカル・クリニカル・クリニカル・クリニカル・リフット
- Abstract要約: 英語で確立された臨床安全性がハウサ語に伝達されるか,失敗は言語に起因するか否かを問う。
6つのモデルが評価され、5つのローカル展開システム、2つの医療用微調整システム、1つのフロンティアシステムが評価された。
128件の回答は、ナイジェリアの国民的治療ガイドラインに対して2人の流実なハウサ語話者によって集められた。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Safety evaluation of large language models is conducted predominantly in English and predominantly on frontier systems. Neither condition describes how such models are encountered in low-resource health settings, where small quantised systems are run locally and queried in local languages. We ask whether clinical safety established in English transfers to Hausa, and whether any failure is attributable to the language, the clinical task, or the class of model that low-resource deployment admits. Matched English-Hausa question pairs were built for three conditions of high burden in northern Nigeria: malaria, sickle cell disease, and tuberculosis, probing knowledge recall, emergency triage, a leading question inviting a contraindicated action, and a traditional-remedy claim. Six models were evaluated: five locally deployable systems of 4-9 billion parameters, two medically fine-tuned, and one frontier system. All 128 responses were scored against Nigerian national treatment guidelines by two fluent Hausa speakers working independently and blind to one another. Among locally deployable models, mean clinical correctness fell from 1.57 in English to -0.03 in Hausa, on a scale where 2 denotes a correct answer and -1 an actively harmful one. The frontier model moved from 2.00 to 1.75 and produced no response judged harmful in either language. Drift was consistent across all three conditions. Inter-rater agreement was substantial for clinical correctness (kappa = 0.70); agreement on harm was initially poor (kappa = 0.22) and is examined in detail. Because a frontier model answers the same questions competently in Hausa, the deficit is a property neither of the language nor of the clinical material, but of the deployable tier.
- Abstract（参考訳）: 大規模言語モデルの安全性評価は、主に英語で行われ、主にフロンティアシステムで行われている。
どちらの条件も、小さな量子化されたシステムがローカルで実行され、ローカル言語でクエリされる低リソースのヘルス環境で、そのようなモデルがどのように遭遇するかを記述していない。
英語で確立された臨床安全性はハウサ語に伝達されるのか,失敗は言語,臨床課題,低リソース展開が許容するモデルのクラスに起因するのかを問う。
一致した英語とハウサの質問対は、マラリア、病原体細胞病、結核の3つの重荷の3つの条件のために構築された。
6つのモデルが評価され、5つのローカル展開可能な4-90億のパラメータ、医療用微調整2つ、フロンティア1つが評価された。
128件の回答は、ナイジェリアの国民的治療ガイドラインに対して、それぞれ独立して活動し、お互いに盲目な2人の流麗なハウサ話者によって集められた。
局所展開可能なモデルでは、平均臨床正当性は英語で1.57からハウサで-0.03に低下した。
フロンティアモデルは2.00から1.75に移行し、どちらの言語でも有害であると判断された応答は生成されなかった。
ドリフトは3つの条件すべてで一貫していた。
臨床正当性 (Kappa = 0.70) については, 当初, 危害に関する合意が不十分 (Kappa = 0.22) であった。
ホーサではフロンティアモデルが同等の疑問に答えるので、欠陥は言語でも臨床材料でも、デプロイ可能な階層でも問題ではない。
関連論文リスト
- IyawoBench v2.0: Extended Diagnostic Evaluation of Large Language Model Clinical Triage in Nigerian Primary Care [0.0]
IyawoBench v2.0 は,大言語モデルによる臨床トリアージの診断に有用である。
トリアージ安全性を3つの異なる障害モード(保守的エスカレーションバイアス、システマティックダウングレードバイアス、ミドルタイア不安定)に分解するフォーマルな数学的枠組みを導入する。
論文 参考訳（メタデータ） (2026-07-31T07:11:55Z) - MMed-Bench-IR: A Heterogeneous Benchmark for Multilingual Medical Information Retrieval [2.0221473384338884]
多言語医療検索には,言語横断アライメント,概念識別,エビデンス検索という3つの機能が必要である。
MMed-Bench-IRは、6つの言語と3つの構造的不均一なタスクにまたがってこれらの軸をアンタングルするように設計されたベンチマークである。
3つのタスクはゼロの概念を共有し、設計によってクエリオーバーラップし、アグリゲーションスコアが真の能力の幅を反映することを保証します。
論文 参考訳（メタデータ） (2026-06-23T06:41:13Z) - Adversarial Fragility and Language Vulnerability in Clinical AI: A Systematic Audit of Diagnostic Collapse Under Imperceptible Perturbations and Cross-Lingual Drift in Low-Resource Healthcare Settings [0.0]
本研究は, 臨床用AIにおける2つの安全性の脆弱性について, 対向画像の脆弱性と言語間診断ドリフトの2つの脆弱性について, 初めて系統的二重検査を行ったものである。
COVID-QU-Ex胸部X線データセットを微調整したDenseNet121を用いて、診断精度が89.3%から62.0%に低下することを示した。
Llama3.1:8bおよびNatLAS(NLASAT)を標準英語、ナイジェリア・ピジン(ナイジャ)、ヨルバ・インフレクテッド・インフレクテッド・イングリッシュ(英語版)で紹介した。
論文 参考訳（メタデータ） (2026-05-16T13:33:47Z) - Precise Shield: Explaining and Aligning VLLM Safety via Neuron-Level Guidance [64.18179414483966]
実世界のデプロイメントでは、VLLM(Vision-Language Large Models)は、多言語およびマルチモーダル複合攻撃による重要な課題に直面している。
危険入力と良入力のアクティベーションパターンを対比することにより、まず安全ニューロンを識別する2段階のフレームワークであるPrecise Shieldを提案する。
この戦略は多言語および多モーダルの一般化を維持しながら安全性を大幅に向上させる。
論文 参考訳（メタデータ） (2026-04-10T02:42:52Z) - Alignment Backfire: Language-Dependent Reversal of Safety Interventions Across 16 Languages in LLM Multi-Agent Systems [0.0]
加害者治療では、犯罪者は反省するが、行動の変化は従わない。
我々は、アライメントの介入が構造的に類似した現象を生じさせ、表面の安全性は、集合的な病理や内部の解離を覆い隠すか、あるいは発生させることを示した。
これらの所見は, リスクホメオスタシスと子宮新生にともなう行動介入としてのアライメントを再構成した。
論文 参考訳（メタデータ） (2026-03-05T07:46:59Z) - Prompt Sensitivity and Answer Consistency of Small Open-Source Large Language Models on Clinical Question Answering: Implications for Low-Resource Healthcare Deployment [0.0]
小規模のオープンソース言語モデルは、低リソース環境でのヘルスケアアプリケーションに注目を集めている。
臨床質問応答データセットを用いて,5つのオープンソースモデル(Gemma 2 2B, Phi-3 Mini 3.8B, Llama 3.2 3B, Mistral 7B, Meditron-7B)を評価した。
論文 参考訳（メタデータ） (2026-03-01T04:37:48Z) - JMedEthicBench: A Multi-Turn Conversational Benchmark for Evaluating Medical Safety in Japanese Large Language Models [47.20100799532625]
JMedEthicBenchは,大規模言語モデルの医療安全性を評価するための,最初のマルチターン対話型ベンチマークである。
デュアルLLMスコアリングプロトコルを用いて27のモデルを評価し,医療特化モデルでは脆弱性が増大するのに対して,商業モデルは堅牢な安全性を維持していることを確認した。
論文 参考訳（メタデータ） (2026-01-04T18:18:18Z) - MedRECT: A Medical Reasoning Benchmark for Error Correction in Clinical Texts [0.0]
大規模言語モデル (LLM) は医療応用における将来性を示すが, 臨床用テキストにおける誤りの検出と訂正能力は, 未評価のままである。
我々は,医療ミス処理を3つのサブタスクとして定式化する言語間ベンチマーク(日本語/英語)であるMedRECTを紹介する。
プロプライエタリ、オープンウェイト、理性家族にまたがる9つの現代LSMを評価した。
論文 参考訳（メタデータ） (2025-11-01T06:19:34Z) - MedOmni-45°: A Safety-Performance Benchmark for Reasoning-Oriented LLMs in Medicine [69.08855631283829]
我々は,操作的ヒント条件下での安全性能トレードオフの定量化を目的としたベンチマークであるMed Omni-45 Degreesを紹介する。
6つの専門分野にまたがる1,804の推論に焦点を当てた医療質問と3つのタスクタイプが含まれており、その中にはMedMCQAの500が含まれる。
結果は、モデルが対角線を超えることなく、一貫した安全性と性能のトレードオフを示す。
論文 参考訳（メタデータ） (2025-08-22T08:38:16Z) - Uncertainty Estimation of Large Language Models in Medical Question Answering [60.72223137560633]
大規模言語モデル(LLM)は、医療における自然言語生成の約束を示すが、事実的に誤った情報を幻覚させるリスクがある。
医学的問合せデータセットのモデルサイズが異なる人気不確実性推定(UE)手法をベンチマークする。
以上の結果から,本領域における現在のアプローチは,医療応用におけるUEの課題を浮き彫りにしている。
論文 参考訳（メタデータ） (2024-07-11T16:51:33Z) - Few-Shot Cross-lingual Transfer for Coarse-grained De-identification of
Code-Mixed Clinical Texts [56.72488923420374]
事前学習型言語モデル (LM) は低リソース環境下での言語間移動に大きな可能性を示している。
脳卒中におけるコードミキシング(スペイン・カタラン)臨床ノートの低リソース・実世界の課題を解決するために,NER (name recognition) のためのLMの多言語間転写特性を示す。
論文 参考訳（メタデータ） (2022-04-10T21:46:52Z) - Do Multilingual Language Models Capture Differing Moral Norms? [71.52261949766101]
大量多言語文表現は、未処理データの大規模なコーパスに基づいて訓練される。
これは、高資源言語からの道徳的判断を含む文化的価値をモデルが把握する原因となる可能性がある。
特定の言語におけるデータ不足は、ランダムで潜在的に有害な信念を発達させる可能性がある。
論文 参考訳（メタデータ） (2022-03-18T12:26:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。