Fugu-MT 論文翻訳(概要): Evaluating LLM Robustness Under Domain-Specific Prompt Perturbations in Public Health Applications

論文の概要: Evaluating LLM Robustness Under Domain-Specific Prompt Perturbations in Public Health Applications

arxiv url: http://arxiv.org/abs/2607.06913v1
Date: Wed, 08 Jul 2026 02:04:47 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-09 22:50:30.24982
Title: Evaluating LLM Robustness Under Domain-Specific Prompt Perturbations in Public Health Applications
Title（参考訳）: 公衆衛生分野におけるドメイン特異的プロンプト摂動下におけるLDMロバスト性の評価
Abstract要約: 大規模言語モデル (LLMs) は公衆衛生への応用がますます進んでいるが、非クリニカルなユーザ入力に対する堅牢性はいまだ検討されていない。誤情報フレーミング(MF)とレイパーソンリライト(LR)という2つの摂動条件下でLLMを評価するドメイン固有ロバスト性ベンチマークを提案する。実験の結果、MFの精度は平均で7.2pp低下し、予想フリップ率は9～38%である。
参考スコア（独自算出の注目度）: 3.32715997905088
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language models (LLMs) are increasingly applied in public health applications, yet their robustness to non-clinical user inputs remains underexplored. We propose a domain specific robustness benchmark that evaluates LLMs under two perturbation types that commonly arise when non-clinical users interact with health AI systems: misinformation framing (MF), where prompt might be injected by false health claims, and layperson rewriting (LR), where patients describe symptoms in everyday language rather than medical terminology. Our goal is to evaluate the stability of LLMs under these perturbation. Experiments show that MF degrades accuracy by 7.2 pp on average with prediction flip rates of 9-38 percent, even when claims are explicitly labelled as unsupported; LR causes only 1.4 pp degradation. These findings highlight two distinct deployment risks in public health settings: models may produce incorrect outputs when users unintentionally carry misinformation into their queries, and may misinterpret clinically relevant details when patients use informal language. Both risks call for perturbation-aware robustness evaluation beyond clean baseline benchmark
Abstract（参考訳）: 大規模言語モデル (LLMs) は公衆衛生への応用がますます進んでいるが、非クリニカルなユーザ入力に対する堅牢性はいまだ検討されていない。本研究では,非臨床ユーザーが医療AIシステムと対話する際に発生する2種類の摂動型 LLM の評価を行う領域固有頑健性ベンチマークを提案する。我々の目標は、これらの摂動下でのLSMの安定性を評価することである。実験の結果、MFの精度は平均7.2ppで低下し、クレームが明示的にラベル付けされても9～38%の予測フリップ率で低下し、LRは1.4ppしか劣化しないことがわかった。モデルでは、ユーザが意図せずにクエリに誤った情報を流すと、誤ったアウトプットを発生させ、非公式言語を使用する場合、臨床的に関連のある詳細を誤解釈する可能性がある。両リスクとも、クリーンベースラインベンチマークを超えて乱れを意識したロバスト性評価を要求

関連論文リスト

Beyond Scalar Scores: Exploring LLM-based Metrics for Clinical Significance Evaluation in Radiology Reports [49.5225801722164]
既存のメトリクスは、医学的に根拠のないスカラーにレポートの品質を低下させることによって、この要件を曖昧にしている。テストベッドとしてReEvalMedベンチマークを用いて,この境界について検討し,計量レベルの臨床的意義を評価する。
論文参考訳（メタデータ） (2026-06-17T08:10:30Z)
Testing the Black Box: Structural Barriers to Independent Evaluation of Consumer-Facing Health LLMs [2.526741713337939]
一般患者に類似した条件下で, 一般消費者向け健康 LLM の応答変動と薬効について検討した。予防接種適性検査尺度や生殖姿勢尺度などの検証された尺度を多ターンプロンプトに適応した。結果: マルチターン会話において, 症状を隠蔽する安定応答が得られた。
論文参考訳（メタデータ） (2026-06-07T07:01:15Z)
When Large Language Models Fail in Healthcare: Evaluating Sensitivity to Prompt Variations [1.0152838128195467]
大規模言語モデル (LLMs) は、臨床質問応答、診断支援、報告要約などのタスクのために医療でますます使われている。彼らの約束にもかかわらず、これらのモデルは語彙的および構文的両方の微妙な急激な摂動に対して非常に敏感であり、安全クリティカルな臨床応用に重大なリスクをもたらす。摂動を自然型, 逆型に分類し, モデル整合性, 精度, 信頼性に及ぼす効果について検討した。
論文参考訳（メタデータ） (2026-06-05T13:07:11Z)
Artificial Intolerance: Stigmatizing Language in Clinical Documentation Skews Large Language Model Decision-Making [13.79732306725696]
大規模言語モデル(LLM)は、臨床上の意思決定支援や医療ドキュメントなど、高度な領域にますます展開されている。臨床テキストの処理において、フロンティアLSMが人間のバイアスを継承し、伝播するかどうかを検討する。
論文参考訳（メタデータ） (2026-05-17T02:28:25Z)
CLEAR: Revealing How Noise and Ambiguity Degrade Reliability in LLMs for Medicine [9.346299965194746]
CLEAR(CLinical Evaluation of Ambiguity and Reliability)フレームワークについて紹介する。 CLEARは、妥当な回答オプションの数、根拠となる真実または棄権オプションの存在、および回答オプションの意味的なフレーミングを混乱させる。 17の医療用大言語モデルで評価された3つのベンチマークにCLEARを適用すると、3つの注目すべき制限が明らかになる。
論文参考訳（メタデータ） (2026-05-01T18:23:24Z)
Same Verdict, Different Reasons: LLM-as-a-Judge and Clinician Disagreement on Medical Chatbot Completeness [49.2667937337333]
不完全な患者の医療反応を検出するために,この仮定をストレステストする。我々は,2つの臨床診断データセットにわたる3つの粒度(General-Likert,Analytical-Rubric,Dynamic-Checklist)と3つのバックボーンモデルを評価する。
論文参考訳（メタデータ） (2026-03-26T19:01:55Z)
Robust or Suggestible? Exploring Non-Clinical Induction in LLM Drug-Safety Decisions [5.347177139463896]
大規模言語モデル (LLMs) は、生物医学領域にますます適用されているが、薬物安全性予測の信頼性は未解明のままである。われわれはChatGPT-4oとBio-Medical-Llama-3.8Bの2つの最先端モデルを評価する。
論文参考訳（メタデータ） (2025-10-15T14:11:11Z)
EchoBench: Benchmarking Sycophancy in Medical Large Vision-Language Models [82.43729208063468]
医療用LVLM(Large Vision-Language Models)の最近のベンチマークでは、信頼性と安全性を見越して、リーダボードの精度を強調している。ユーザが提供した情報を非批判的に反響させる傾向のモデルについて検討する。医療用LVLMの梅毒を系統的に評価するベンチマークであるEchoBenchを紹介する。
論文参考訳（メタデータ） (2025-09-24T14:09:55Z)
Beyond Benchmarks: Dynamic, Automatic And Systematic Red-Teaming Agents For Trustworthy Medical Language Models [87.66870367661342]
大規模言語モデル(LLM)は、医療におけるAIアプリケーションで使用される。 LLMを継続的にストレステストするレッドチームフレームワークは、4つのセーフティクリティカルなドメインで重大な弱点を明らかにすることができる。敵エージェントのスイートは、自律的に変化するテストケースに適用され、安全でないトリガー戦略を特定し、評価する。私たちのフレームワークは、進化可能でスケーラブルで信頼性の高い、次世代の医療AIのセーフガードを提供します。
論文参考訳（メタデータ） (2025-07-30T08:44:22Z)
Fact or Guesswork? Evaluating Large Language Models' Medical Knowledge with Structured One-Hop Judgments [108.55277188617035]
大規模言語モデル(LLM)は、様々な下流タスクドメインで広く採用されているが、実際の医学的知識を直接呼び起こし、適用する能力は、まだ探索されていない。標準化された語彙と知識グラフの包括的なリポジトリであるUMLS(Unified Medical Language System)から派生したデータセットであるMKJ(Messical Knowledge Judgment dataset)を紹介する。バイナリ分類フレームワークを通じて、MKJは、簡潔なワンホップ文の妥当性を評価することによって、LCMが基本的な医学的事実を把握できることを評価する。
論文参考訳（メタデータ） (2025-02-20T05:27:51Z)
"Knowing When You Don't Know": A Multilingual Relevance Assessment Dataset for Robust Retrieval-Augmented Generation [90.09260023184932]
Retrieval-Augmented Generation (RAG) は、外部の知識源を活用して、事実の幻覚を減らすことで、Large Language Model (LLM) を出力する。 NoMIRACLは18言語にまたがるRAGにおけるLDM堅牢性を評価するための人為的アノテーション付きデータセットである。本研究は,Halucination rate,Halucination rate,Halucination rate,Sorucination rate,Sorucination rate,Sorucination rate,Sorucination rate,Sorucination rate,Sorucination rate,Sr。
論文参考訳（メタデータ） (2023-12-18T17:18:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。