論文の概要: Marking the Wrong Symptoms: Evaluating LLM Watermarks in Medical Texts

• arxiv url: http://arxiv.org/abs/2607.20462v1
• Date: Sat, 16 May 2026 08:16:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.181638
• Title: Marking the Wrong Symptoms: Evaluating LLM Watermarks in Medical Texts
• Title（参考訳）: 誤り症状のマーク:医学テキストにおけるLCM透かしの評価
• Authors: Melanie Rieff, Robin Staab, Thibaud Gloaguen, Stefan Hegselmann, Martin Vechev,
• Abstract要約: 本研究では,11LLMと7VLMにまたがる5つの透かし方式をベンチマークし,透かしが医療性能に与える影響について,厳密な研究を行った。 以上の結果から,透かしは,語彙的腐敗,幻覚的用語,誤帰や画像所見の欠落など,複数の障害モードにまたがる顕著な劣化を引き起こすことが示唆された。 本研究は,医療における透かしモデルの安全な展開の前提として,ドメイン固有性の評価を定めている。
• 参考スコア（独自算出の注目度）: 9.564559994172438
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly integrated into clinical workflows, stressing the need for reliable traceability of model-generated output with watermarking. Yet, most watermarks are evaluated on general-purpose benchmarks, leaving domains like medicine, where small token-level perturbations can result in significant semantic changes, underexplored. In this work, we present the first rigorous study of how LLM watermarks affect medical performance, benchmarking 5 watermarking schemes across 11 LLMs and 7 VLMs on various tasks spanning unimodal and multimodal clinical reasoning. Importantly, we complement existing evaluations by introducing a human-expert-validated pipeline for systematically auditing medical reasoning quality, terminological precision, and induced hallucinations. Our results reveal that watermarking can induce substantial degradation across multiple failure modes, including lexical corruption, hallucinated terminology, and amplified misattribution or omission of image findings. Notably, we find that the absence of domain-specific analyses, combined with aggregate metrics that miss failures inherent to clinical text, can systematically obscure practical watermark-induced degradations. Our findings establish domain-specific evaluation as a prerequisite for the safe deployment of watermarked models in medicine, where current benchmarks can otherwise mask clinically consequential failures.
• Abstract（参考訳）: 大規模言語モデル(LLM)はますます臨床ワークフローに統合され、ウォーターマーキングによるモデル生成出力の信頼性トレーサビリティの必要性を強調している。 しかし、ほとんどの透かしは汎用的なベンチマークで評価され、小さなトークンレベルの摂動が大きな意味的変化をもたらす医学のような領域が不足している。 本研究は, LLM透かしが医療成績に与える影響について, 11 LLM と 7 VLM にまたがる5つの透かしスキームを, 不定型および多態型臨床推論にまたがる様々なタスクでベンチマークした最初の厳密な研究である。 重要なことは、医学的推論の質、用語的精度、幻覚を体系的に監査するための、人間の専門的検証パイプラインを導入することで、既存の評価を補完することである。 以上の結果から,透かしは,語彙的腐敗,幻覚的用語,誤帰や画像所見の欠落など,複数の障害モードにまたがる顕著な劣化を引き起こすことが示唆された。 特に,臨床テキストに固有の障害を見逃す集合的指標と組み合わせたドメイン固有分析の欠如は,実践的な透かしによる劣化を系統的に不明瞭にする可能性がある。 本研究は,医療における透かしモデルの安全な展開の前提として,ドメイン固有の評価を定めている。

関連論文リスト

• Beyond Scalar Scores: Exploring LLM-based Metrics for Clinical Significance Evaluation in Radiology Reports [49.5225801722164]
  既存のメトリクスは、医学的に根拠のないスカラーにレポートの品質を低下させることによって、この要件を曖昧にしている。 テストベッドとしてReEvalMedベンチマークを用いて,この境界について検討し,計量レベルの臨床的意義を評価する。
  論文  参考訳（メタデータ） (2026-06-17T08:10:30Z)
• Lost in the Hype: Revealing and Dissecting the Performance Degradation of Medical Multimodal Large Language Models in Image Classification [14.247959730104085]
  マルチモーダル大言語モデル(MLLM)は、医療画像解析の分野で前例のない応用の波を引き起こしている。 しかし、医学画像分類では、最先端の医療MLLMは従来のディープラーニングモデルと比べて一貫して性能が劣っている。 本稿では、3つの代表的な画像分類データセットにまたがる14のオープンソース医療MLLMについて広範な実験を行った。
  論文  参考訳（メタデータ） (2026-04-09T15:07:26Z)
• X-Mark: Saliency-Guided Robust Dataset Ownership Verification for Medical Imaging [67.85884025186755]
  高品質な医用画像データセットは深層学習モデルの訓練には不可欠であるが、その無許可の使用は重大な著作権と倫理的懸念を提起する。 医用画像は、自然画像用に設計された既存のデータセットの所有権検証方法に固有の課題を示す。 胸部X線著作権保護のためのサンプル特異的クリーンラベル透かし法であるX-Markを提案する。
  論文  参考訳（メタデータ） (2026-02-10T00:03:43Z)
• Rethinking Toxicity Evaluation in Large Language Models: A Multi-Label Perspective [104.09817371557476]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて印象的な結果を得た。 有害なコンテンツを生み出す可能性には、深刻な安全上の懸念が浮かび上がっている。 毒性検出のための3つの新しいマルチラベルベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-10-16T06:50:33Z)
• Toward Reliable Clinical Coding with Language Models: Verification and Lightweight Adaptation [3.952186976672079]
  本稿では,高速エンジニアリングや小型微調整を含む軽量な介入により,探索手法の計算オーバーヘッドを伴わずに精度を向上できることを示す。 階層的なニアミスエラーに対処するために,単体タスクとパイプラインコンポーネントの両方に臨床コード検証を導入する。
  論文  参考訳（メタデータ） (2025-10-08T23:50:58Z)
• Factuality Beyond Coherence: Evaluating LLM Watermarking Methods for Medical Texts [14.42794744856763]
  医用領域における透かし配置の指針として,コヒーレンス以上の事実精度を優先する指標であるFWS(Factality-Weighted Score)を導入する。 本評価は,現在の透かし手法が医療事実を著しく損なうことを示し,エントロピーシフトは医療実体の表現を劣化させる。 これらの知見は、医療内容の整合性を維持するために、ドメイン認識型透かしアプローチの必要性を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-09-09T13:54:34Z)
• Embeddings to Diagnosis: Latent Fragility under Agentic Perturbations in Clinical LLMs [0.0]
  本稿では, 臨床用LDMの潜在ロバスト性について, 構造的対向編集による検討を行うLAPD (Latent Agentic Perturbation Diagnostics) を提案する。 本フレームワークでは,PCA-Reduced Latent Spaceにクロス決定境界を埋め込む際に,表現不安定性を捉えるモデルに依存しない診断信号であるLatent Diagnosis Flip Rate (LDFR)を導入する。 その結果, 表面の堅牢性とセマンティック安定性の間には, 安全クリティカルな臨床AIにおける幾何学的監査の重要性を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-07-27T16:48:53Z)
• Metrics that matter: Evaluating image quality metrics for medical image generation [48.85783422900129]
  本研究は、脳MRIデータを用いて、一般的に使用される非参照画像品質指標を包括的に評価する。 本研究は, ノイズ, 分布変化, および臨床的に関係のある不正確さを模倣した形態的変化を含む, 様々な課題に対する計量感度を評価する。
  論文  参考訳（メタデータ） (2025-05-12T01:57:25Z)
• Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases [48.87360916431396]
  MedR-Benchは1,453例の構造化患者のベンチマークデータセットで、推論基準を付した注釈付きである。 本稿では,3つの批判的診察勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートする。 このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。
  論文  参考訳（メタデータ） (2025-03-06T18:35:39Z)
• WatME: Towards Lossless Watermarking Through Lexical Redundancy [58.61972059246715]
  本研究では,認知科学レンズを用いた大規模言語モデル(LLM)の異なる機能に対する透かしの効果を評価する。 透かしをシームレスに統合するための相互排他型透かし(WatME)を導入する。
  論文  参考訳（メタデータ） (2023-11-16T11:58:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。