論文の概要: Measuring the sensitivity of LLM-based structured extraction to prompt, model, and schema choices in clinical discharge summaries

• arxiv url: http://arxiv.org/abs/2606.05970v1
• Date: Thu, 04 Jun 2026 10:14:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.716819
• Title: Measuring the sensitivity of LLM-based structured extraction to prompt, model, and schema choices in clinical discharge summaries
• Title（参考訳）: LLMによる構造抽出の感度測定による臨床放電サマリーのプロンプト・モデル・スキーマ選択
• Abstract要約: 大規模言語モデルは、臨床自由テキストノートからの構造化抽出にますます利用されている。 本研究は、抽出タスクを固定し、一度に1つの選択を変更させることにより、人間に注釈を付さない感度を測定する。 クロスプロンプト合意は、ICD成層部分集合上のコーエンのカッパによって測定された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models are increasingly used for structured extraction from clinical free-text notes, but the sensitivity of their output to upstream configuration choices is less understood than their accuracy on fixed benchmarks. This work measures that sensitivity without human-annotated ground truth, by holding the extraction task fixed and varying one choice at a time. The fixed schema comprises 17 clinical documentation flags on a three-way yes/no/not_documented value set and a 47-tag vocabulary for the primary admission reason. Three prompt variants expressing this schema were each run at two model sizes on MIMIC-IV v3.1 discharge summaries. Cross-prompt agreement was measured by Cohen's kappa on ICD-stratified subsets. A paired same-note comparison isolated the effect of model choice, and a post-hoc collapse of the three-way flags to binary tested the schema's contribution to disagreement. On the three-way flags, the two models reach the same pooled cross-prompt agreement (median kappa 0.69 and 0.68); the larger model raises agreement on some fields and lowers it on others, a redistribution rather than the absence of an effect. Collapsing the schema to binary dissolves most of the cross-prompt disagreement, locating it on the absence-versus-silence distinction rather than on whether the finding is present. On the multi-class admission categorization, changing the model reassigns the dominant tag on close to half of all notes while changing the prompt phrasing reassigns it on roughly one in eight, and the larger model places far less mass on residual catch-all categories (44% to 26%). These patterns indicate a schema-imposed source of disagreement concentrated on the absence-versus-silence axis and a dominance of model over prompt phrasing on multi-class categorization, identified by a reusable methodology for auditing extraction reproducibility on a population-scale deployment.
• Abstract（参考訳）: 大規模言語モデルは、臨床自由テキストノートからの構造化抽出にますます使われているが、上流設定の選択に対する出力の感度は、固定されたベンチマークの精度よりも低い。 本研究は、抽出タスクを固定し、一度に1つの選択を変更させることにより、人間に注釈を付さない感度を測定する。 固定スキーマは、3方向のye/no/not_documented値セットに17の臨床文書フラグと、一次入院理由のための47タグ語彙とを備える。 このスキーマを表す3つのプロンプト変種は、それぞれMIMIC-IV v3.1の放電サマリーで2つのモデルサイズで実行された。 クロスプロンプト合意は、ICD成層部分集合上のコーエンのカッパによって測定された。 ペアの同ノート比較では、モデル選択の効果が分離され、3方向フラグがバイナリに崩壊した後、スキーマが不一致に寄与していることが検証された。 3方向フラグでは、2つのモデルは同じプール式クロスプロンプト合意(中間カッパ0.69と0.68)に達し、より大きなモデルはいくつかのフィールドで合意を掲げ、効果がないというよりも、他のフィールドで再配布する。 スキーマをバイナリにまとめることによって、クロスプロンプトの不一致の大部分を解消する。 マルチクラスのエントリー分類では、モデルの変更はすべての音符のほぼ半分で支配的なタグを再割り当てし、プロンプトのフレーズの変更はおよそ8分の1で再割り当てし、大きなモデルは残りのキャッチオールカテゴリー(44%から26%)でははるかに質量を減らしている。 これらのパターンは, 集団規模の展開において, 抽出再現性を監査するための再利用可能な手法によって同定された, 多クラス分類における即時的な表現よりも, 非可逆なサイレンス軸に集結した不一致源とモデル優位性を示す。

関連論文リスト

• Bridging Network Psychometrics and Artificial Intelligence: An Ising-Potts Model with LLM-Derived Weights [0.40611352512781873]
  レーティングとカテゴリーラベルの合意指標を用いたラターイジングポッツモデルを提案する。 我々は,K=14,466の短い回答を3段階のルーブリックと2つのAERAエッセイのコーパスに散らばった3つの構成応答データセットについて,約1,200-1,400の応答を4点のルーブリックに提案した。
  論文  参考訳（メタデータ） (2026-09-08T14:26:19Z)
• Structuring Semantic Embeddings for Principle Evaluation: A Prototype-Guided Contrastive Learning Approach [58.15427952222424]
  汎用的なテキスト埋め込みはそのようなタスクに広くデプロイされているが、意味的類似性は意味的に似ているがタスク固有の例を示すことができる。 本稿では,凍結したテキスト埋め込み上に構築された幾何正規化モジュールであるPGCL(Prototype-Guided Contrastive Learning)を紹介する。
  論文  参考訳（メタデータ） (2026-08-15T13:19:25Z)
• Mapping and Measuring the Behavioral Evolution of Large Language Models [28.603443859513153]
  ベンチマークのリーダーボードは、言語モデルのパフォーマンスを概説するが、その振る舞いが他のモデルとどのように関係しているか、世代によって異なる。 1万のプロンプトの共有バンクに対する応答を用いて、6つのファミリーから32モデルの出力挙動を特徴付ける。
  論文  参考訳（メタデータ） (2026-08-11T15:07:28Z)
• Loud or Silent? A Reusable Framework for Per-Modality Failure Analysis in Multimodal Clinical AI [3.7524666944787644]
  2つの疑問は、どのモダリティに責任があるか、そしてモデルがモダリティを落として大音量または無音で失敗するかである。 モデルに依存しないモダリティ・欠陥の枠組みとして、Nのモダリティの埋め込み、マスクを意識したプローブ、ラベルを与えられた場合、例ごとの故障分類を返します。 モダリティ当たりのVSサイレントレートを報告し、3つのモダリティ相補性行列にスケールする。
  論文  参考訳（メタデータ） (2026-08-02T19:38:56Z)
• How Do Diffusion Classifiers Decide? A Bias-Centric Evaluation [2.557366331463333]
  本稿では,3次元の拡散分類器のバイアス評価であるASOB-Benchを紹介する。 これらの次元は、徹底的な分類としてではなく、テキスト条件の再構成エラースコアがどのように決定に達するかの目標調査として機能する。 拡散分類器はOpenCLIPベースラインよりも属性ミスバインドが少なく、確立されたComCoベンチマークでは、サイズ順ショートカットにかなり敏感である。 ImageNet-Bでは、彼らははるかに大きな精度低下を被り、前景の手がかりを背景に大きく依存していることが判明した。
  論文  参考訳（メタデータ） (2026-07-04T11:35:04Z)
• DriftScope: Measuring The Hidden Effects of Diffusion Model Adaptation [50.584834483403675]
  新しい視覚概念を学習するか、望ましくないものを消去するか、事前学習したテキスト・画像拡散モデルに適応させることは、意図した効果だけで日常的に評価される。 適応が意味論的に無関係な概念を、構造的にメトリクスを集約することができない方法で体系的に損なうことを実証する。 DriftScopeは、任意の2つのモデルチェックポイントを取り込み、視覚的概念が最も移行したトークンのランクリストを返す、プロンプトレベルの診断ツールである。
  論文  参考訳（メタデータ） (2026-06-30T20:57:51Z)
• From Consensus to Split Decisions: ABC-Stratified Sentiment in Holocaust Oral Histories [0.2538209532048867]
  極性検出はドメインシフトによってかなり困難になる。 本稿では,長期ホロコースト口腔組織における感情分類器のコーパススケール診断について述べる。
  論文  参考訳（メタデータ） (2026-03-30T18:44:22Z)
• Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching [66.39914384073145]
  本稿では,安価な拡散サンプリング推論をステップレベル候補の再利用プールに変換する自己整合性フレームワークを提案する。 ステップレベルの再結合は、難しい問題に対して最も有益であることがわかった。 トレーニング不要のフレームワークは、6つの数学およびコーディングタスクの平均精度を最大2倍改善します。
  論文  参考訳（メタデータ） (2026-02-26T11:08:39Z)
• HADSF: Aspect Aware Semantic Control for Explainable Recommendation [4.75127493865044]
  大規模言語モデル(LLM)の最近の進歩は、推薦システムに対してより効果的な情報抽出を約束している。 本稿では,適応選択によるコンパクトなコーパスレベルのアスペクトボキャブラリを誘導し,構造化アスペクトオピニオン三重項のボキャブラリ誘導,明示的に制約された抽出を行う2段階アプローチを提案する。 1.5B-70Bパラメータにまたがる約300万のレビューに関する実験では、標準評価予測器に統合された場合、HADSFは予測エラーを一貫して減少させる。
  論文  参考訳（メタデータ） (2025-10-30T20:49:33Z)
• What Does It Take to Build a Performant Selective Classifier? [30.90225954725644]
  ベイズノイズ,近似誤差,ランキング誤差,統計的ノイズ,実装またはシフト誘起スラックについて検討した。 我々は,合成2モードデータと実世界のビジョンと言語ベンチマークを用いて,その分解を検証した。 その結果, (i)ベイズノイズとモデル容量の制限は, 実質的なギャップを考慮し, (ii) よりリッチで特徴を考慮したキャリブレータのみを有意義に改善し, (iii) データシフトは, 分散的に堅牢なトレーニングを必要とするスラックを別々に導入することを確認した。
  論文  参考訳（メタデータ） (2025-10-23T05:48:40Z)
• Ambiguity-aware Point Cloud Segmentation by Adaptive Margin Contrastive Learning [65.94127546086156]
  本稿では,ポイントクラウド上のセマンティックセマンティックセグメンテーションのための適応的マージン比較学習法を提案する。 まず,両立度推定フレームワークにコントラスト学習を組み込んだAMContrast3Dを設計する。 共同トレーニングの洞察に触発されて、並列にトレーニングされた2つのブランチとAMContrast3D++を統合することを提案する。
  論文  参考訳（メタデータ） (2025-07-09T07:00:32Z)
• Less is More: Efficient Black-box Attribution via Minimal Interpretable Subset Selection [52.716143424856185]
  部分モジュラー部分集合選択の最適化問題として重要領域の帰属を再構成するLiMA(Less input is more faithful for Attribution)を提案する。 LiMAは、エラーを最小限に抑える最適な帰属境界を確保しながら、最も重要かつ最も重要でないサンプルを識別する。 また, 帰属効率が1.6倍に向上し, 帰属効率が向上した。
  論文  参考訳（メタデータ） (2025-04-01T06:58:15Z)
• Composed Image Retrieval with Text Feedback via Multi-grained Uncertainty Regularization [73.04187954213471]
  粗い検索ときめ細かい検索を同時にモデル化する統合学習手法を提案する。 提案手法は、強いベースラインに対して+4.03%、+3.38%、+2.40%のRecall@50精度を達成した。
  論文  参考訳（メタデータ） (2022-11-14T14:25:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。