論文の概要: Prompting is not enough: supervised baselines and leakage control for measuring shared decision-making with LLMs in pediatric encounters

• arxiv url: http://arxiv.org/abs/2608.14792v1
• Date: Fri, 14 Aug 2026 18:02:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.083256
• Title: Prompting is not enough: supervised baselines and leakage control for measuring shared decision-making with LLMs in pediatric encounters
• Title（参考訳）: プロンプティングは十分ではない:小児の対面におけるLDMを用いた共有意思決定のための教師付きベースラインと漏洩制御
• Abstract要約: 症例は21例であった。 患者レベルのグループ化だけでは、ラベル付きプロンプト例が外部評価ループの外でプリ計算された場合、漏洩を防止しない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Objectives: To determine whether zero-shot prompting of a large language model (LLM) is sufficient to detect shared decision-making (SDM) behaviors in real clinical encounters, and whether supervised learning adds value under patient-grouped, nested evaluation. Methods: We analyzed 21 audio-recorded outpatient surgical decision encounters (19 unique patients; 7,566 utterance segments; ~6.1 hours) between families of children with multiple long-term conditions and their surgical providers. Trained coders labeled segments for 12 SDM behaviors (human-human macro Cohen's kappa = 0.695). We compared a zero-shot local LLM (Qwen 2.5 32B), a supervised classifier over frozen sentence embeddings, and their logistic stack, under patient-grouped outer folds with inner cross-fitted thresholds and patient-resampled confidence intervals. Results: The zero-shot LLM reached macro kappa = 0.139 (95% CI 0.111-0.164). The supervised classifier reached kappa = 0.227 (0.186-0.262), a paired improvement of 0.088 (0.051-0.119). A logistic stack of the two reached kappa = 0.242 (0.198-0.284). We identified multiple corpus-specific leakage paths, including grouping sibling recordings separately and allowing labels from an outer held-out patient to enter few-shot exemplars used while fitting downstream models. Conclusion: Zero-shot prompting alone is not sufficient to measure SDM behavior as reliably as a small supervised model, and patient-level grouping alone does not prevent leakage when labeled prompt exemplars are precomputed outside the outer evaluation loop. Reported performance is sensitive to the unit of data splitting and to where labeled exemplars enter the pipeline. External validation is needed before these findings generalize beyond this population, model, prompt, and codebook.
• Abstract（参考訳）: 目的: 大規模言語モデル(LLM)のゼロショットプロンプトが, 実際の臨床経験における共有意思決定(SDM)行動の検出に十分であるか否か, 患者グループ・ネスト評価の下で教師付き学習が価値を付加するか否かを判断する。 方法: 複数の長期疾患をもつ小児の家族と手術提供者との間の21症例(19例,7,566発声区間,約6.1時間)について,音声記録による外科的診断を行った。 訓練されたコーダーは12のSDM動作のセグメントをラベル付けした(人間-ヒトマクロコーエンのカッパ=0.695)。 凍結した文の埋め込みに対する教師付き分類器であるゼロショット局所LDM (Qwen 2.5 32B) と, そのロジスティックスタックを, 内部整合しきい値と患者補合信頼区間を有する患者群外折りに比較した。 結果:ゼロショットLLMはマクロカッパ=0.139(95% CI 0.111-0.164)に達した。 教師付き分類器は 0.227 (0.186-0.262) に達し、それぞれ0.088 (0.051-0.119) となった。 カッパ = 0.242 (0.198-0.284) に達した。 我々は,複数のコーパス固有の漏洩経路を同定し,姉妹記録を別々にグループ化し,下流モデルに装着する際に用いる数発の事例に外部留置患者のラベルを入力できるようにした。 結語:ゼロショットプロンプトだけでは、小さな教師付きモデルと同じくらい確実にSDMの挙動を測定するには不十分であり、ラベル付きプロンプトエクスプローラが外部評価ループの外でプリ計算された場合、患者レベルのグループ化だけでは漏れを防止できない。 報告されたパフォーマンスは、データ分割の単位とラベル付き例者がパイプラインに入る場所に敏感である。 これらの発見がこの人口、モデル、プロンプト、コードブックを超えて一般化する前には、外部検証が必要である。

関連論文リスト

• A Multi-Cohort Validation of Censoring-Aware Conformal Lower Predictive Bounds for Pathology Survival Models [0.0]
  全スライディングサバイバルモデルは、個々のイベント時間に関するキャリブレーションされたステートメントなしで、リスクランキングを提供することが多い。 離散時間多重インスタンス学習サバイバルヘッド用ポストホックコンフォメーションラッパーである固定カットド・ドコサルクについて検討した。
  論文  参考訳（メタデータ） (2026-07-23T12:58:04Z)
• Nous: An Attempt to Extract and Inject the Cognition Behind Prediction-Market Behavior [0.0]
  人間の認知の多様性が行動から回復し、LSMエージェントに移行できるかどうかを問う。 Nousは、実際のポリマーケット取引活動から構造化された8次元の行動プロファイルを抽出し、プロンプトを通じてエージェントに注入する。 我々は,Nousを認知的モノカルチャー問題と即時治療の限界を計測するものとして位置づける。
  論文  参考訳（メタデータ） (2026-06-11T08:18:25Z)
• Evaluating Large Language Models in Dynamic Clinical Decision-Making with Standardized Patient Cases [71.12461204050985]
  MedSP1000 (MedSP1000) は、SP由来の臨床エージェント評価のための対話型ベンチマークである。 ピアレビューされたSPの授業ケースを、定義されたSPケーススクリプト、臨床環境コンテキスト、人為的な構造化ルーブリックで実行可能なシナリオに変換する。 MedSP1000を多種多様な汎用および医療用LLMに適用すると、静的ベンチマークの性能がそのような教育シナリオに確実に変換されないことが分かる。
  論文  参考訳（メタデータ） (2026-06-03T17:17:16Z)
• Let the Results Speak: A Replication-First Paradigm for LLM Behavioral Benchmarking [22.825786049667602]
  本稿では,1つのヒト・ラタのコンセンサスに有効性を確保するために,複製第一パラダイムを提案する。 楽器を4つの特性で認証する - Kランの信頼性、アーキテクチャ的に異なる審査員間のクロスインストラクトレプリケーション、以前のトレーニングコホートからの審査員による歴史的フットプリントキャリブレーション、事前登録された予測。 本研究は, 自己発達型データ駆動による情緒的伴奏で, 次元は事前に決められず, 手順は9次元に安定化する。
  論文  参考訳（メタデータ） (2026-05-27T03:41:11Z)
• Exploring Prompt Alignment with Clinical Factors in Zero-Shot Segmentation VLMs for NSCLC Tumor Segmentation [0.05597620745943382]
  ゼロショット視覚言語モデル (Zero-shot Vision-Language Model, VLMs) は、腫瘍容積のデライン化のためのタスク特化トレーニングに代わる、迅速な代替手段を提供する。 我々は,VoxTell内腫瘍データセットのアライメント方向について検討した。 アライメント分析により、解剖学的位置がVoxTellの空間的注意の主役であることが判明した。
  論文  参考訳（メタデータ） (2026-05-02T05:49:32Z)
• LLM-Extracted Covariates for Clinical Causal Inference: Rethinking Integration Strategies [7.5675661390024125]
  電子的健康記録からの因果推論は、測定されていないコンバウンディングによって根本的に制限される。 我々は、潜伏した共同ファウンダーを因果推定パイプラインに効果的に統合する方法を示す。
  論文  参考訳（メタデータ） (2026-04-18T00:26:10Z)
• "Knowing When You Don't Know": A Multilingual Relevance Assessment Dataset for Robust Retrieval-Augmented Generation [90.09260023184932]
  Retrieval-Augmented Generation (RAG) は、外部の知識源を活用して、事実の幻覚を減らすことで、Large Language Model (LLM) を出力する。 NoMIRACLは18言語にまたがるRAGにおけるLDM堅牢性を評価するための人為的アノテーション付きデータセットである。 本研究は,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sr。
  論文  参考訳（メタデータ） (2023-12-18T17:18:04Z)
• Automatically measuring speech fluency in people with aphasia: first achievements using read-speech data [55.84746218227712]
  本研究の目的は,言語習得の分野で開発された信号処理algorithmの関連性を評価することである。
  論文  参考訳（メタデータ） (2023-08-09T07:51:40Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)
• MURAL: An Unsupervised Random Forest-Based Embedding for Electronic Health Record Data [59.26381272149325]
  異なる変数型でデータを表現するための教師なしランダムフォレストを提案する。 muraL forestsは、ノード分割変数がランダムに選択される一連の決定ツリーで構成されている。 提案手法を用いることで,競合するアプローチよりも正確なデータの視覚化と分類が可能であることを示す。
  論文  参考訳（メタデータ） (2021-11-19T22:02:21Z)
• MSED: a multi-modal sleep event detection model for clinical sleep analysis [62.997667081978825]
  ポリソムノグラムで睡眠イベントを共同検出する,単一のディープニューラルネットワークアーキテクチャを設計した。 モデルの性能は,F1,精度,リコールスコア,および指標値と臨床値との相関で定量化した。
  論文  参考訳（メタデータ） (2021-01-07T13:08:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。