論文の概要: Detecting Spin in Clinical Trials with Large Language Models

• arxiv url: http://arxiv.org/abs/2610.11845v1
• Date: Thu, 08 Oct 2026 12:33:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.02339
• Title: Detecting Spin in Clinical Trials with Large Language Models
• Title（参考訳）: 言語モデルを用いた臨床試験におけるスピン検出
• Abstract要約: 臨床試験における結果スイッチングの自動検出システムを開発した。 提案手法には、迅速なエンジニアリング、トークン確率に基づく分類、最終決定のための多数決が含まれる。 テストセットでは、F1スコアが0.78、精度が0.90の2,496のサンプルがベースラインテキストの類似性モデルより優れているが、BERTの微調整バージョンが遅れている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spin in clinical trials includes reporting practices that distort the presentation of results. This is particularly critical in medicine, where spin is present in more than 50% of randomized controlled trials that fail to reach statistical significance. The comparison of primary and reported outcomes is crucial for detecting several types of spin, including outcome switching. We used 300 pairs of outcomes labeled with semantic similarity to develop a system for automatic detection of outcome switching. We evaluated baseline text similarity models and open-source LLMs using generated similarity scores and the Youden index to determine the classification threshold. The proposed approach involves prompt engineering, classification based on token probabilities, and majority voting for the final decision. The results on the test set of 2,496 examples with an F1 score of 0.78 and an accuracy of 0.90 outperform baseline text similarity models but trail behind fine-tuned versions of BERT. We used LLMs to generate natural language explanations for the classified instances and manually assessed their quality.
• Abstract（参考訳）: 臨床試験におけるスピンには、結果の提示を歪める報告プラクティスが含まれる。 これは医学において特に重要であり、スピンは統計的に意味をなさないランダム化制御試験の50%以上に存在する。 一次および報告された結果の比較は、結果の切り替えを含むいくつかの種類のスピンを検出するために重要である。 意味的類似度をラベル付けした300対の結果を用いて,結果切替の自動検出システムを開発した。 生成した類似度スコアとYoudenインデックスを用いて、ベースラインテキスト類似度モデルとオープンソースのLCMを評価し、分類しきい値を決定する。 提案手法には、迅速なエンジニアリング、トークン確率に基づく分類、最終決定のための多数決が含まれる。 テストセットでは、F1スコアが0.78、精度が0.90の2,496のサンプルがベースラインテキストの類似性モデルより優れているが、BERTの微調整バージョンに遅れている。 我々はLLMを用いて分類されたインスタンスの自然言語説明を生成し,その品質を手作業で評価した。

関連論文リスト

• Toward Better Assessment of LLMs' Performance in Clinical Error Detection [13.451007655769827]
  臨床文書における誤りの自動検出のための15大言語モデル(LLM)を評価した。 15モデル中13モデルが、標準慣行が適度に読むF1スコアを達成しながらも、ランダムなペアワイズ判別のレベルを下回っていることが判明した。 F1とペアの精度は、同じバイアスによって反対方向に駆動されるので、F1によるランキングモデルは、系統的に最も弱い差別者を促進する可能性がある。
  論文  参考訳（メタデータ） (2026-08-17T14:41:53Z)
• Hit Selection Using SSMD-Based Machine Learning Performance Metrics in High-Throughput Screening Assays [0.0]
  厳密な標準平均差(SSMD)から感度・特異性・地域分類指標を導出するモデルベースフレームワークを提案する。 サンプリングサイズとして 1 に近づく古典的な統計力とは異なり、群平均の真の非ゼロ差がどれほど小さいかは問わないが、SSMD 由来の感度は有限個の集団値に収束する。 C型肝炎ウイルスプライマリスクリーンで, 約22,000回の単回測定で本フレームワークの有用性を実証した。
  論文  参考訳（メタデータ） (2026-08-06T20:33:48Z)
• Deep learning-based segmentation of T1 and T2 cardiac MRI maps for automated disease detection [0.2593137041747032]
  組織マッピングは、定量的な心臓組織評価を可能にするが、手動のデライン化において、オブザーバ間の変動によって制限される。 平均緩和値と単一カットオフに依存する従来のアプローチは、複雑さを過度に単純化する可能性がある。 本研究では,機械学習がサーバ間変動に匹敵するセグメンテーション精度を達成できるかどうかを評価する。
  論文  参考訳（メタデータ） (2025-07-01T16:08:54Z)
• Provably Neural Active Learning Succeeds via Prioritizing Perplexing Samples [53.95282502030541]
  ニューラルネットワークベースのアクティブラーニング(NAL)は、ニューラルネットワークを使用してサンプルの小さなサブセットを選択してトレーニングする、費用対効果の高いデータ選択技術である。 我々は、機能学習の観点から、両方のクエリ基準ベースのNALの成功について、統一的な説明を提供することにより、一歩前進させようとする。
  論文  参考訳（メタデータ） (2024-06-06T10:38:01Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [49.15931834209624]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• Language Model Classifier Aligns Better with Physician Word Sensitivity than XGBoost on Readmission Prediction [86.15787587540132]
  語彙レベルでモデルの振る舞いを精査する尺度である感度スコアを導入する。 本実験は,感度スコアのランク相関に基づいて,臨床医と分類医の意思決定論理を比較した。
  論文  参考訳（メタデータ） (2022-11-13T23:59:11Z)
• Exploiting prompt learning with pre-trained language models for Alzheimer's Disease detection [70.86672569101536]
  アルツハイマー病(AD)の早期診断は予防ケアの促進とさらなる進行の遅らせに不可欠である。 本稿では,AD分類誤差をトレーニング対象関数として一貫して用いたPLMの高速微調整法について検討する。
  論文  参考訳（メタデータ） (2022-10-29T09:18:41Z)
• Assessment of contextualised representations in detecting outcome phrases in clinical trials [14.584741378279316]
  本稿では,300 PubMed の要約を専門的に注釈付けしたデータセット "EBM-COMET" を紹介する。 結果の抽出には,事前学習した文脈表現を微調整する。 ベストモデル(BioBERT)は81.5%のF1、81.3%の感度、98.0%の特異性を達成している。
  論文  参考訳（メタデータ） (2022-02-13T15:08:00Z)
• Detecting of a Patient's Condition From Clinical Narratives Using Natural Language Representation [0.3149883354098941]
  本稿では,臨床自然言語表現学習と教師付き分類フレームワークを提案する。 この新しいフレームワークは、文脈的臨床物語入力から分布構文と潜在意味論(表現学習)を共同で発見する。 提案手法では, 精度, 再現性, 精度をそれぞれ89 %, 88 %, 89 %とした総合分類性能が得られる。
  論文  参考訳（メタデータ） (2021-04-08T17:16:04Z)
• LOGAN: Local Group Bias Detection by Clustering [86.38331353310114]
  コーパスレベルでバイアスを評価することは、モデルにバイアスがどのように埋め込まれているかを理解するのに十分ではない、と我々は主張する。 クラスタリングに基づく新しいバイアス検出手法であるLOGANを提案する。 毒性分類および対象分類タスクの実験は、LOGANが局所領域のバイアスを特定することを示している。
  論文  参考訳（メタデータ） (2020-10-06T16:42:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。