論文の概要: The Critical Role of Model Selection in Causal Inference: A Comparative Analysis of Classification Models within the InferBERT Framework for Pharmacovigilance

• arxiv url: http://arxiv.org/abs/2606.17113v1
• Date: Mon, 15 Jun 2026 09:01:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.065853
• Title: The Critical Role of Model Selection in Causal Inference: A Comparative Analysis of Classification Models within the InferBERT Framework for Pharmacovigilance
• Title（参考訳）: 因果推論におけるモデル選択のクリティカルな役割:薬理工学におけるInferBERTフレームワーク内の分類モデルの比較分析
• Authors: Csaba Kiss, Roland Molontay, Gabriele Pergola,
• Abstract要約: InferBERTフレームワークは、変換モデルをDo-calculusと統合する。 XGBoost(ベースライン)、ALBERT、BioBERT、Med-LLaMAの4モデルが評価された。 ドメイン固有の事前トレーニングは決定的だった。 BioBERTは両方のデータセットで最高の精度を達成した。
• 参考スコア（独自算出の注目度）: 5.94491873775155
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distinguishing causal adverse drug events (ADEs) from spurious correlations remains a central challenge in pharmacovigilance. The InferBERT framework integrates transformer models with Do-calculus, but its success hinges on the underlying classification model. This study evaluates the impact of model choice in InferBERT, assessing whether simpler models suffice, if domain-specific pre-training helps, whether scaling to LLMs improves causal detection, and the effect of post-hoc calibration. We performed a comparative study on two benchmarks: Analgesics-induced Acute Liver Failure (AILF) and Tramadol-related Mortalities (TRAM). Four models were evaluated-XGBoost (baseline), ALBERT (original InferBERT), BioBERT (biomedical transformer), and Med-LLaMA (medical LLM)-using 5-fold cross-validation repeated over 20 runs. We measured accuracy, Expected Calibration Error (ECE) pre- and post-isotonic regression, and Jaccard concordance of causal terms with PRR, ROR, and EBGM; significance was tested with paired t-tests. BioBERT achieved the highest accuracy on both datasets, while Med-LLaMA underperformed despite its size and parameter-efficient fine-tuning. Domain-specific pre-training was decisive. Calibration improved ECE but had mixed effects on accuracy and causal discovery. BioBERT's superiority also yielded the strongest concordance with traditional pharmacovigilance signals. These results show that domain-specific pre-training provides a clear advantage over simpler baselines and larger LLMs. Investing in manageable, domain-aware models is more effective for computational pharmacovigilance than simply scaling model size.
• Abstract（参考訳）: 急激な相関関係から因果的有害薬物事象(ADEs)を排除することは、薬物移動における中心的な課題である。 InferBERTフレームワークは、トランスフォーマーモデルとDo-calculusを統合するが、その成功は基礎となる分類モデルに依存している。 本研究は, モデル選択がInferBERTに与える影響を評価し, シンプルなモデルで十分か, ドメイン固有の事前学習が有効か, LLMへのスケーリングが因果検出を改善するか, およびポストホック校正の効果を評価する。 われわれは, 鎮痛剤による急性肝不全 (AILF) とTramadol-related Mortalities (TRAM) の2つのベンチマークで比較検討を行った。 XGBoost(ベースライン)、ALBERT(元はInferBERT)、BioBERT(バイオメディカルトランスフォーマー)、Med-LLaMA(メディカルLSM)の4種類のモデルが20回以上繰り返された。 PRR, ROR, EBGMとの因果関係は, 精度, 校正誤差 (ECE) 前後の回帰, Jaccard と一致し, t-test と組み合わせて検討した。 BioBERTは両方のデータセットで最高精度を達成し、Med-LLaMAはそのサイズとパラメータ効率の良い微調整にもかかわらず性能が低かった。 ドメイン固有の事前訓練は決定的だった。 校正によりCEは改善したが、精度と因果発見に混合的な影響が認められた。 BioBERTの優位性も、従来の薬物移動信号と最強の一致をもたらした。 これらの結果は、ドメイン固有の事前学習が、より単純なベースラインとより大きなLLMに対して明確な優位性をもたらすことを示している。 管理可能なドメイン対応モデルへの投資は、単にモデルサイズをスケールするよりも、計算薬局の操作に効果的である。

関連論文リスト

• Clinical named entity recognition in the Portuguese language: a benchmark of modern BERT models and LLMs [1.6114494927075578]
  ポルトガルにおける臨床NERに対するBERTモデルと大規模言語モデル(LLM)の評価を行った。 我々は,BioBERTpt,BERTimbau,ModernBERT,mmBERTをGPT-5,Gemini-2.5などのLLMと比較した。 mmBERTベースのモデルは最高の性能(マイクロF1 = 0.76)を達成し、他の全てのモデルより優れていた。
  論文  参考訳（メタデータ） (2026-03-27T15:22:07Z)
• PREBA: Surgical Duration Prediction via PCA-Weighted Retrieval-Augmented LLMs and Bayesian Averaging Aggregation [51.96735866702332]
  PreBAはPCA重み付き検索とベイズ平均アグリゲーションを統合した検索拡張フレームワークである。 例えば、PreBAはパフォーマンスを大幅に改善し、MAEを最大40%削減し、ゼロショット推論でR2を-0.13から0.62に引き上げる。
  論文  参考訳（メタデータ） (2026-02-27T07:19:23Z)
• Suppressing Prior-Comparison Hallucinations in Radiology Report Generation via Semantically Decoupled Latent Steering [94.37535002230504]
  本研究では,Semantically Decoupled Latent Steeringと呼ばれる学習自由な推論時間制御フレームワークを開発した。 提案手法は,大言語モデル (LLM) による意味分解による意味のない介入ベクトルを構築する。 本手法は歴史的幻覚の可能性を著しく低下させることを示す。
  論文  参考訳（メタデータ） (2026-02-27T04:49:01Z)
• Investigating the Impact of Histopathological Foundation Models on Regressive Prediction of Homologous Recombination Deficiency [52.50039435394964]
  回帰に基づくタスクの基礎モデルを体系的に評価する。 我々は5つの最先端基礎モデルを用いて、スライド画像全体(WSI)からパッチレベルの特徴を抽出する。 乳房、子宮内膜、肺がんコホートにまたがるこれらの抽出された特徴に基づいて、連続したRDDスコアを予測するモデルが訓練されている。
  論文  参考訳（メタデータ） (2026-01-29T14:06:50Z)
• Benchmarking Foundation Models and Parameter-Efficient Fine-Tuning for Prognosis Prediction in Medical Imaging [40.35825564674249]
  本研究では,基礎モデルにおける伝達学習戦略の堅牢性と効率性を評価するための最初の構造化されたベンチマークを紹介する。 新型コロナウイルス(COVID-19)の胸部X線データセットが4つ使用されており、死亡率、重症度、入院率をカバーしている。 一般またはバイオメディカルデータセットで事前訓練されたImageNetとFMで事前訓練されたCNNは、完全な微調整、線形探索、パラメータ効率のよい手法を用いて適応された。
  論文  参考訳（メタデータ） (2025-06-23T09:16:04Z)
• Mitigating Spurious Correlations in LLMs via Causality-Aware Post-Training [57.03005244917803]
  大規模言語モデル (LLMs) は、事前学習中に得られた素早い相関関係により、アウト・オブ・ディストリビューション (OOD) のサンプルで失敗することが多い。 ここでは、因果認識後学習(CAPT)を通して、このような素因的相関を緩和することを目的とする。 公式因果推論ベンチマークCLadderと論理推論データセットPrOntoQAの実験により、CAPTで微調整された3Bスケールの言語モデルでは、従来のSFTおよびより大きなLLMを分散処理(ID)およびOODタスクで上回る結果が得られた。
  論文  参考訳（メタデータ） (2025-06-11T06:30:28Z)
• Comparative Analysis of LSTM Neural Networks and Traditional Machine Learning Models for Predicting Diabetes Patient Readmission [0.0]
  本研究はDiabetes 130-US Hospitalsデータセットを用いて,各種機械学習モデルによる寛解患者の分析と予測を行う。 LightGBMは、XGBoostが首位だったのに対して、従来のモデルとしてはベストだった。 本研究は,予測医療モデリングにおいて,モデル選択,検証,解釈可能性が重要なステップであることを示す。
  論文  参考訳（メタデータ） (2024-06-28T15:06:22Z)
• Diagnosing Transformers: Illuminating Feature Spaces for Clinical Decision-Making [14.377412942836143]
  事前訓練されたトランスフォーマーは、限られた臨床ノートを使用して臨床意思決定を支援するために微調整されることが多い。 モデルの解釈可能性は、特に医学のような高度な領域において、信頼を確立し、安全性を確保するために不可欠である。 本稿では,微調整型変換器の特徴空間の解釈可能性を高めるための体系的フレームワークであるSUFOを紹介する。
  論文  参考訳（メタデータ） (2023-05-27T22:15:48Z)
• Clinical Deterioration Prediction in Brazilian Hospitals Based on Artificial Neural Networks and Tree Decision Models [56.93322937189087]
  超強化ニューラルネットワーク(XBNet)は臨床劣化(CD)を予測するために用いられる XGBoostモデルはブラジルの病院のデータからCDを予測する最良の結果を得た。
  論文  参考訳（メタデータ） (2022-12-17T23:29:14Z)
• BSM loss: A superior way in modeling aleatory uncertainty of fine_grained classification [0.0]
  混合データ拡張戦略を用いた改良型ブートストラップ損失(BS損失)関数を提案する。 実験の結果,Mixup(BSM)モデルによるBS損失は,標準データ拡張と比較して予測誤差(ECE)を半減できることがわかった。 BSMモデルはドメイン外のデータのセマンティックな距離を知覚することができ、実際の臨床実践において高い可能性を示す。
  論文  参考訳（メタデータ） (2022-06-09T13:06:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。