論文の概要: Enabling Inclusive Systematic Reviews: Incorporating Preprint Articles with Large Language Model-Driven Evaluations

• arxiv url: http://arxiv.org/abs/2503.13857v2
• Date: Wed, 19 Mar 2025 15:21:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 12:00:40.296223
• Title: Enabling Inclusive Systematic Reviews: Incorporating Preprint Articles with Large Language Model-Driven Evaluations
• Title（参考訳）: 包括的体系的レビューの実施:大規模言語モデル駆動評価によるプレプリント記事の導入
• Authors: Rui Yang, Jiayi Tong, Haoyuan Wang, Hui Huang, Ziyang Hu, Peiyu Li, Nan Liu, Christopher J. Lindsell, Michael J. Pencina, Yong Chen, Chuan Hong,
• Abstract要約: 我々は,事前印刷の出版を予測するための高度なフレームワークであるAutoConfidenceを提案する。 AutoConfidenceは手動のキュレーションへの依存を減らし、予測値の範囲を広げる。 このフレームワークは、エビデンスベースの医療において、プリプリント記事の体系的な取り込みを促進する可能性がある。
• 参考スコア（独自算出の注目度）: 13.959386162923993
• License:
• Abstract: Background. Systematic reviews in comparative effectiveness research require timely evidence synthesis. Preprints accelerate knowledge dissemination but vary in quality, posing challenges for systematic reviews. Methods. We propose AutoConfidence (automated confidence assessment), an advanced framework for predicting preprint publication, which reduces reliance on manual curation and expands the range of predictors, including three key advancements: (1) automated data extraction using natural language processing techniques, (2) semantic embeddings of titles and abstracts, and (3) large language model (LLM)-driven evaluation scores. Additionally, we employed two prediction models: a random forest classifier for binary outcome and a survival cure model that predicts both binary outcome and publication risk over time. Results. The random forest classifier achieved AUROC 0.692 with LLM-driven scores, improving to 0.733 with semantic embeddings and 0.747 with article usage metrics. The survival cure model reached AUROC 0.716 with LLM-driven scores, improving to 0.731 with semantic embeddings. For publication risk prediction, it achieved a concordance index of 0.658, increasing to 0.667 with semantic embeddings. Conclusion. Our study advances the framework for preprint publication prediction through automated data extraction and multiple feature integration. By combining semantic embeddings with LLM-driven evaluations, AutoConfidence enhances predictive performance while reducing manual annotation burden. The framework has the potential to facilitate systematic incorporation of preprint articles in evidence-based medicine, supporting researchers in more effective evaluation and utilization of preprint resources.
• Abstract（参考訳）: 背景。 比較有効性研究における体系的なレビューは、タイムリーなエビデンス合成を必要とする。 プレプリントは知識の普及を促進するが、品質は様々であり、体系的なレビューに挑戦する。 メソッド。 本稿では,(1)自然言語処理技術を用いた自動データ抽出,(2)タイトルや要約のセマンティック埋め込み,(3)大規模言語モデル(LLM)による評価スコアなどの3つの重要な進歩を含む,手動によるキュレーションへの依存を低減し,予測対象の範囲を広げる,事前印刷出版の予測のための高度なフレームワークであるAutoConfidence(AutoConfidence)を提案する。 さらに、二分結果に対するランダム森林分類器と、二分結果と発行リスクの両方を時間とともに予測する生存回復モデルという2つの予測モデルを採用した。 結果。 ランダム森林分類器は、ALLOC 0.692をLCMによるスコアで達成し、セマンティック埋め込みで0.733、記事使用率で0.747に改善した。 生存治療モデルは、ALLOC 0.716 に LLM によるスコアで到達し、セマンティック埋め込みにより 0.731 に改善された。 出版リスク予測では、コンコータンス指数は0.658となり、セマンティック埋め込みにより0.667に増加した。 結論。 本研究は,自動データ抽出と複数機能統合によるプレプリント公開予測の枠組みを整備する。 セマンティック埋め込みとLLMによる評価を組み合わせることで、AutoConfidenceは手作業によるアノテーションの負担を軽減しつつ予測性能を向上させる。 このフレームワークは、エビデンスベースの医学におけるプリプリント記事の体系的な取り込みを促進する可能性があり、より効果的な評価とプリプリントリソースの利用を支援する。

関連論文リスト

• Ranking and Combining Latent Structured Predictive Scores without Labeled Data [2.5064967708371553]
  本稿では,新しい教師なしアンサンブル学習モデル(SUEL)を提案する。 連続的な予測スコアを持つ予測器のセット間の依存関係を利用して、ラベル付きデータなしで予測器をランク付けし、それらをアンサンブルされたスコアに重み付けする。 提案手法の有効性は、シミュレーション研究とリスク遺伝子発見の現実的応用の両方を通じて厳密に評価されている。
  論文  参考訳（メタデータ） (2024-08-14T20:14:42Z)
• Data-Driven Machine Learning Approaches for Predicting In-Hospital Sepsis Mortality [0.0]
  セプシスはアメリカ合衆国と世界中で多くの死者を負う重篤な状態である。 機械学習を用いたこれまでの研究では、特徴選択とモデル解釈可能性に制限があった。 本研究は,院内敗血症死亡率を予測するための,解釈可能かつ正確な機械学習モデルを開発することを目的とした。
  論文  参考訳（メタデータ） (2024-08-03T00:28:25Z)
• Multi-objective Representation for Numbers in Clinical Narratives: A CamemBERT-Bio-Based Alternative to Large-Scale LLMs [0.9208007322096533]
  本稿では,数値の理解におけるトランスフォーマーモデルの限界について検討する。 医学文書から抽出した数値を,CamemBERT-bioを用いて8つの特定の生理カテゴリーに分類することを目的とする。
  論文  参考訳（メタデータ） (2024-05-28T01:15:21Z)
• DynaMo: Accelerating Language Model Inference with Dynamic Multi-Token Sampling [51.055580277828]
  ネット推論時間を短縮するマルチトークン予測言語モデルであるDynaMoを提案する。 我々のモデルは、予測された関節確率分布に対する信頼度に基づいて複数のトークンを予測する。 また、テキスト生成品質を向上させるために、推定結合確率を高める新しい方法を提案する。
  論文  参考訳（メタデータ） (2024-05-01T22:17:57Z)
• Improving Attributed Text Generation of Large Language Models via Preference Learning [28.09715554543885]
  属性タスクを選好学習としてモデル化し,自動選好最適化フレームワークを導入する。 APOは、回答品質の高い最先端の引用F1を達成する。
  論文  参考訳（メタデータ） (2024-03-27T09:19:13Z)
• Zero-shot Generative Large Language Models for Systematic Review Screening Automation [55.403958106416574]
  本研究では,ゼロショット大言語モデルを用いた自動スクリーニングの有効性について検討した。 本研究では, 8種類のLCMの有効性を評価し, 予め定義されたリコール閾値を用いた校正手法について検討する。
  論文  参考訳（メタデータ） (2024-01-12T01:54:08Z)
• Continual Evidential Deep Learning for Out-of-Distribution Detection [20.846788009755183]
  不確実性に基づくディープラーニングモデルは、正確で信頼性の高い予測を提供する能力に対して、大きな関心を集めている。 Evidential Deep Learningは、単一決定論的ニューラルネットワークによるアウト・オブ・ディストリビューション(OOD)データの検出において、優れたパフォーマンスを実現している。 本稿では,オブジェクト分類とOOD検出を同時に行うために,明らかなディープラーニング手法を連続的な学習フレームワークに統合することを提案する。
  論文  参考訳（メタデータ） (2023-09-06T13:36:59Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [49.15931834209624]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• ASPEST: Bridging the Gap Between Active Learning and Selective Prediction [56.001808843574395]
  選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。 アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。 本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
  論文  参考訳（メタデータ） (2023-04-07T23:51:07Z)
• An evaluation of word-level confidence estimation for end-to-end automatic speech recognition [70.61280174637913]
  エンドツーエンド自動音声認識(ASR)における信頼度推定の検討 4つのよく知られた音声データセットにおける信頼度手法の広範なベンチマークを提供する。 以上の結果から,ロジットを学習温度でスケーリングすることで,強いベースラインが得られることが示唆された。
  論文  参考訳（メタデータ） (2021-01-14T09:51:59Z)
• BERT Loses Patience: Fast and Robust Inference with Early Exit [91.26199404912019]
  本稿では,事前学習した言語モデルの効率性と堅牢性を向上させるためのプラグイン・アンド・プレイ手法として,Patience-based Early Exitを提案する。 提案手法では,モデルを少ないレイヤで予測できるため,推論効率が向上する。
  論文  参考訳（メタデータ） (2020-06-07T13:38:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。