論文の概要: Fine-Tuning A Large Language Model for Systematic Review Screening

• arxiv url: http://arxiv.org/abs/2603.24767v1
• Date: Wed, 25 Mar 2026 19:39:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-27 20:52:47.966769
• Title: Fine-Tuning A Large Language Model for Systematic Review Screening
• Title（参考訳）: システムレビュースクリーニングのための大規模言語モデルの微調整
• Abstract要約: 本研究は, オープンウェイトLDM(オープンウェイトLDM)を小12億個のパラメータに微調整し, 系統的な検討を行った。 その結果,微調整モデルによる高い性能向上が得られた。 この結果から,大規模な体系的レビューにおいて,タイトルと抽象的なスクリーニングのための微調整LDMが約束されていることを示す。
• 参考スコア（独自算出の注目度）: 1.7398560678845076
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Systematic reviews traditionally have taken considerable amounts of human time and energy to complete, in part due to the extensive number of titles and abstracts that must be reviewed for potential inclusion. Recently, researchers have begun to explore how to use large language models (LLMs) to make this process more efficient. However, research to date has shown inconsistent results. We posit this is because prompting alone may not provide sufficient context for the model(s) to perform well. In this study, we fine-tune a small 1.2 billion parameter open-weight LLM specifically for study screening in the context of a systematic review in which humans rated more than 8500 titles and abstracts for potential inclusion. Our results showed strong performance improvements from the fine-tuned model, with the weighted F1 score improving 80.79% compared to the base model. When run on the full dataset of 8,277 studies, the fine-tuned model had 86.40% agreement with the human coder, a 91.18% true positive rate, a 86.38% true negative rate, and perfect agreement across multiple inference runs. Taken together, our results show that there is promise for fine-tuning LLMs for title and abstract screening in large-scale systematic reviews.
• Abstract（参考訳）: 体系的なレビューは伝統的に完成までにかなりの時間とエネルギーを必要としてきた。 近年、研究者は大規模言語モデル(LLM)を用いてこのプロセスをより効率的にする方法を模索している。 しかし、現在までの研究では矛盾する結果が出ている。 これは、モデル(s)が正常に動作するための十分なコンテキストを提供できないことを、単体でプロンプトするからだと仮定する。 そこで本研究では,本研究では,8500タイトル以上を人間が評価し,潜在的な包括性を抽象化するシステムレビューの文脈において,オープンウェイトLDM(オープンウェイトLDM)の小さなパラメータを微調整する。 その結果,F1スコアはベースモデルと比較して80.79%向上した。 8,277の研究では、微調整されたモデルは、人間のコーダーとの86.40%の一致、91.18%の正の正の率、86.38%の正の負の率、そして複数の推論の完全な一致があった。 この結果から,大規模な体系的レビューにおいて,タイトルと抽象的なスクリーニングのための微調整LDMが約束されていることを示す。

関連論文リスト

• Heterogeneity in Formal Linguistic Competence of Language Models: Is Data the Real Bottleneck? [11.243181562664804]
  大きな言語モデル (LLMs) は、形式的な言語能力において不明瞭な相違を示す。 ウェブスケールコーパスにおいて,これらの失敗が固有のアーキテクチャ上の制約に起因するのか,あるいは特定の文法構造が不足しているのかを考察する。 我々は,ファインウェブコーパスの100万個のランダムサンプルを用いた簡易GPT-2 Small (124M) モデルを事前訓練し,特定の言語現象をターゲットとした最小限の合成データを注入することによって介入する。
  論文  参考訳（メタデータ） (2026-04-20T08:11:04Z)
• Teaching Language Models to Forecast Research Success Through Comparative Idea Evaluation [4.702729080310267]
  PapersWithCodeの客観的な結果に基づいて,11,488のアイデアペアのデータセットを構築した。 我々は、潜在的推論経路を発見するためにモデルを訓練し、解釈可能な正当化で71.35%を達成した。 この結果から,計算効率のよい小言語モデルが,有効で客観的な検証手段として有効であることが示唆された。
  論文  参考訳（メタデータ） (2026-04-06T19:03:11Z)
• A suite of LMs comprehend puzzle statements as well as humans [13.386647125288516]
  本研究では,ヒトの反応を2つの条件で比較した事前登録研究を報告した。 リリーディングが制限されると、人間の精度は大幅に低下し、Falcon-180B-ChatやGPT-4よりも低下した。 結果は、モデル固有の欠陥よりも、実用的感受性の共有を示唆している。
  論文  参考訳（メタデータ） (2025-05-13T22:18:51Z)
• R-PRM: Reasoning-Driven Process Reward Modeling [53.06844294668382]
  プロセス・リワード・モデル(Process Reward Models, PRM)は、各推論ステップを評価することによって、有望なソリューションとして登場した。 既存のPRMは評価スコアを直接出力し、学習効率と評価精度の両方を制限する。 推論駆動プロセスリワードモデリング(R-PRM)を提案する。 R-PRMは限られたアノテーションからシードデータを生成し、効果的にモデルの推論能力をブートストラップします。
  論文  参考訳（メタデータ） (2025-03-27T09:23:08Z)
• A Large-Scale Study of Relevance Assessments with Large Language Models: An Initial Look [52.114284476700874]
  本稿では,4つの異なる関連性評価手法が展開された大規模評価(TREC 2024 RAG Track)の結果について報告する。 自動生成UMBRELA判定は、完全に手動による判断を置き換えて、実行レベルの有効性を正確に捉えることができる。 意外なことに、LLMアシストは完全な手作業による評価と相関を増さないようで、人間のループプロセスに関連するコストは明らかな有意義な利益をもたらすものではないことを示唆している。
  論文  参考訳（メタデータ） (2024-11-13T01:12:35Z)
• LLM-based MOFs Synthesis Condition Extraction using Few-Shot Demonstrations [31.35595673239483]
  大規模言語モデル(LLM)は、この長年の問題に対する破壊的な新しい解決策を提供する。 本稿では,LLMの文脈内学習パラダイムについて紹介する。 提案した少数ショットLLMの合成,構造推定,材料設計性能は,いずれもゼロショットLLMとベースライン法を大きく上回っている。
  論文  参考訳（メタデータ） (2024-08-06T14:53:25Z)
• Improving Entity Recognition Using Ensembles of Deep Learning and Fine-tuned Large Language Models: A Case Study on Adverse Event Extraction from Multiple Sources [13.750202656564907]
  副作用イベント(AE)抽出は、免疫の安全プロファイルを監視し解析するために重要である。 本研究では,AE抽出における大規模言語モデル(LLM)と従来のディープラーニングモデルの有効性を評価することを目的とする。
  論文  参考訳（メタデータ） (2024-06-26T03:56:21Z)
• Exploring the use of a Large Language Model for data extraction in systematic reviews: a rapid feasibility study [0.28318468414401093]
  本稿では,大規模言語モデル (LLM) である GPT-4 を用いて,体系的レビューにおけるデータ抽出(セミ)の実現可能性について述べる。 その結果,約80%の精度で,領域間での変動が認められた。
  論文  参考訳（メタデータ） (2024-05-23T11:24:23Z)
• Let's Verify Step by Step [73.58107073356732]
  プロセスの監督は,課題を解決するためのトレーニングモデルにおいて,結果の監督を著しく上回っていることを示す。 我々のモデルは、MATHテストセットの代表部分集合から78%の問題を解く。 また、最高の報酬モデルをトレーニングするために使われる80,000段階の人間フィードバックラベルの完全なデータセットであるPRM800Kをリリースしています。
  論文  参考訳（メタデータ） (2023-05-31T17:24:00Z)
• Benchmarking Large Language Models for News Summarization [79.37850439866938]
  大規模言語モデル(LLM)は自動要約を約束しているが、その成功の背景にある理由はよく分かっていない。 LLMのゼロショット要約能力の鍵は、モデルサイズではなく、命令チューニングにある。
  論文  参考訳（メタデータ） (2023-01-31T18:46:19Z)
• Large Language Models Are Latent Variable Models: Explaining and Finding Good Demonstrations for In-Context Learning [104.58874584354787]
  近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。 本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
  論文  参考訳（メタデータ） (2023-01-27T18:59:01Z)
• mFACE: Multilingual Summarization with Factual Consistency Evaluation [79.60172087719356]
  抽象的な要約は、事前訓練された言語モデルと大規模データセットの可用性のおかげで、近年で新たな関心を集めている。 有望な結果にもかかわらず、現在のモデルはいまだに現実的に矛盾した要約を生み出すことに苦しむ。 事実整合性評価モデルを利用して、多言語要約を改善する。
  論文  参考訳（メタデータ） (2022-12-20T19:52:41Z)
• RoBLEURT Submission for the WMT2021 Metrics Task [72.26898579202076]
  本稿では,共有メトリクスタスクであるRoBLEURTについて紹介する。 我々のモデルは10対の英語言語対のうち8対でWMT 2020の人間のアノテーションと最先端の相関に達する。
  論文  参考訳（メタデータ） (2022-04-28T08:49:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。