論文の概要: Using Large Language Models to Automate Category and Trend Analysis of
Scientific Articles: An Application in Ophthalmology
- arxiv url: http://arxiv.org/abs/2308.16688v1
- Date: Thu, 31 Aug 2023 12:45:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-01 14:36:15.848138
- Title: Using Large Language Models to Automate Category and Trend Analysis of
Scientific Articles: An Application in Ophthalmology
- Title(参考訳): 大規模言語モデルを用いた科学論文のカテゴリー分析とトレンド分析:眼科への応用
- Authors: Hina Raja, Asim Munawar, Mohammad Delsoz, Mohammad Elahi, Yeganeh
Madadi, Amr Hassan, Hashem Abu Serhan, Onur Inam, Luis Hermandez, Sang Tran,
Wuqas Munir, Alaa Abd-Alrazaq, Hao Chen, and SiamakYousefi
- Abstract要約: 本稿では,Large Language Models (LLM) のパワーを活用した記事分類の自動手法を提案する。
平均精度は0.86、平均F1は0.85である。
モデルの他の科学分野への拡張性は、様々な分野にわたる研究やトレンド分析の促進にその影響を広げる。
- 参考スコア(独自算出の注目度): 4.455826633717872
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Purpose: In this paper, we present an automated method for article
classification, leveraging the power of Large Language Models (LLM). The
primary focus is on the field of ophthalmology, but the model is extendable to
other fields. Methods: We have developed a model based on Natural Language
Processing (NLP) techniques, including advanced LLMs, to process and analyze
the textual content of scientific papers. Specifically, we have employed
zero-shot learning (ZSL) LLM models and compared against Bidirectional and
Auto-Regressive Transformers (BART) and its variants, and Bidirectional Encoder
Representations from Transformers (BERT), and its variant such as distilBERT,
SciBERT, PubmedBERT, BioBERT. Results: The classification results demonstrate
the effectiveness of LLMs in categorizing large number of ophthalmology papers
without human intervention. Results: To evalute the LLMs, we compiled a dataset
(RenD) of 1000 ocular disease-related articles, which were expertly annotated
by a panel of six specialists into 15 distinct categories. The model achieved
mean accuracy of 0.86 and mean F1 of 0.85 based on the RenD dataset.
Conclusion: The proposed framework achieves notable improvements in both
accuracy and efficiency. Its application in the domain of ophthalmology
showcases its potential for knowledge organization and retrieval in other
domains too. We performed trend analysis that enables the researchers and
clinicians to easily categorize and retrieve relevant papers, saving time and
effort in literature review and information gathering as well as identification
of emerging scientific trends within different disciplines. Moreover, the
extendibility of the model to other scientific fields broadens its impact in
facilitating research and trend analysis across diverse disciplines.
- Abstract(参考訳): 目的:本稿では,大規模言語モデル(llm)のパワーを活用した記事分類の自動化手法を提案する。
主な焦点は眼科の分野であるが、モデルは他の分野にも拡張可能である。
方法:我々は,学術論文のテキスト内容の処理と解析を行うために,高度LLMを含む自然言語処理(NLP)技術に基づくモデルを開発した。
具体的には、ゼロショット学習(ZSL)LLMモデルを用いて、双方向・自動回帰変換器(BART)とその変種と、変換器(BERT)からの双方向エンコーダ表現と、 distilBERT, SciBERT, PubmedBERT, BioBERTなどの変種を比較した。
結果: 分類結果は, 人間の介入なしに多数の眼科用紙を分類する上で, LLMsの有効性を示した。
結果: llmを評価するために,6人の専門家からなるパネルによって15のカテゴリに分類された1000の眼疾患関連論文のデータセット (rend) を編集した。
このモデルは、rendデータセットに基づく平均精度0.86、平均f1.85を達成した。
結論:提案フレームワークは精度と効率の両方において顕著な改善を達成している。
眼科領域におけるその応用は、他の領域における知識の組織化と検索の可能性を示している。
論文の分類と検索,文献レビューや情報収集に要する時間と労力の節約,分野による新たな科学的傾向の特定など,研究者や臨床医が容易に対応できる傾向分析を行った。
さらに、このモデルの他の科学分野への拡張性は、様々な分野にわたる研究とトレンド分析の促進にその影響を広げる。
関連論文リスト
- RudolfV: A Foundation Model by Pathologists for Pathologists [6.898349246286343]
我々は、半自動データキュレーションにより、スライド画像全体のデジタル病理学の基礎モデルの現状を拡大する。
我々は、異なる固定、染色、走査プロトコルからのデータをカバーする12億の画像パッチに対応する133kのスライドをキュレートする。
得られたモデルを公開および内部ベンチマークで評価し、我々の基礎モデルは、桁違いに少ないスライドで訓練されているものの、競合するモデルよりも同等かそれ以上の性能を発揮していることを示す。
論文 参考訳(メタデータ) (2024-01-08T18:31:38Z) - Diversifying Knowledge Enhancement of Biomedical Language Models using
Adapter Modules and Knowledge Graphs [54.223394825528665]
我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。
バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。
計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
論文 参考訳(メタデータ) (2023-12-21T14:26:57Z) - Bias and Fairness in Large Language Models: A Survey [76.65471160523444]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。
まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。
次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文 参考訳(メタデータ) (2023-09-02T00:32:55Z) - Neural Authorship Attribution: Stylometric Analysis on Large Language
Models [16.63955074133222]
GPT-4、PaLM、Llamaのような大規模言語モデル(LLM)は、AIによるテキスト生成を著しく推進している。
誤用の可能性に対する懸念が高まっているため、AI生成テキストの鑑識の必要性が高まっている。
論文 参考訳(メタデータ) (2023-08-14T17:46:52Z) - Application of Transformers based methods in Electronic Medical Records:
A Systematic Literature Review [77.34726150561087]
本研究は,異なるNLPタスクにおける電子カルテ(EMR)のトランスフォーマーに基づく手法を用いて,最先端技術に関する体系的な文献レビューを行う。
論文 参考訳(メタデータ) (2023-04-05T22:19:42Z) - Large Language Models Are Latent Variable Models: Explaining and Finding
Good Demonstrations for In-Context Learning [104.58874584354787]
近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。
本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
論文 参考訳(メタデータ) (2023-01-27T18:59:01Z) - Interpretable and synergistic deep learning for visual explanation and
statistical estimations of segmentation of disease features from medical
images [0.0]
医学画像からの病因分類やセグメンテーションのための深層学習(DL)モデルは、無関係な自然界画像からの伝達学習(TL)を用いて、ますます訓練されている。
TL後バイナリセグメンテーションに広く用いられているDLアーキテクチャの比較,厳密な統計的解析,および比較について報告する。
TIIおよびLMIモデル、コード、10,000以上の医療画像の無料GitHubリポジトリと、この研究からのGrad-CAM出力は、高度な計算医学の出発点として利用できる。
論文 参考訳(メタデータ) (2020-11-11T14:08:17Z) - Method and Dataset Entity Mining in Scientific Literature: A CNN +
Bi-LSTM Model with Self-attention [21.93889297841459]
MDERと呼ばれる新しいエンティティ認識モデルを提案し、科学的論文から効果的にメソッドとデータセットを抽出することができる。
我々は,NLP,CV,データマイニング,AIの4つの研究分野の論文から構築したデータセットのモデルを評価する。
論文 参考訳(メタデータ) (2020-10-26T13:38:43Z) - Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。
グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。
まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
論文 参考訳(メタデータ) (2020-06-11T17:29:53Z) - A Comparative Study of Lexical Substitution Approaches based on Neural
Language Models [117.96628873753123]
本稿では,一般的なニューラル言語とマスキング言語モデルの大規模比較研究について述べる。
目的語に関する情報を適切に注入すれば,SOTA LMs/MLMsによって達成された既に競合する結果をさらに改善できることを示す。
論文 参考訳(メタデータ) (2020-05-29T18:43:22Z) - The Utility of General Domain Transfer Learning for Medical Language
Tasks [1.5459429010135775]
本研究の目的は,医療自然言語処理(NLP)タスクに適用したトランスファーラーニング手法とトランスフォーマーベースモデルの有効性を解析することである。
一般的なテキスト転送学習は、放射線コーパス上の医学的NLPタスクにおいて、最先端の結果を生成するための有効な技術である可能性がある。
論文 参考訳(メタデータ) (2020-02-16T20:20:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。