論文の概要: MedCPT: Contrastive Pre-trained Transformers with Large-scale PubMed Search Logs for Zero-shot Biomedical Information Retrieval

• arxiv url: http://arxiv.org/abs/2307.00589v2
• Date: Wed, 4 Oct 2023 01:43:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 21:27:10.521320
• Title: MedCPT: Contrastive Pre-trained Transformers with Large-scale PubMed Search Logs for Zero-shot Biomedical Information Retrieval
• Title（参考訳）: MedCPT:ゼロショットバイオメディカル情報検索のための大規模PubMed検索ログ付きコントラスト事前学習トランス
• Authors: Qiao Jin, Won Kim, Qingyu Chen, Donald C. Comeau, Lana Yeganova, W. John Wilbur, Zhiyong Lu
• Abstract要約: バイオメディシンにおけるゼロショットセマンティックIRのためのコントラスト事前訓練トランスフォーマモデルであるMedCPTを紹介する。 MedCPTのトレーニングには、PubMedから2億5500万のユーザクリックログを収集しました。 MedCPTは6つのバイオメディカルIRタスクに対して,最先端の性能を新たに設定する。
• 参考スコア（独自算出の注目度）: 5.330363334603656
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Information retrieval (IR) is essential in biomedical knowledge acquisition and clinical decision support. While recent progress has shown that language model encoders perform better semantic retrieval, training such models requires abundant query-article annotations that are difficult to obtain in biomedicine. As a result, most biomedical IR systems only conduct lexical matching. In response, we introduce MedCPT, a first-of-its-kind Contrastively Pre-trained Transformer model for zero-shot semantic IR in biomedicine. To train MedCPT, we collected an unprecedented scale of 255 million user click logs from PubMed. With such data, we use contrastive learning to train a pair of closely-integrated retriever and re-ranker. Experimental results show that MedCPT sets new state-of-the-art performance on six biomedical IR tasks, outperforming various baselines including much larger models such as GPT-3-sized cpt-text-XL. In addition, MedCPT also generates better biomedical article and sentence representations for semantic evaluations. As such, MedCPT can be readily applied to various real-world biomedical IR tasks.
• Abstract（参考訳）: 情報検索(IR)は、バイオメディカル知識獲得と臨床決定支援に不可欠である。 近年,言語モデルエンコーダのセマンティック検索が向上していることが示されているが,このようなモデルのトレーニングには,バイオメディシンでは入手が困難である大量のクエリーアーティクルアノテーションが必要である。 その結果、ほとんどの生体赤外系は語彙マッチングのみを行う。 バイオメディシンにおけるゼロショットセマンティックIRのためのコントラスト事前学習トランスフォーマモデルであるMedCPTを導入する。 MedCPTのトレーニングには、PubMedから2億5500万のユーザクリックログを収集しました。 このようなデータを用いて、コントラスト学習を用いて、密接に統合されたレトリバーとリランクラーのペアを訓練する。 実験の結果, medcptは6つの生物医学irタスクにおいて新たな最先端性能を設定し, gpt-3-size cpt-text-xlのようなより大きなモデルを含む様々なベースラインを上回った。 さらに、MedCPTは、意味評価のためのより良いバイオメディカル記事や文表現を生成する。 したがって、MedCPTは様々な現実世界の生体医学IRタスクに容易に適用できる。

関連論文リスト

• BMRetriever: Tuning Large Language Models as Better Biomedical Text Retrievers [48.21255861863282]
  BMRetrieverは、バイオメディカル検索を強化するための一連の密集したレトリバーである。 BMRetrieverは強力なパラメータ効率を示し、410Mの派生型はベースラインを最大11.7倍まで上回っている。
  論文  参考訳（メタデータ） (2024-04-29T05:40:08Z)
• Towards Generalist Biomedical AI [28.68106423175678]
  我々は,汎用バイオメディカルAIシステムの概念実証であるMed-PaLM Multimodal(Med-PaLM M)を紹介する。 Med-PaLM Mは、バイオメディカルデータを柔軟にエンコードし解釈する大規模なマルチモーダル生成モデルである。 モデル生成(およびヒト)胸部X線検査の放射線学的評価を行い, モデルスケールでの性能向上を観察した。
  論文  参考訳（メタデータ） (2023-07-26T17:52:22Z)
• Biomedical Language Models are Robust to Sub-optimal Tokenization [30.175714262031253]
  現代のバイオメディカル言語モデル(LM)は、標準的なドメイン固有のトークン化器を用いて事前訓練されている。 より正確なバイオメディカルトークン化器を用いたバイオメディカルLMの事前トレーニングでは,言語モデルの実体表現品質が向上しないことがわかった。
  論文  参考訳（メタデータ） (2023-06-30T13:35:24Z)
• Customizing General-Purpose Foundation Models for Medical Report Generation [64.31265734687182]
  ラベル付き医用画像-レポートペアの不足は、ディープニューラルネットワークや大規模ニューラルネットワークの開発において大きな課題となっている。 本稿では,コンピュータビジョンと自然言語処理の基盤モデル (FM) として,市販の汎用大規模事前学習モデルのカスタマイズを提案する。
  論文  参考訳（メタデータ） (2023-06-09T03:02:36Z)
• LLaVA-Med: Training a Large Language-and-Vision Assistant for Biomedicine in One Day [85.19963303642427]
  本稿では,バイオメディカルイメージのオープンな研究課題に答えられる視覚言語対話アシスタントを訓練するための費用効率のよいアプローチを提案する。 モデルはまず、フィギュア・キャプションのペアを使ってバイオメディカル・ボキャブラリをアライメントし、その後、オープンエンドの会話意味論を習得する。 これにより、バイオメディジンのための大規模言語と視覚アシスタントを15時間以内で(8つのA100で)訓練することができる。
  論文  参考訳（メタデータ） (2023-06-01T16:50:07Z)
• BiomedGPT: A Generalist Vision-Language Foundation Model for Diverse Biomedical Tasks [68.39821375903591]
  汎用AIは、さまざまなデータ型を解釈する汎用性のために、制限に対処する可能性を秘めている。 本稿では,最初のオープンソースかつ軽量な視覚言語基盤モデルであるBiomedGPTを提案する。
  論文  参考訳（メタデータ） (2023-05-26T17:14:43Z)
• BiomedCLIP: a multimodal biomedical foundation model pretrained from fifteen million scientific image-text pairs [48.376109878173956]
  PMC-15Mは,既存のバイオメディカル・マルチモーダル・データセットよりも2桁大きい新しいデータセットである。 PMC-15Mは440万の科学論文から収集された1500万のバイオメディカル画像テキスト対を含んでいる。 PMC-15Mに基づいて,生物医学的視覚言語処理に適したドメイン固有適応を備えた多モーダル基礎モデルであるBiomedCLIPを事前訓練した。
  論文  参考訳（メタデータ） (2023-03-02T02:20:04Z)
• Domain-Specific Pretraining for Vertical Search: Case Study on Biomedical Literature [67.4680600632232]
  自己教師型学習は、アノテーションのボトルネックを克服するための有望な方向として現れました。 本稿では,ドメイン固有の事前学習に基づく垂直探索手法を提案する。 我々のシステムはPubMed上で何千万もの記事にスケールでき、Microsoft Biomedical Searchとしてデプロイされている。
  論文  参考訳（メタデータ） (2021-06-25T01:02:55Z)
• Multi-Perspective Semantic Information Retrieval in the Biomedical Domain [0.0]
  情報検索(Information Retrieval、IR)とは、特定のクエリやニーズに関連するデータ(ドキュメントなど)を取得するタスクである。 現代のニューラルアプローチは、古典的なアプローチと比べて一定の利点がある。 この研究は、バイオメディカルセマンティック情報検索ドメインのいくつかの側面に貢献する。
  論文  参考訳（メタデータ） (2020-07-17T21:05:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。