論文の概要: BioMamba: A Pre-trained Biomedical Language Representation Model Leveraging Mamba

• arxiv url: http://arxiv.org/abs/2408.02600v1
• Date: Mon, 5 Aug 2024 16:21:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-06 13:07:17.374592
• Title: BioMamba: A Pre-trained Biomedical Language Representation Model Leveraging Mamba
• Title（参考訳）: BioMamba: Mambaを活用した事前訓練されたバイオメディカル言語表現モデル
• Authors: Ling Yue, Sixue Xing, Yingzhou Lu, Tianfan Fu,
• Abstract要約: 本稿では,生物医学的テキストマイニングに特化した事前学習モデルであるBioMambaを紹介する。 実験により、BioMambaは、BioBERTや一般ドメインのMambaなど、様々なバイオメディカルタスクにおいて、かなり優れています。 例えば、BioMambaはBioASQテストセットで100倍のパープレキシティ低下と4倍のクロスエントロピー損失を達成している。
• 参考スコア（独自算出の注目度）: 11.012644129839922
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The advancement of natural language processing (NLP) in biology hinges on models' ability to interpret intricate biomedical literature. Traditional models often struggle with the complex and domain-specific language in this field. In this paper, we present BioMamba, a pre-trained model specifically designed for biomedical text mining. BioMamba builds upon the Mamba architecture and is pre-trained on an extensive corpus of biomedical literature. Our empirical studies demonstrate that BioMamba significantly outperforms models like BioBERT and general-domain Mamba across various biomedical tasks. For instance, BioMamba achieves a 100 times reduction in perplexity and a 4 times reduction in cross-entropy loss on the BioASQ test set. We provide an overview of the model architecture, pre-training process, and fine-tuning techniques. Additionally, we release the code and trained model to facilitate further research.
• Abstract（参考訳）: 生物学における自然言語処理(NLP)の進歩は、複雑な生物医学文献を解釈するモデルの能力に基づいている。 伝統的なモデルは、この分野の複雑な言語とドメイン固有の言語にしばしば苦労する。 本稿では,生物医学的テキストマイニングに特化した事前学習モデルであるBioMambaについて述べる。 BioMambaはMambaアーキテクチャの上に構築され、バイオメディカル文学の広範なコーパスに基づいて事前訓練されている。 実験により、BioMambaは、BioBERTや一般ドメインのMambaなど、様々なバイオメディカルタスクにおいて、かなり優れています。 例えば、BioMambaはBioASQテストセットで100倍のパープレキシティ低下と4倍のクロスエントロピー損失を達成している。 モデルアーキテクチャ、事前学習プロセス、微調整技術の概要を提供する。 さらに、さらなる研究を容易にするために、コードとトレーニングされたモデルをリリースします。

関連論文リスト

• Automated Text Mining of Experimental Methodologies from Biomedical Literature [0.087024326813104]
  DistilBERTは、生物医学テキストをマイニングするための方法論固有の、事前訓練された生成型分類言語モデルである。 言語理解能力においてその効果を証明し、BERTモデルのサイズを40%削減したが、60%高速化した。 我々の目標は、この高度に専門化された特定のモデルを異なる研究産業に統合することである。
  論文  参考訳（メタデータ） (2024-04-21T21:19:36Z)
• BioT5+: Towards Generalized Biological Understanding with IUPAC Integration and Multi-task Tuning [77.90250740041411]
  本稿では,BioT5フレームワークの拡張であるBioT5+を紹介する。 BioT5+ には、分子理解のための IUPAC 名の統合、bioRxiv や PubChem などのソースからの広範なバイオテキストと分子データの統合、タスク間の汎用性のためのマルチタスク命令チューニング、数値データの処理を改善する数値トークン化技術など、いくつかの新機能が含まれている。
  論文  参考訳（メタデータ） (2024-02-27T12:43:09Z)
• Diversifying Knowledge Enhancement of Biomedical Language Models using Adapter Modules and Knowledge Graphs [54.223394825528665]
  我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。 バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。 計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
  論文  参考訳（メタデータ） (2023-12-21T14:26:57Z)
• Bio-SIEVE: Exploring Instruction Tuning Large Language Models for Systematic Review Automation [6.452837513222072]
  LLM(Large Language Models)は、医学的体系的レビューのための文献スクリーニングをサポートすることができる。 私たちのベストモデルであるBio-SIEVEは、ChatGPTとトレーニングされた伝統的なアプローチの両方より優れています。 バイオSIEVEは, バイオメディカル・システマティック・レビューのプロセスにおいて, LLMを専門化するための重要なステップであると考えている。
  論文  参考訳（メタデータ） (2023-08-12T16:56:55Z)
• LLaVA-Med: Training a Large Language-and-Vision Assistant for Biomedicine in One Day [85.19963303642427]
  本稿では,バイオメディカルイメージのオープンな研究課題に答えられる視覚言語対話アシスタントを訓練するための費用効率のよいアプローチを提案する。 モデルはまず、フィギュア・キャプションのペアを使ってバイオメディカル・ボキャブラリをアライメントし、その後、オープンエンドの会話意味論を習得する。 これにより、バイオメディジンのための大規模言語と視覚アシスタントを15時間以内で(8つのA100で)訓練することができる。
  論文  参考訳（メタデータ） (2023-06-01T16:50:07Z)
• BiomedGPT: A Generalist Vision-Language Foundation Model for Diverse Biomedical Tasks [68.39821375903591]
  汎用AIは、さまざまなデータ型を解釈する汎用性のために、制限に対処する可能性を秘めている。 本稿では,最初のオープンソースかつ軽量な視覚言語基盤モデルであるBiomedGPTを提案する。
  論文  参考訳（メタデータ） (2023-05-26T17:14:43Z)
• BiomedCLIP: a multimodal biomedical foundation model pretrained from fifteen million scientific image-text pairs [48.376109878173956]
  PMC-15Mは,既存のバイオメディカル・マルチモーダル・データセットよりも2桁大きい新しいデータセットである。 PMC-15Mは440万の科学論文から収集された1500万のバイオメディカル画像テキスト対を含んでいる。 PMC-15Mに基づいて,生物医学的視覚言語処理に適したドメイン固有適応を備えた多モーダル基礎モデルであるBiomedCLIPを事前訓練した。
  論文  参考訳（メタデータ） (2023-03-02T02:20:04Z)
• BioGPT: Generative Pre-trained Transformer for Biomedical Text Generation and Mining [140.61707108174247]
  本稿では,大規模生物医学文献に基づいて事前学習したドメイン固有生成型トランスフォーマー言語モデルであるBioGPTを提案する。 BC5CDRでは44.98%、38.42%、40.76%のF1スコア、KD-DTIとDDIの関係抽出タスクでは78.2%、PubMedQAでは78.2%の精度が得られた。
  論文  参考訳（メタデータ） (2022-10-19T07:17:39Z)
• On the Effectiveness of Compact Biomedical Transformers [12.432191400869002]
  バイオメディカルコーパスで事前訓練された言語モデルは、最近下流のバイオメディカルタスクにおいて有望な結果を示した。 既存のトレーニング済みモデルの多くは、埋め込みサイズ、隠れ次元、層数などの要因により、リソース集約的で計算的に重い。 本稿では,BioDistilBERT,BioTinyBERT,BioMobileBERT,DistilBioBERT,TinyBioBERT,CompactBioBERTの6つの軽量モデルを紹介する。 3つのバイオメディカルなタスクで全てのモデルを評価し、それらをBioBERT-v1.1と比較し、より大規模なモデルと同等に動作する効率的な軽量モデルを作成する。
  論文  参考訳（メタデータ） (2022-09-07T14:24:04Z)
• BioALBERT: A Simple and Effective Pre-trained Language Model for Biomedical Named Entity Recognition [9.05154470433578]
  既存のBioNERアプローチはこれらの問題を無視し、最先端(SOTA)モデルを直接採用することが多い。 本稿では,大規模バイオメディカルコーパスを用いた効果的なドメイン固有言語モデルであるALBERTを提案する。
  論文  参考訳（メタデータ） (2020-09-19T12:58:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。