論文の概要: An evaluation of DeepSeek Models in Biomedical Natural Language Processing

• arxiv url: http://arxiv.org/abs/2503.00624v1
• Date: Sat, 01 Mar 2025 21:26:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:25:20.329906
• Title: An evaluation of DeepSeek Models in Biomedical Natural Language Processing
• Title（参考訳）: バイオメディカル自然言語処理におけるDeepSeekモデルの評価
• Authors: Zaifu Zhan, Shuang Zhou, Huixue Zhou, Jiawen Deng, Yu Hou, Jeremy Yeung, Rui Zhang,
• Abstract要約: DeepSeekシリーズのモデルは、一般的なNLPタスクにおいて有望な可能性を示しているが、バイオメディカル領域におけるそれらの能力はいまだ探索されていない。 本研究は,12個のデータセットを用いて,4つの重要なNLPタスクにわたるDeepSeekモデルを評価した。 以上の結果から,DeepSeekモデルは名前付きエンティティ認識やテキスト分類において競合的に機能するが,高精度リコールトレードオフによるイベント抽出や関係抽出では課題が持続することが明らかとなった。
• 参考スコア（独自算出の注目度）: 12.810391124270948
• License:
• Abstract: The advancement of Large Language Models (LLMs) has significantly impacted biomedical Natural Language Processing (NLP), enhancing tasks such as named entity recognition, relation extraction, event extraction, and text classification. In this context, the DeepSeek series of models have shown promising potential in general NLP tasks, yet their capabilities in the biomedical domain remain underexplored. This study evaluates multiple DeepSeek models (Distilled-DeepSeek-R1 series and Deepseek-LLMs) across four key biomedical NLP tasks using 12 datasets, benchmarking them against state-of-the-art alternatives (Llama3-8B, Qwen2.5-7B, Mistral-7B, Phi-4-14B, Gemma-2-9B). Our results reveal that while DeepSeek models perform competitively in named entity recognition and text classification, challenges persist in event and relation extraction due to precision-recall trade-offs. We provide task-specific model recommendations and highlight future research directions. This evaluation underscores the strengths and limitations of DeepSeek models in biomedical NLP, guiding their future deployment and optimization.
• Abstract（参考訳）: 大規模言語モデル(LLM)の進歩は生物医学的自然言語処理(NLP)に大きな影響を与え、名前付きエンティティ認識、関係抽出、イベント抽出、テキスト分類などのタスクが強化された。 この文脈では、DeepSeekシリーズのモデルは一般的なNLPタスクにおいて有望な可能性を示しているが、バイオメディカル領域におけるそれらの能力はいまだ探索されていない。 本研究では、12のデータセットを用いて4つの主要なバイオメディカルNLPタスク(Distilled-DeepSeek-R1シリーズとDeepseek-LLMs)を複数のDeepSeekモデル(Llama3-8B、Qwen2.5-7B、Mistral-7B、Phi-4-14B、Gemma-2-9B)と比較した。 以上の結果から,DeepSeekモデルは名前付きエンティティ認識やテキスト分類において競合的に機能するが,高精度リコールトレードオフによるイベント抽出や関係抽出では課題が持続することが明らかとなった。 タスク固有のモデルレコメンデーションを提供し、今後の研究の方向性を強調します。 この評価は、バイオメディカルNLPにおけるDeepSeekモデルの長所と短所を強調し、将来の展開と最適化を導く。

関連論文リスト

• Knowledge Hierarchy Guided Biological-Medical Dataset Distillation for Domain LLM Training [10.701353329227722]
  学術文献から高品質なテキストトレーニングデータの蒸留を自動化する枠組みを提案する。 われわれのアプローチは、バイオメディカル領域とより密接に一致した質問を自己評価し、生成する。 本手法は,生命科学領域の事前学習モデルと比較して,質問応答タスクを大幅に改善する。
  論文  参考訳（メタデータ） (2025-01-25T07:20:44Z)
• Potential of Multimodal Large Language Models for Data Mining of Medical Images and Free-text Reports [51.45762396192655]
  特にGemini-Vision-Series (Gemini) と GPT-4-Series (GPT-4) は、コンピュータビジョンのための人工知能のパラダイムシフトを象徴している。 本研究は,14の医用画像データセットを対象に,Gemini,GPT-4,および4つの一般的な大規模モデルの性能評価を行った。
  論文  参考訳（メタデータ） (2024-07-08T09:08:42Z)
• BiomedRAG: A Retrieval Augmented Large Language Model for Biomedicine [19.861178160437827]
  大規模言語モデル(LLM)は、バイオメディカルおよび医療分野における様々な応用のための重要なリソースとして急速に現れてきた。 textscBiomedRAGは5つのバイオメディカルNLPタスクで優れたパフォーマンスを実現している。 textscBiomedRAG は、GIT と ChemProt コーパスにおいて、マイクロF1スコアが 81.42 と 88.83 の他のトリプル抽出システムより優れている。
  論文  参考訳（メタデータ） (2024-05-01T12:01:39Z)
• BMRetriever: Tuning Large Language Models as Better Biomedical Text Retrievers [48.21255861863282]
  BMRetrieverは、バイオメディカル検索を強化するための一連の密集したレトリバーである。 BMRetrieverは強力なパラメータ効率を示し、410Mの派生型はベースラインを最大11.7倍まで上回っている。
  論文  参考訳（メタデータ） (2024-04-29T05:40:08Z)
• An Evaluation of Large Language Models in Bioinformatics Research [52.100233156012756]
  本研究では,大規模言語モデル(LLM)の性能について,バイオインフォマティクスの幅広い課題について検討する。 これらのタスクには、潜在的なコーディング領域の同定、遺伝子とタンパク質の命名されたエンティティの抽出、抗微生物および抗がんペプチドの検出、分子最適化、教育生物情報学問題の解決が含まれる。 以上の結果から, GPT 変種のような LLM がこれらのタスクの多くをうまく処理できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-21T11:27:31Z)
• EMBRE: Entity-aware Masking for Biomedical Relation Extraction [12.821610050561256]
  本稿では,関係抽出のためのEMBRE (Entity-Aware Masking for Biomedical Relation extract) 法を提案する。 具体的には、バックボーンモデルとエンティティマスキングの目的を事前学習することにより、エンティティ知識をディープニューラルネットワークに統合する。
  論文  参考訳（メタデータ） (2024-01-15T18:12:01Z)
• BiomedGPT: A Generalist Vision-Language Foundation Model for Diverse Biomedical Tasks [68.39821375903591]
  汎用AIは、さまざまなデータ型を解釈する汎用性のために、制限に対処する可能性を秘めている。 本稿では,最初のオープンソースかつ軽量な視覚言語基盤モデルであるBiomedGPTを提案する。
  論文  参考訳（メタデータ） (2023-05-26T17:14:43Z)
• A systematic evaluation of large language models for biomedical natural language processing: benchmarks, baselines, and recommendations [22.668383945059762]
  そこで本研究では,12個のBioNLPデータセットにまたがる4つの代表言語モデル(LLM)を体系的に評価する。 評価は、ゼロショット、静的少数ショット、動的Kアネレスト、微調整の4つの設定で行われる。 これらのモデルと最先端(SOTA)アプローチを比較し、細い(ドメイン固有の)BERTモデルやBARTモデルと比較する。
  論文  参考訳（メタデータ） (2023-05-10T13:40:06Z)
• Sectioning of Biomedical Abstracts: A Sequence of Sequence Classification Task [0.0]
  本研究では,SSN-4モデルと呼ぶ最先端のディープラーニングモデルについて検討する。 我々は、このモデルがRandomized Controlled Trials(RCT)データセット以外の新しいデータセットにどのように一般化するかを検討する。 その結果, SSN-4 モデルでは RCT データセットをはるかに超えた一般化は得られなかった。
  論文  参考訳（メタデータ） (2022-01-18T16:41:13Z)
• Fine-Tuning Large Neural Language Models for Biomedical Natural Language Processing [55.52858954615655]
  バイオメディカルNLPの微調整安定性に関する系統的研究を行った。 我々は、特に低リソース領域において、微調整性能は事前トレーニング設定に敏感であることを示した。 これらの技術は低リソースバイオメディカルNLPアプリケーションの微調整性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:20:35Z)
• Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
  バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。 実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
  論文  参考訳（メタデータ） (2020-07-31T00:04:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。