論文の概要: MedEIR: A Specialized Medical Embedding Model for Enhanced Information Retrieval

• arxiv url: http://arxiv.org/abs/2505.13482v1
• Date: Mon, 12 May 2025 07:09:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:52.261661
• Title: MedEIR: A Specialized Medical Embedding Model for Enhanced Information Retrieval
• Title（参考訳）: MedEIR:高度情報検索のための医療埋め込みモデル
• Authors: Anand Selvadurai, Jasheen Shaik, Girish Chandrasekar, ShriRadhaKrishnan Balamurugan, Eswara Reddy,
• Abstract要約: MedEIRは、医療および一般のNLPタスクに最適化された新しい埋め込みモデルとトークン化器である。 MTEBベンチマークでJina V2とMiniLMを上回っている。
• 参考スコア（独自算出の注目度）: 1.067969213611312
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Embedding models have become essential for retrieval-augmented generation (RAG) tasks, semantic clustering, and text re-ranking. But despite their growing use, many of these come with notable limitations. For example, Jina fails to capture the semantic content of medical documents, while models such as MiniLM often perform poorly on long-form documents. Domain-adapted models, while specialized, often underperform in general-purpose tasks, reducing their overall applicability. General-domain tokenizers often misinterpret medical vocabulary. The limitations of current embedding models, whether in tokenization accuracy, domain comprehension, or handling long sequences, highlight the need for more versatile solutions. In this work, we present MedEIR, a novel embedding model and tokenizer jointly optimized for both medical and general NLP tasks, incorporating ALiBi-based long-context processing to support sequences of up to 8,192 tokens. MedEIR was pre-trained on only 6 billion tokens, significantly fewer than Jina's, followed by fine-tuning on 3 million sentence pairs. MedEIR consistently outperforms Jina V2 and MiniLM across MTEB benchmarks, achieving top scores on ArguAna (55.24), NFCorpus (38.44), MedicalQARetrieval (74.25), SciFact (72.04), and TRECCOVID (79.56). These results highlight the potential of MedEIR as a highly effective embedding model, demonstrating strong performance across both general-purpose and domain-specific tasks and outperforming existing models on multiple benchmarks.
• Abstract（参考訳）: 埋め込みモデルは、検索強化生成(RAG)タスク、セマンティッククラスタリング、テキストの再ランク付けに欠かせないものとなっている。 しかし、利用が増えているにもかかわらず、それらの多くは注目すべき制限が伴っている。 例えば、Jinaは医療文書のセマンティックな内容の取得に失敗し、MiniLMのようなモデルは長文の文書ではよく機能しない。 ドメイン適応モデルは特殊化されているが、汎用タスクでは性能が劣り、全体的な適用性が低下する。 一般ドメイントークンーは医療用語を誤って解釈することが多い。 現在の埋め込みモデルの制限は、トークン化の正確性、ドメインの理解、長いシーケンスの処理などにおいて、より汎用的なソリューションの必要性を強調している。 本研究では,医療用および一般用NLPタスクに最適化された新しい埋め込みモデルとトークンライザであるMedEIRについて,最大8,192個のトークンのシーケンスをサポートするためにALiBiベースの長コンテキスト処理を取り入れた。 MedEIRは、わずか60億のトークンで事前訓練され、ジナのものよりも大幅に少なく、300万の文対を微調整した。 MedEIRはMTEBベンチマークでJanna V2とMiniLMを一貫して上回り、ArguAna (55.24)、NFCorpus (38.44)、MedicQARetrieval (74.25)、SciFact (72.04)、TRECCOVID (79.56)でトップスコアを獲得した。 これらの結果は、汎用タスクとドメイン固有タスクの両方で強力なパフォーマンスを示し、既存のモデルを複数のベンチマークで上回る、非常に効果的な埋め込みモデルとしてのMedEIRの可能性を強調している。

関連論文リスト

• Benchmarking Open-Source Large Language Models on Healthcare Text Classification Tasks [2.7729041396205014]
  本研究では,オープンソースの5つの大言語モデル(LLM)の分類性能を評価する。 全てのモデルとタスクの組み合わせに対して、95%の信頼区間を有する精度、リコール、F1スコアを報告する。
  論文  参考訳（メタデータ） (2025-03-19T12:51:52Z)
• SemiHVision: Enhancing Medical Multimodal Models with a Semi-Human Annotated Dataset and Fine-Tuned Instruction Generation [13.672776832197918]
  MLLM(Multimodal large language model)は大きな進歩を遂げているが、専門知識が限られているため、医療分野の課題に直面している。 データ収集やモデル微調整,評価など,エンドツーエンドの学習パイプラインのさまざまな段階において,このギャップに対処することを目指している。
  論文  参考訳（メタデータ） (2024-10-19T02:35:35Z)
• Repurposing Foundation Model for Generalizable Medical Time Series Classification [16.21546283978257]
  FORMEDは、バックボーン基盤モデルを再利用して、目に見えないデータセット上で高度に一般化可能なMedTS分類を可能にするフレームワークである。 我々は,5種類のMedTSデータセットを用いて,11のタスク特化モデル (TSM) と4のタスク特化適応 (TSA) 手法のベンチマークを行った。 以上の結果から,F1スコア(ADFTDデータセット上で)を最大35%向上させることができた。
  論文  参考訳（メタデータ） (2024-10-03T23:50:04Z)
• Biomedical Large Languages Models Seem not to be Superior to Generalist Models on Unseen Medical Data [3.469567586411153]
  大規模言語モデル (LLM) は、生物医学的応用の可能性を示しており、それらをドメイン固有のデータに微調整する努力に繋がった。 本研究は, バイオメディカル微調整LDMの多種多様な臨床課題における汎用性に対する性能評価を行った。
  論文  参考訳（メタデータ） (2024-08-25T13:36:22Z)
• Capabilities of Gemini Models in Medicine [100.60391771032887]
  医療専門のマルチモーダルモデルであるMed-Geminiを紹介する。 メドジェニーニを14の医療ベンチマークで評価し,その内10に新たな最先端(SoTA)性能を確立した。 我々の結果は、Med-Geminiの可能性を示唆する証拠を提供するが、より厳密な評価は実世界の展開に先立って重要である。
  論文  参考訳（メタデータ） (2024-04-29T04:11:28Z)
• Small Language Models Learn Enhanced Reasoning Skills from Medical Textbooks [17.40940406100025]
  私たちは、70億から700億のパラメータからなる、医療AIシステムの新しいファミリーであるMeerkatを紹介します。 我々のシステムは6つの医療ベンチマークで顕著な精度を達成した。 Meerkat-70Bは38例中21例を正しく診断し、ヒトの13.8例を上回った。
  論文  参考訳（メタデータ） (2024-03-30T14:09:00Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• SANSformers: Self-Supervised Forecasting in Electronic Health Records with Attention-Free Models [48.07469930813923]
  本研究は,医療施設への患者訪問数を予測することにより,医療サービスの需要を予測することを目的とする。 SNSformerは、特定の帰納バイアスを設計し、EHRデータの特異な特徴を考慮に入れた、注意のない逐次モデルである。 本研究は, 各種患者集団を対象とした医療利用予測の修正における, 注意力のないモデルと自己指導型事前訓練の有望な可能性について考察した。
  論文  参考訳（メタデータ） (2021-08-31T08:23:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。