論文の概要: Medical mT5: An Open-Source Multilingual Text-to-Text LLM for The Medical Domain

• arxiv url: http://arxiv.org/abs/2404.07613v1
• Date: Thu, 11 Apr 2024 10:01:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-12 14:19:15.605168
• Title: Medical mT5: An Open-Source Multilingual Text-to-Text LLM for The Medical Domain
• Title（参考訳）: Medical mT5: 医療領域のためのオープンソース多言語テキストテキストLLM
• Authors: Iker García-Ferrero, Rodrigo Agerri, Aitziber Atutxa Salazar, Elena Cabrio, Iker de la Iglesia, Alberto Lavelli, Bernardo Magnini, Benjamin Molinet, Johana Ramirez-Romero, German Rigau, Jose Maria Villa-Gonzalez, Serena Villata, Andrea Zaninello,
• Abstract要約: 我々は、医療領域における最初のオープンソーステキストからテキストへの多言語モデルであるMedical mT5を提示する。 包括的な評価では、Medical mT5はエンコーダと、スペイン語、フランス語、イタリア語のベンチマークで同等の大きさのテキスト・テキスト・モデルの両方を上回っている。
• 参考スコア（独自算出の注目度）: 19.58987478434808
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Research on language technology for the development of medical applications is currently a hot topic in Natural Language Understanding and Generation. Thus, a number of large language models (LLMs) have recently been adapted to the medical domain, so that they can be used as a tool for mediating in human-AI interaction. While these LLMs display competitive performance on automated medical texts benchmarks, they have been pre-trained and evaluated with a focus on a single language (English mostly). This is particularly true of text-to-text models, which typically require large amounts of domain-specific pre-training data, often not easily accessible for many languages. In this paper, we address these shortcomings by compiling, to the best of our knowledge, the largest multilingual corpus for the medical domain in four languages, namely English, French, Italian and Spanish. This new corpus has been used to train Medical mT5, the first open-source text-to-text multilingual model for the medical domain. Additionally, we present two new evaluation benchmarks for all four languages with the aim of facilitating multilingual research in this domain. A comprehensive evaluation shows that Medical mT5 outperforms both encoders and similarly sized text-to-text models for the Spanish, French, and Italian benchmarks, while being competitive with current state-of-the-art LLMs in English.
• Abstract（参考訳）: 医学応用開発のための言語技術の研究は、現在、自然言語理解・生成においてホットな話題となっている。 このように、最近、多くの大規模言語モデル(LLM)が医療領域に適応し、人間とAIの相互作用を仲介するためのツールとして使用できるようになった。 これらのLSMは、自動化された医療用テキストベンチマーク上での競合性能を示すが、それらは事前訓練され、単一の言語(主に英語)に焦点を当てて評価されている。 これは、通常大量のドメイン固有の事前学習データを必要とするテキスト・ツー・テキスト・モデルに特に当てはまるが、多くの言語では容易にアクセスできないことが多い。 本稿では,これらの欠点に,英語,フランス語,イタリア語,スペイン語の4言語で医療領域の最大多言語コーパスをコンパイルすることで対処する。 この新しいコーパスは、医療ドメインのための最初のオープンソーステキスト-テキスト多言語モデルであるMedical mT5のトレーニングに使用されている。 さらに,この領域における多言語研究の促進を目的とした,4言語すべてを対象とした2つの新しい評価ベンチマークを提案する。 包括的な評価では、メディカルmT5はエンコーダと、スペイン語、フランス語、イタリア語のベンチマークで同様の大きさのテキスト・テキスト・モデルの両方より優れており、現在の英語のLLMと競合している。

関連論文リスト

• WorldMedQA-V: a multilingual, multimodal medical examination dataset for multimodal language models evaluation [4.149844666297669]
  マルチモーダル/ビジョン言語モデル(VLM)は、世界中の医療分野でますます普及している。 既存のデータセットはテキストのみであり、言語や国の限られたサブセットで利用可能である。 WorldMedQA-Vには、4カ国の医療画像と組み合わせて568のラベル付き多重選択QAが含まれている。
  論文  参考訳（メタデータ） (2024-10-16T16:31:24Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間で対応する概念を関連付けることができ、効果的にクロスランガルなのでしょうか? 本研究は,言語横断的課題に関する6つの技術 LLM の評価を行った。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Towards Building Multilingual Language Model for Medicine [54.1382395897071]
  6つの主要言語を含む約25.5Bトークンを含む多言語医療コーパスを構築した。 MMedBench と呼ばれる有理性を持つ多言語医療用多言語質問応答ベンチマークを提案する。 我々の最終モデルであるMMed-Llama 3は、8Bパラメータしか持たないが、MMedBenchおよび英語ベンチマークの他のすべてのオープンソースモデルと比較して優れた性能が得られる。
  論文  参考訳（メタデータ） (2024-02-21T17:47:20Z)
• BioMistral: A Collection of Open-Source Pretrained Large Language Models for Medical Domains [8.448541067852]
  大規模言語モデル(LLM)は近年,顕著な汎用性を示している。 健康状況に合わせて様々なオープンソース LLM が利用可能であるにもかかわらず、汎用 LLM を医療分野に適用することは重大な課題である。 我々は、Mistralを基盤モデルとして、バイオメディカルドメインに適したオープンソースのLLMであるBioMistralを紹介した。
  論文  参考訳（メタデータ） (2024-02-15T23:39:04Z)
• Cross-lingual Editing in Multilingual Language Models [1.3062731746155414]
  本稿では,言語間モデル編集(textbfXME)パラダイムを紹介し,事実を一つの言語で編集し,その後の更新伝搬を他の言語で観察する。 その結果,言語が2つの異なるスクリプトファミリーに属している場合を中心に,XME設定下での最先端のMETの性能制限が顕著に示された。
  論文  参考訳（メタデータ） (2024-01-19T06:54:39Z)
• Multilingual Simplification of Medical Texts [49.469685530201716]
  4つの言語で医療領域のための文章整列型多言語テキスト単純化データセットであるMultiCochraneを紹介する。 これらの言語にまたがる微調整およびゼロショットモデルの評価を行い,人間による評価と分析を行った。 モデルは、実行可能な単純化されたテキストを生成することができるが、このデータセットが扱う可能性のある、卓越した課題を特定する。
  論文  参考訳（メタデータ） (2023-05-21T18:25:07Z)
• Romanization-based Large-scale Adaptation of Multilingual Language Models [124.57923286144515]
  大規模多言語事前学習言語モデル (mPLMs) は,NLPにおける多言語間移動のデファクトステートとなっている。 我々は、mPLMをローマン化および非ロマン化した14の低リソース言語コーパスに適用するためのデータとパラメータ効率の戦略を多数検討し、比較した。 以上の結果から, UROMAN をベースとしたトランスリテラルは,多くの言語で高い性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-04-18T09:58:34Z)
• Learning Domain-Specialised Representations for Cross-Lingual Biomedical Entity Linking [66.76141128555099]
  言語横断型バイオメディカルエンティティリンクタスク(XL-BEL)を提案する。 まず、標準単言語英語BELタスクを超えて、標準単言語および多言語LMと同様に、標準的な知識に依存しない能力について検討する。 次に、リソースに富んだ言語からリソースに乏しい言語にドメイン固有の知識を移すことの課題に対処する。
  論文  参考訳（メタデータ） (2021-05-30T00:50:00Z)
• A Multilingual Neural Machine Translation Model for Biomedical Data [84.17747489525794]
  生物医学領域におけるテキストの翻訳に使用できる多言語ニューラルマシン翻訳モデルをリリースする。 このモデルは5つの言語(フランス語、ドイツ語、イタリア語、韓国語、スペイン語)から英語に翻訳できる。 ドメインタグを使用して、大量のジェネリックおよびバイオメディカルデータをトレーニングする。
  論文  参考訳（メタデータ） (2020-08-06T21:26:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。