論文の概要: Prompt Combines Paraphrase: Teaching Pre-trained Models to Understand Rare Biomedical Words

• arxiv url: http://arxiv.org/abs/2209.06453v1
• Date: Wed, 14 Sep 2022 07:03:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-15 13:14:41.632844
• Title: Prompt Combines Paraphrase: Teaching Pre-trained Models to Understand Rare Biomedical Words
• Title（参考訳）: Prompt Combines Paraphrase: バイオメディカルな言葉を理解するための事前学習モデル
• Authors: Haochun Wang, Chi Liu, Nuwa Xi, Sendong Zhao, Meizhi Ju, Shiwei Zhang, Ziheng Zhang, Yefeng Zheng, Bing Qin and Ting Liu
• Abstract要約: 提案手法は, モデルがレアなバイオメディカルな単語を学習し, プロンプトで学習する上で, シンプルかつ効果的なアプローチである。 実験の結果,生物医学的自然言語推論タスクでは最大6%の改善が達成できた。
• 参考スコア（独自算出の注目度）: 42.002637318274886
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompt-based fine-tuning for pre-trained models has proven effective for many natural language processing tasks under few-shot settings in general domain. However, tuning with prompt in biomedical domain has not been investigated thoroughly. Biomedical words are often rare in general domain, but quite ubiquitous in biomedical contexts, which dramatically deteriorates the performance of pre-trained models on downstream biomedical applications even after fine-tuning, especially in low-resource scenarios. We propose a simple yet effective approach to helping models learn rare biomedical words during tuning with prompt. Experimental results show that our method can achieve up to 6% improvement in biomedical natural language inference task without any extra parameters or training steps using few-shot vanilla prompt settings.
• Abstract（参考訳）: 事前訓練されたモデルに対するプロンプトに基づく微調整は、汎用ドメインにおける数ショット設定の下で多くの自然言語処理タスクに有効であることが証明されている。 しかし, バイオメディカル領域におけるプロンプトによるチューニングは十分に検討されていない。 バイオメディカルワードは一般的なドメインではまれであるが、バイオメディカルコンテキストにおいて非常にユビキタスであり、特に低リソースシナリオにおいて、微調整後にも下流のバイオメディカルアプリケーションで事前訓練されたモデルの性能が劇的に低下する。 提案手法は, モデルがレアなバイオメディカルな単語を学習し, プロンプトで学習するのを支援する。 実験の結果,バニラプロンプト設定による追加パラメータやトレーニング手順を使わずに,生物医学的自然言語推論タスクを最大6%改善できることがわかった。

関連論文リスト

• How Important is Domain Specificity in Language Models and Instruction Finetuning for Biomedical Relation Extraction? [1.7555695340815782]
  一般ドメインモデルは典型的にはバイオメディカルドメインモデルよりも優れていた。 バイオメディカル・インストラクション・ファインタニングは、パフォーマンスを一般的なインストラクション・ファインタニングと同等に改善した。 本研究は,一般のLMの大規模バイオメディカル・インスツルメンテーションに焦点を合わせることで,より有益である可能性が示唆された。
  論文  参考訳（メタデータ） (2024-02-21T01:57:58Z)
• Biomedical Language Models are Robust to Sub-optimal Tokenization [30.175714262031253]
  現代のバイオメディカル言語モデル(LM)は、標準的なドメイン固有のトークン化器を用いて事前訓練されている。 より正確なバイオメディカルトークン化器を用いたバイオメディカルLMの事前トレーニングでは,言語モデルの実体表現品質が向上しないことがわかった。
  論文  参考訳（メタデータ） (2023-06-30T13:35:24Z)
• LLaVA-Med: Training a Large Language-and-Vision Assistant for Biomedicine in One Day [85.19963303642427]
  本稿では,バイオメディカルイメージのオープンな研究課題に答えられる視覚言語対話アシスタントを訓練するための費用効率のよいアプローチを提案する。 モデルはまず、フィギュア・キャプションのペアを使ってバイオメディカル・ボキャブラリをアライメントし、その後、オープンエンドの会話意味論を習得する。 これにより、バイオメディジンのための大規模言語と視覚アシスタントを15時間以内で(8つのA100で)訓練することができる。
  論文  参考訳（メタデータ） (2023-06-01T16:50:07Z)
• BiomedGPT: A Generalist Vision-Language Foundation Model for Diverse Biomedical Tasks [68.39821375903591]
  汎用AIは、さまざまなデータ型を解釈する汎用性のために、制限に対処する可能性を秘めている。 本稿では,最初のオープンソースかつ軽量な視覚言語基盤モデルであるBiomedGPTを提案する。
  論文  参考訳（メタデータ） (2023-05-26T17:14:43Z)
• BioGPT: Generative Pre-trained Transformer for Biomedical Text Generation and Mining [140.61707108174247]
  本稿では,大規模生物医学文献に基づいて事前学習したドメイン固有生成型トランスフォーマー言語モデルであるBioGPTを提案する。 BC5CDRでは44.98%、38.42%、40.76%のF1スコア、KD-DTIとDDIの関係抽出タスクでは78.2%、PubMedQAでは78.2%の精度が得られた。
  論文  参考訳（メタデータ） (2022-10-19T07:17:39Z)
• Fine-Tuning Large Neural Language Models for Biomedical Natural Language Processing [55.52858954615655]
  バイオメディカルNLPの微調整安定性に関する系統的研究を行った。 我々は、特に低リソース領域において、微調整性能は事前トレーニング設定に敏感であることを示した。 これらの技術は低リソースバイオメディカルNLPアプリケーションの微調整性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:20:35Z)
• GPT-3 Models are Poor Few-Shot Learners in the Biomedical Domain [5.479164650793012]
  本稿では,GPT-3とBioBERTの2つの強力なトランスフォーマー言語モデルの性能について,生物医学的NLPタスクにおける数ショット設定で検討する。 GPT-3は、オープンドメインのNLPタスクにおける数発の知識伝達において、最先端の成果をすでに達成していたが、BioBERTほど効果的に実行できなかった。
  論文  参考訳（メタデータ） (2021-09-06T15:50:37Z)
• Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
  バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。 実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
  論文  参考訳（メタデータ） (2020-07-31T00:04:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。