論文の概要: TOP-Training: Target-Oriented Pretraining for Medical Extractive Question Answering

• arxiv url: http://arxiv.org/abs/2310.16995v2
• Date: Thu, 12 Dec 2024 13:33:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 17:01:29.985512
• Title: TOP-Training: Target-Oriented Pretraining for Medical Extractive Question Answering
• Title（参考訳）: TOP-Training:医療用抽出質問応答のための目標指向事前学習
• Authors: Saptarshi Sengupta, Connor Heaton, Shreya Ghosh, Wenpeng Yin, Preslav Nakov, Suhang Wang,
• Abstract要約: 医学領域における抽出的質問応答に関する研究(医学EQA) この問題には、(i)ドメイン特異性と(ii)抽出に基づく回答スタイルの2つの主な課題がある。 対象指向の事前学習パラダイムであるTOP-Trainingを提案する。
• 参考スコア（独自算出の注目度）: 53.92585020805746
• License:
• Abstract: We study extractive question-answering in the medical domain (Medical-EQA). This problem has two main challenges: (i) domain specificity, as most AI models lack necessary domain knowledge, and (ii) extraction-based answering style, which restricts most autoregressive LLMs due to potential hallucinations. To handle those challenges, we propose TOP-Training, a target-oriented pre-training paradigm that stands out among all domain adaptation techniques with two desirable features: (i) TOP-Training moves one step further than popular domain-oriented fine-tuning since it not only moves closer to the target domain, but also familiarizes itself with the target dataset, and (ii) it does not assume the existence of a large set of unlabeled instances from the target domain. Specifically, for a target Medical-EQA dataset, we extract its entities and leverage large language models (LLMs) to generate synthetic texts containing those entities; we then demonstrate that pretraining on this synthetic text data yields better performance on the target Medical-EQA benchmarks. Overall, our contributions are threefold: (i) TOP-Training, a new pretraining technique to effectively adapt LLMs to better solve a target problem, (ii) TOP-Training has a wide application scope because it does not require the target problem to have a large set of unlabeled data, and (iii) our experiments highlight the limitations of autoregressive LLMs, emphasizing TOP-Training as a means to unlock the true potential of bidirectional LLMs.
• Abstract（参考訳）: 医学領域における抽出質問応答について検討した。 この問題には2つの大きな課題がある。 (i)ほとんどのAIモデルは、必要なドメイン知識を欠いているため、ドメインの特異性 (II) 幻覚による自己回帰性 LLM のほとんどを制限する抽出型解答法。 これらの課題に対処するために、ターゲット指向の事前訓練パラダイムであるTOP-Trainingを提案する。 (i)TOP-Trainingは、ターゲットドメインに近づくだけでなく、ターゲットデータセットに慣れているため、一般的なドメイン指向の微調整よりも一歩前進する。 (ii) 対象領域からラベル付けされていない大量のインスタンスの存在を前提としない。 具体的には、対象とするMedical-EQAデータセットに対して、そのエンティティを抽出し、大きな言語モデル(LLM)を利用してそれらのエンティティを含む合成テキストを生成する。 全体として、私たちの貢献は3倍です。 (i)TOP-Trainingは、LLMを効果的に適応させ、目標問題を改善するための新しい事前訓練技術である。 (ii)TOP-Trainingは、大量のラベルのないデータを持つために対象の問題を必要とせず、幅広い適用範囲を有する。 3) 本実験は,TOP-Trainingを双方向LDMの真の可能性の解き放つ手段として強調し, 自己回帰LDMの限界を強調した。

関連論文リスト

• Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。 しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。 人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:49:25Z)
• Ontology Matching with Large Language Models and Prioritized Depth-First Search [0.2454454561635539]
  優先的な深度優先探索 (PDFS) 戦略に, 検索・識別・分岐パイプラインを組み込む新しいアプローチであるMILAを導入する。 このアプローチは、高い精度で多数の意味的対応を効果的に識別し、LLM要求を最も境界的なケースに限定する。 提案手法は,5つの教師なしタスクのうち4つのタスクのうち,最も高いF-Measureを実現し,最先端OMシステムよりも最大17%向上した。
  論文  参考訳（メタデータ） (2025-01-20T12:29:09Z)
• Exploring Language Model Generalization in Low-Resource Extractive QA [57.14068405860034]
  ドメインドリフト下でのLarge Language Models (LLM) を用いた抽出質問応答(EQA)について検討する。 性能ギャップを実証的に説明するための一連の実験を考案する。
  論文  参考訳（メタデータ） (2024-09-27T05:06:43Z)
• Large Language Models Are Self-Taught Reasoners: Enhancing LLM Applications via Tailored Problem-Solving Demonstrations [4.207253227315905]
  我々は、カスタマイズされたデモを容易にする問題解決フレームワークSELF-TAUGHTを提案する。 複数選択質問の15のタスクにおいて、SELF-TAUGHTは強いベースラインよりも優れたパフォーマンスを達成する。 我々はSELF-TAUGHTの包括的解析を行い、既存のプロンプト法への一般化性について述べる。
  論文  参考訳（メタデータ） (2024-08-22T11:41:35Z)
• Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
  本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。 実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T17:59:07Z)
• Developing Healthcare Language Model Embedding Spaces [0.20971479389679337]
  事前トレーニングされた大規模言語モデル(LLM)は、医療中心のテキストのようなドメイン外のデータセットに苦労することが多い。 従来のマスキング言語モデリング、Deep Contrastive Learning for Unsupervised Textual Representations(DeCLUTR)、およびヘルスケア設定からメタデータカテゴリを利用する新しい事前学習目標の3つの手法が評価されている。 対照的に訓練されたモデルは、分類タスクにおける他のアプローチよりも優れており、限られたラベル付きデータから強力なパフォーマンスを提供し、必要なモデルパラメータの更新を少なくする。
  論文  参考訳（メタデータ） (2024-03-28T19:31:32Z)
• BLADE: Enhancing Black-box Large Language Models with Small Domain-Specific Models [56.89958793648104]
  大規模言語モデル(LLM)は多用途であり、多様なタスクに対処することができる。 従来のアプローチでは、ドメイン固有のデータによる継続的な事前トレーニングを行うか、一般的なLLMをサポートするために検索拡張を採用する。 BLADEと呼ばれる新しいフレームワークを提案する。このフレームワークは、小さなDomain-spEcificモデルでブラックボックスのLArge言語モデルを拡張する。
  論文  参考訳（メタデータ） (2024-03-27T08:57:21Z)
• AcroFOD: An Adaptive Method for Cross-domain Few-shot Object Detection [59.10314662986463]
  クロスドメインの少数ショットオブジェクト検出は、いくつかの注釈付きターゲットデータで対象ドメイン内のオブジェクト検出器を適応することを目的としている。 提案手法は,複数のベンチマーク上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-09-22T10:23:40Z)
• Incremental Learning Meets Transfer Learning: Application to Multi-site Prostate MRI Segmentation [16.50535949349874]
  インクリメンタルトランスファー学習(ITL)と呼ばれる新しいマルチサイトセグメンテーションフレームワークを提案する。 ITLは、エンドツーエンドのシーケンシャルな方法で、マルチサイトデータセットからモデルを学習する。 ITLトレーニングスキームを活用することで、漸進的な学習における破滅的な問題を軽減できることを示す。
  論文  参考訳（メタデータ） (2022-06-03T02:32:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。