論文の概要: BeeManc at the PLABA Track of TAC-2023: Investigating LLMs and Controllable Attributes for Improving Biomedical Text Readability
- arxiv url: http://arxiv.org/abs/2408.03871v1
- Date: Wed, 7 Aug 2024 16:21:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-08 12:44:51.432444
- Title: BeeManc at the PLABA Track of TAC-2023: Investigating LLMs and Controllable Attributes for Improving Biomedical Text Readability
- Title（参考訳）: TAC-2023のPLABAトラックにおけるBeeManc: バイオメディカルテキストの可読性向上のためのLCMと制御可能な属性の調査
- Authors: Zihao Li, Samuel Belkadi, Nicolo Micheletti, Lifeng Han, Matthew Shardlow, Goran Nenadic,
- Abstract要約: バイオメディカルな抽象的単純化に関するPLABA2023タスクへの参加に使用したモデルと手法について述べる。
1)Biomedical-T5やLay-SciFiveなどのドメイン細調整T5ライクなモデル、2)BART-w-CTによる制御可能な属性を持つ細調整BARTLargeモデル、3)ChatGPTプロンプティング。
- 参考スコア（独自算出の注目度）: 16.05119302860606
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In this system report, we describe the models and methods we used for our participation in the PLABA2023 task on biomedical abstract simplification, part of the TAC 2023 tracks. The system outputs we submitted come from the following three categories: 1) domain fine-tuned T5-like models including Biomedical-T5 and Lay-SciFive; 2) fine-tuned BARTLarge model with controllable attributes (via tokens) BART-w-CTs; 3) ChatGPTprompting. We also present the work we carried out for this task on BioGPT finetuning. In the official automatic evaluation using SARI scores, BeeManc ranks 2nd among all teams and our model LaySciFive ranks 3rd among all 13 evaluated systems. In the official human evaluation, our model BART-w-CTs ranks 2nd on Sentence-Simplicity (score 92.84), 3rd on Term-Simplicity (score 82.33) among all 7 evaluated systems; It also produced a high score 91.57 on Fluency in comparison to the highest score 93.53. In the second round of submissions, our team using ChatGPT-prompting ranks the 2nd in several categories including simplified term accuracy score 92.26 and completeness score 96.58, and a very similar score on faithfulness score 95.3 to re-evaluated PLABA-base-1 (95.73) via human evaluations. Our codes, fine-tuned models, prompts, and data splits from the system development stage will be available at https://github.com/ HECTA-UoM/PLABA-MU
- Abstract（参考訳）: 本報告では,TAC 2023トラックの一部として,生物医学的抽象的単純化に関するPLABA2023タスクへの参加に使用したモデルと手法について述べる。
私たちが提出したシステム出力は以下の3つのカテゴリから成り立っている。
1)Biomedical-T5及びLay-SciFiveを含むドメイン微調整T5様モデル
2) BART-w-CTによる制御可能な属性を持つ微調整BARTLargeモデル
3) ChatGPTプロンプト。
また,この課題に対して実施したBioGPTファインタニングについて述べる。
SARIスコアを用いた公式な自動評価では、BeeMancは全チームで2位、モデルとしてLaySciFiveは13のシステムで3位でした。
公式評価では,BART-w-CTが第2位,第3位,第3位,第3位,第3位,第2位,第2位,第2位,第3位,第3位,第2位,第2位,第2位,第2位,第2位,第2位,第2位,第2位,第2位,第2位,第2位,第2位,第2位,第2位,第2位,第2位,第2位,第2位,第2位,第2位,第2位,第2位,第2位,第2位,第2位,第2位,第2位,第2位,第2位,第3位,第2位,第2位,第2位,第2位,第2位,第3位,第2位,第3位,第3位,第3位,第3位,第3位,第3位,第3位,第3位,第3位,第3位,第3位,第3位,第
第2回の提出では,ChatGPT-prompting を用いたチームは,簡易項精度スコア 92.26 と完全度スコア 96.58,忠実度スコア 95.3 と非常によく似たスコア PLABA-base-1 (95.73) の2位にランクインした。
私たちのコード、微調整されたモデル、プロンプト、システム開発段階からのデータ分割はhttps://github.com/HECTA-UoM/PLABA-MUで利用可能です。
関連論文リスト
- ThangDLU at #SMM4H 2024: Encoder-decoder models for classifying text data on social disorders in children and adolescents [49.00494558898933]
本稿では,#SMM4H (Social Media Mining for Health) 2024 Workshopのタスク3とタスク5への参加について述べる。
タスク3は、屋外環境が社会不安の症状に与える影響を議論するツイートを中心にした多クラス分類タスクである。
タスク5は、子供の医学的障害を報告しているツイートに焦点を当てたバイナリ分類タスクを含む。
BART-baseやT5-smallのような事前訓練されたエンコーダデコーダモデルからの転送学習を適用し、与えられたツイートの集合のラベルを同定した。
論文 参考訳（メタデータ） (2024-04-30T17:06:20Z) - SmurfCat at SemEval-2024 Task 6: Leveraging Synthetic Data for Hallucination Detection [51.99159169107426]
本稿では,SemEval-2024幻覚検出タスクのための新しいシステムを提案する。
我々の調査は、モデル予測と基準基準を比較するための様々な戦略にまたがっている。
強力なパフォーマンス指標を示す3つの異なる方法を紹介します。
論文 参考訳（メタデータ） (2024-04-09T09:03:44Z) - Investigating Large Language Models and Control Mechanisms to Improve Text Readability of Biomedical Abstracts [16.05119302860606]
本稿では,生物医学的抽象的単純化作業における最先端の大規模言語モデル(LLM)の能力について検討する。
適用方法はドメインファインチューニングとプロンプトベースラーニング(PBL)である。
BLEU,ROUGE,SARI,BERTscoreなど,さまざまな自動評価指標を用い,人的評価を行った。
論文 参考訳（メタデータ） (2023-09-22T22:47:32Z) - Text Classification via Large Language Models [63.1874290788797]
テキスト分類に関わる複雑な言語現象に対処するために、Clue And Reasoning Prompting (CARP)を導入する。
注目すべきは、CARPが5つの広く使用されているテキスト分類ベンチマークのうち4つで新しいSOTAパフォーマンスを得ることだ。
さらに重要なのは、CARPが低リソースとドメイン適応のセットアップで素晴らしい能力を提供します。
論文 参考訳（メタデータ） (2023-05-15T06:24:45Z) - ZooD: Exploiting Model Zoo for Out-of-Distribution Generalization [65.58562481279023]
PTMのランク付けと特徴選択によるアンサンブルのためのパラダイムであるZooDを提案する。
我々は,多様なアウト・オブ・ディストリビューション(OoD)タスクのための35のモデルからなる多様なモデル動物園において,我々のパラダイムを評価する。
論文 参考訳（メタデータ） (2022-10-17T16:31:57Z) - BCH-NLP at BioCreative VII Track 3: medications detection in tweets
using transformer networks and multi-task learning [9.176393163624002]
テキスト分類とシーケンスラベリングを併用したマルチタスク学習モデルを実装した。
私たちのベストシステムは80.4の厳格なF1を達成し、全参加者の平均スコアよりも1位と10ポイント以上高くランク付けしました。
論文 参考訳（メタデータ） (2021-11-26T19:22:51Z) - Benchmarking for Biomedical Natural Language Processing Tasks with a
Domain Specific ALBERT [9.8215089151757]
A Lite Bidirectional Representations from Transformers (ALBERT) のドメイン固有の適応であるBioALBERTを提案する。
バイオメディカルおよびPubMed Centralおよび臨床コーパスをトレーニングし、20のベンチマークデータセットで6つのタスクを微調整する。
これは、20のベンチマークデータセットのうち17の領域で、新たな最先端技術を表している。
論文 参考訳（メタデータ） (2021-07-09T11:47:13Z) - BERT based Transformers lead the way in Extraction of Health Information
from Social Media [0.0]
英語ツイートにおける有害薬物効果(ade)の分類・抽出・正規化(task-1)と症状を含むcovid-19ツイートの分類(task-6)の2つの課題に参加した。
サブタスク-1(a)は61%のF1スコアで1位にランクインしました。
サブタスク-1(b)では50%のF1スコアを獲得し、すべての提出物の平均スコアに対して最大で+8%のF1を向上しました。
BERTweetモデルはSMM4H 2021 Task-6で94%のF1スコアを達成しました。
論文 参考訳（メタデータ） (2021-04-15T10:50:21Z) - Multilabel 12-Lead Electrocardiogram Classification Using Gradient
Boosting Tree Ensemble [64.29529357862955]
我々は,心電図の診断を分類するために,形態や信号処理機能に適合した勾配強化木のアンサンブルを用いたアルゴリズムを構築した。
各リードについて、心拍変動、PQRSTテンプレート形状、全信号波形から特徴を導出する。
各クラスに属するECGインスタンスの確率を予測するため、全12項目の特徴と合わせて、勾配を増す決定ツリーの集合に適合する。
論文 参考訳（メタデータ） (2020-10-21T18:11:36Z) - aschern at SemEval-2020 Task 11: It Takes Three to Tango: RoBERTa, CRF,
and Transfer Learning [22.90521056447551]
本稿では,新聞記事中のプロパガンダ技術の検出に関するSemEval-2020 Task 11について述べる。
我々は,RoBERTaベースのニューラルネットワーク,追加のCRFレイヤ,2つのサブタスク間の伝達学習,タスクのマルチラベル特性を扱うための高度な後処理を用いたアンサンブルモデルを開発した。
論文 参考訳（メタデータ） (2020-08-06T18:45:25Z) - DeBERTa: Decoding-enhanced BERT with Disentangled Attention [119.77305080520718]
2つの新しい手法を用いてBERTモデルとRoBERTaモデルを改善する新しいモデルアーキテクチャDeBERTaを提案する。
これらの手法により,モデル事前学習の効率化と,自然言語理解(NLU)と自然言語生成(NLG)の両方の性能向上が期待できる。
論文 参考訳（メタデータ） (2020-06-05T19:54:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。