論文の概要: BeeManc at the PLABA Track of TAC-2024: RoBERTa for task 1 and LLaMA3.1 and GPT-4o for task 2
- arxiv url: http://arxiv.org/abs/2411.07381v1
- Date: Mon, 11 Nov 2024 21:32:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-13 13:17:22.131263
- Title: BeeManc at the PLABA Track of TAC-2024: RoBERTa for task 1 and LLaMA3.1 and GPT-4o for task 2
- Title（参考訳）: PLABA track of TAC-2024:RoBERTa for Task 1, LLaMA3.1, GPT-4o for Task 2
- Authors: Zhidong Ling, Zihao Li, Pablo Romeo, Lifeng Han, Goran Nenadic,
- Abstract要約: 本報告はPLABA 2024の2つのサブタスクに対応する2つのセクションを含む。
課題1では,微調整されたReBERTa-Baseモデルを用いて,バイオメディカル抽象化における難解な用語,用語,頭字語を識別・分類し,F1スコアを報告した。
第2タスクでは,Llamma3.1-70B-Instruct と GPT-4o を用いて抽象的な適応を完了し,BLEU,SARI,BERTScore,LENS,SALSAでスコアを報告した。
- 参考スコア（独自算出の注目度）: 11.380751114611368
- License:
- Abstract: This report is the system description of the BeeManc team for shared task Plain Language Adaptation of Biomedical Abstracts (PLABA) 2024. This report contains two sections corresponding to the two sub-tasks in PLABA 2024. In task one, we applied fine-tuned ReBERTa-Base models to identify and classify the difficult terms, jargon and acronyms in the biomedical abstracts and reported the F1 score. Due to time constraints, we didn't finish the replacement task. In task two, we leveraged Llamma3.1-70B-Instruct and GPT-4o with the one-shot prompts to complete the abstract adaptation and reported the scores in BLEU, SARI, BERTScore, LENS, and SALSA. From the official Evaluation from PLABA-2024 on Task 1A and 1B, our \textbf{much smaller fine-tuned RoBERTa-Base} model ranked 3rd and 2nd respectively on the two sub-task, and the \textbf{1st on averaged F1 scores across the two tasks} from 9 evaluated systems. Our share our fine-tuned models and related resources at \url{https://github.com/HECTA-UoM/PLABA2024}
- Abstract（参考訳）: 本報告では,2024年度のバイオメディカル・抽象化(PLABA)における共通作業言語適応のためのBeeMancチームのシステム記述について述べる。
本報告はPLABA 2024の2つのサブタスクに対応する2つのセクションを含む。
課題1では,微調整されたReBERTa-Baseモデルを用いて,バイオメディカル抽象化における難解な用語,用語,頭字語を識別・分類し,F1スコアを報告した。
時間的制約のため、置き換え作業は完了しなかった。
第2タスクでは,Llamma3.1-70B-Instruct と GPT-4o を用いて抽象的な適応を完了し,BLEU,SARI,BERTScore,LENS,SALSAでスコアを報告した。
タスク1Aとタスク1BにおけるPLABA-2024のオフィシャル評価から,2つのサブタスクでそれぞれ3位,第2位のRoBERTa-Baseモデルと,評価システムで評価された2つのタスクの平均F1得点のtextbf{1位にランク付けした。
我々の微調整されたモデルと関連するリソースは \url{https://github.com/HECTA-UoM/PLABA2024} で共有しています。
関連論文リスト
- BeeManc at the PLABA Track of TAC-2023: Investigating LLMs and Controllable Attributes for Improving Biomedical Text Readability [16.05119302860606]
バイオメディカルな抽象的単純化に関するPLABA2023タスクへの参加に使用したモデルと手法について述べる。
1)Biomedical-T5やLay-SciFiveなどのドメイン細調整T5ライクなモデル、2)BART-w-CTによる制御可能な属性を持つ細調整BARTLargeモデル、3)ChatGPTプロンプティング。
論文 参考訳（メタデータ） (2024-08-07T16:21:41Z) - Branch-Solve-Merge Improves Large Language Model Evaluation and Generation [136.7876524839751]
大規模言語モデル(LLM)は多面的言語生成や評価タスクに頻繁に使用される。
本稿では,これらの課題に対処するための大規模言語モデルプログラムであるブランチ・マージ(BSM)を提案する。
BSMは、人間とLLMの合意を最大26%向上させることにより、各LLMの評価正当性と整合性を向上させる。
論文 参考訳（メタデータ） (2023-10-23T17:29:48Z) - Overview of the BioLaySumm 2023 Shared Task on Lay Summarization of
Biomedical Research Articles [47.04555835353173]
本稿では,ACL 2023のBioNLPワークショップで開催されているバイオメディカルリサーチ記事のレイ要約(BioLaySumm)における共有タスクの結果について述べる。
この共有タスクの目的は、"遅延要約"を生成することができる抽象的な要約モデルを開発することである。
総合的な結果に加えて,BioLaySumm共有タスクのセットアップと洞察についても報告した。
論文 参考訳（メタデータ） (2023-09-29T15:43:42Z) - GersteinLab at MEDIQA-Chat 2023: Clinical Note Summarization from
Doctor-Patient Conversations through Fine-tuning and In-context Learning [4.2570830892708225]
本稿では,サブタスクAとサブタスクBの両方を含む,MEDIQA-2023 Dialogue2Note共有タスクへのコントリビューションについて述べる。
本稿では,対話要約問題としてタスクにアプローチし,a)事前学習した対話要約モデルとGPT-3の微調整,およびb)大規模言語モデルであるGPT-4を用いた少数ショットインコンテキスト学習(ICL)の2つのパイプラインを実装した。
どちらの方法もROUGE-1 F1、BERTScore F1(deberta-xlarge-mnli)、BLEURTで優れた結果が得られる。
論文 参考訳（メタデータ） (2023-05-08T19:16:26Z) - Findings of the WMT 2022 Shared Task on Translation Suggestion [63.457874930232926]
We report the results of the first edition of the WMT shared task on Translation Suggestion。
このタスクは、機械翻訳(MT)によって生成された文書全体に対して、特定の単語やフレーズの代替手段を提供することを目的としている。
2つのサブタスク、すなわち単純翻訳提案と暗示付き翻訳提案で構成されている。
論文 参考訳（メタデータ） (2022-11-30T03:48:36Z) - Challenging BIG-Bench Tasks and Whether Chain-of-Thought Can Solve Them [108.54545521369688]
我々は,BIG-Bench Hard (BBH) と呼ばれる,BIG-Benchタスクに挑戦する23のスイートに焦点を当てる。
BBHタスクへのチェーン・オブ・シント(CoT)の適用により、PaLMは23タスクのうち10タスクにおいて平均的な人間レータ性能を上回り、Codexは23タスクのうち17タスクにおいて平均的な人間レータ性能を上回ります。
論文 参考訳（メタデータ） (2022-10-17T17:08:26Z) - Tencent AI Lab - Shanghai Jiao Tong University Low-Resource Translation
System for the WMT22 Translation Task [49.916963624249355]
本稿では, Tencent AI Lab - Shanghai Jiao Tong University (TAL-SJTU) Low-Resource Translation system for the WMT22 shared taskについて述べる。
我々は、英語$Leftrightarrow$Livonianの一般的な翻訳作業に参加する。
本システムは,M2M100を対象言語に適応させる新しい手法を用いて構築した。
論文 参考訳（メタデータ） (2022-10-17T04:34:09Z) - BERT based Transformers lead the way in Extraction of Health Information
from Social Media [0.0]
英語ツイートにおける有害薬物効果(ade)の分類・抽出・正規化(task-1)と症状を含むcovid-19ツイートの分類(task-6)の2つの課題に参加した。
サブタスク-1(a)は61%のF1スコアで1位にランクインしました。
サブタスク-1(b)では50%のF1スコアを獲得し、すべての提出物の平均スコアに対して最大で+8%のF1を向上しました。
BERTweetモデルはSMM4H 2021 Task-6で94%のF1スコアを達成しました。
論文 参考訳（メタデータ） (2021-04-15T10:50:21Z) - ReCAM@IITK at SemEval-2021 Task 4: BERT and ALBERT based Ensemble for
Abstract Word Prediction [2.482368922343792]
トレーニング済みのマスク付き言語モデルであるBERTとALBERTを微調整した。
複数のアプローチを試したところ、Masked Language Modeling(MLM)ベースのアプローチが最もうまくいくことがわかった。
論文 参考訳（メタデータ） (2021-04-04T08:22:19Z) - Dimsum @LaySumm 20: BART-based Approach for Scientific Document
Summarization [50.939885303186195]
BARTモデルに基づくレイサマリー生成システムを構築した。
文ラベルを余分な監視信号として活用し、レイ・サマリゼーションの性能を向上させる。
論文 参考訳（メタデータ） (2020-10-19T06:36:11Z) - aschern at SemEval-2020 Task 11: It Takes Three to Tango: RoBERTa, CRF,
and Transfer Learning [22.90521056447551]
本稿では,新聞記事中のプロパガンダ技術の検出に関するSemEval-2020 Task 11について述べる。
我々は,RoBERTaベースのニューラルネットワーク,追加のCRFレイヤ,2つのサブタスク間の伝達学習,タスクのマルチラベル特性を扱うための高度な後処理を用いたアンサンブルモデルを開発した。
論文 参考訳（メタデータ） (2020-08-06T18:45:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。