Fugu-MT 論文翻訳(概要): MaLei at the PLABA Track of TREC 2024: RoBERTa for Term Replacement -- LLaMA3.1 and GPT-4o for Complete Abstract Adaptation

論文の概要: MaLei at the PLABA Track of TREC 2024: RoBERTa for Term Replacement -- LLaMA3.1 and GPT-4o for Complete Abstract Adaptation

arxiv url: http://arxiv.org/abs/2411.07381v4
Date: Mon, 17 Feb 2025 18:54:59 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-18 14:05:13.803099
Title: MaLei at the PLABA Track of TREC 2024: RoBERTa for Term Replacement -- LLaMA3.1 and GPT-4o for Complete Abstract Adaptation
Title（参考訳）: MaLei at the PLABA Track of TREC 2024: RoBERTa for Term Replacement -- LLaMA3.1 and GPT-4o for Complete Abstract Adaptation
Authors: Zhidong Ling, Zihao Li, Pablo Romero, Lifeng Han, Goran Nenadic,
Abstract要約: 本報告は,バイオメディカル・コンストラクト(PLABA)2024の共有タスクであるPlain Language Adaptation of Biomedical Abstracts(PLABA)に関するMaLeiチームのシステム記述である。課題1(長期的置換)では, バイオメディカル抽象化における難解な用語, ジャーゴン, 頭字語を識別・分類するために, 微調整されたReBERTa-Baseモデルを適用した。第2タスク(完全な抽象的適応)では、Llamma3.1-70B-InstructとGPT-4oをワンショットプロンプトで処理し、BLEU, SARI, BERTScore, LENS, SALSAでスコアを報告した。
参考スコア（独自算出の注目度）: 11.380751114611368
License:
Abstract: This report is the system description of the MaLei team (Manchester and Leiden) for the shared task Plain Language Adaptation of Biomedical Abstracts (PLABA) 2024 (we had an earlier name BeeManc following last year), affiliated with TREC2024 (33rd Text REtrieval Conference https://ir.nist.gov/evalbase/conf/trec-2024). This report contains two sections corresponding to the two sub-tasks in PLABA-2024. In task one (term replacement), we applied fine-tuned ReBERTa-Base models to identify and classify the difficult terms, jargon, and acronyms in the biomedical abstracts and reported the F1 score (Task 1A and 1B). In task two (complete abstract adaptation), we leveraged Llamma3.1-70B-Instruct and GPT-4o with the one-shot prompts to complete the abstract adaptation and reported the scores in BLEU, SARI, BERTScore, LENS, and SALSA. From the official Evaluation from PLABA-2024 on Task 1A and 1B, our much smaller fine-tuned RoBERTa-Base model ranked 3rd and 2nd respectively on the two sub-tasks, and the 1st on averaged F1 scores across the two tasks from 9 evaluated systems. Our LLaMA-3.1-70B-instructed model achieved the highest Completeness score for Task 2. We share our source codes, fine-tuned models, and related resources at https://github.com/HECTA-UoM/PLABA2024
Abstract（参考訳）: 本報告では,TREC2024 (33rd Text Retrieval Conference https://ir.nist.gov/evalbase/conf/trec-2024) に加盟する,Plain Language Adaptation of Biomedical Abstracts (PLABA) 2024(昨年,BeeMancという名前を付けた)の共有タスクに対する MaLei チーム (Manchester と Leiden) のシステム記述について述べる。本報告はPLABA-2024の2つのサブタスクに対応する2つのセクションを含む。課題1(長期的置換)では,難解な用語,用語,頭字語を識別・分類するために細調整されたReBERTa-Baseモデルを適用し,F1スコア(Task 1A,1B)を報告した。第2タスク(完全な抽象的適応)では、Llamma3.1-70B-InstructとGPT-4oをワンショットプロンプトで処理し、BLEU, SARI, BERTScore, LENS, SALSAでスコアを報告した。第1Aタスクと第1BタスクのPLABA-2024のオフィシャル評価から,2つのサブタスクでそれぞれ3位,第2位のRoBERTaベースモデル,第1のF1スコアを9つの評価システムから評価した。 LLaMA-3.1-70B命令モデルでは,タスク2の完全性スコアが最も高かった。私たちはソースコード、微調整されたモデル、関連するリソースをhttps://github.com/HECTA-UoM/PLABA2024で共有しています。

関連論文リスト

BeeManc at the PLABA Track of TAC-2023: Investigating LLMs and Controllable Attributes for Improving Biomedical Text Readability [16.05119302860606]
バイオメディカルな抽象的単純化に関するPLABA2023タスクへの参加に使用したモデルと手法について述べる。 1)Biomedical-T5やLay-SciFiveなどのドメイン細調整T5ライクなモデル、2)BART-w-CTによる制御可能な属性を持つ細調整BARTLargeモデル、3)ChatGPTプロンプティング。
論文参考訳（メタデータ） (2024-08-07T16:21:41Z)
Branch-Solve-Merge Improves Large Language Model Evaluation and Generation [136.7876524839751]
大規模言語モデル(LLM)は多面的言語生成や評価タスクに頻繁に使用される。本稿では,これらの課題に対処するための大規模言語モデルプログラムであるブランチ・マージ(BSM)を提案する。 BSMは、人間とLLMの合意を最大26%向上させることにより、各LLMの評価正当性と整合性を向上させる。
論文参考訳（メタデータ） (2023-10-23T17:29:48Z)
Overview of the BioLaySumm 2023 Shared Task on Lay Summarization of Biomedical Research Articles [47.04555835353173]
本稿では,ACL 2023のBioNLPワークショップで開催されているバイオメディカルリサーチ記事のレイ要約(BioLaySumm)における共有タスクの結果について述べる。この共有タスクの目的は、"遅延要約"を生成することができる抽象的な要約モデルを開発することである。総合的な結果に加えて,BioLaySumm共有タスクのセットアップと洞察についても報告した。
論文参考訳（メタデータ） (2023-09-29T15:43:42Z)
Generating EDU Extracts for Plan-Guided Summary Re-Ranking [77.7752504102925]
要約候補を生成して1つの要約を返す2段階のアプローチでは、標準的な単一ステップアプローチよりもROUGEスコアを改善することができる。これらの問題に対処する再ランク付け候補を生成するための新しい手法を設計する。広く使われている単一文書ニュース記事コーパスにおいて,以前に公表された手法よりも大きな関連性を示した。
論文参考訳（メタデータ） (2023-05-28T17:22:04Z)
GersteinLab at MEDIQA-Chat 2023: Clinical Note Summarization from Doctor-Patient Conversations through Fine-tuning and In-context Learning [4.2570830892708225]
本稿では,サブタスクAとサブタスクBの両方を含む,MEDIQA-2023 Dialogue2Note共有タスクへのコントリビューションについて述べる。本稿では,対話要約問題としてタスクにアプローチし,a)事前学習した対話要約モデルとGPT-3の微調整,およびb)大規模言語モデルであるGPT-4を用いた少数ショットインコンテキスト学習(ICL)の2つのパイプラインを実装した。どちらの方法もROUGE-1 F1、BERTScore F1(deberta-xlarge-mnli)、BLEURTで優れた結果が得られる。
論文参考訳（メタデータ） (2023-05-08T19:16:26Z)
Evaluating the Factual Consistency of Large Language Models Through News Summarization [97.04685401448499]
本稿では,要約タスクに着目したFIB(Factual Inconsistency Benchmark)と呼ばれる新しいベンチマークを提案する。現実的に一貫した要約では、手作業で事実的に一貫したものとして検証する、人書きの参照要約を使用します。現実的に矛盾しない要約に対して、我々は、事実的に矛盾しているとして手動で注釈付けした一連の要約モデルから要約を生成する。
論文参考訳（メタデータ） (2022-11-15T18:50:34Z)
Tencent AI Lab - Shanghai Jiao Tong University Low-Resource Translation System for the WMT22 Translation Task [49.916963624249355]
本稿では, Tencent AI Lab - Shanghai Jiao Tong University (TAL-SJTU) Low-Resource Translation system for the WMT22 shared taskについて述べる。我々は、英語$Leftrightarrow$Livonianの一般的な翻訳作業に参加する。本システムは,M2M100を対象言語に適応させる新しい手法を用いて構築した。
論文参考訳（メタデータ） (2022-10-17T04:34:09Z)
BERT based Transformers lead the way in Extraction of Health Information from Social Media [0.0]
英語ツイートにおける有害薬物効果(ade)の分類・抽出・正規化(task-1)と症状を含むcovid-19ツイートの分類(task-6)の2つの課題に参加した。サブタスク-1(a)は61%のF1スコアで1位にランクインしました。サブタスク-1(b)では50%のF1スコアを獲得し、すべての提出物の平均スコアに対して最大で+8%のF1を向上しました。 BERTweetモデルはSMM4H 2021 Task-6で94%のF1スコアを達成しました。
論文参考訳（メタデータ） (2021-04-15T10:50:21Z)
ReCAM@IITK at SemEval-2021 Task 4: BERT and ALBERT based Ensemble for Abstract Word Prediction [2.482368922343792]
トレーニング済みのマスク付き言語モデルであるBERTとALBERTを微調整した。複数のアプローチを試したところ、Masked Language Modeling(MLM)ベースのアプローチが最もうまくいくことがわかった。
論文参考訳（メタデータ） (2021-04-04T08:22:19Z)
Dimsum @LaySumm 20: BART-based Approach for Scientific Document Summarization [50.939885303186195]
BARTモデルに基づくレイサマリー生成システムを構築した。文ラベルを余分な監視信号として活用し、レイ・サマリゼーションの性能を向上させる。
論文参考訳（メタデータ） (2020-10-19T06:36:11Z)
aschern at SemEval-2020 Task 11: It Takes Three to Tango: RoBERTa, CRF, and Transfer Learning [22.90521056447551]
本稿では,新聞記事中のプロパガンダ技術の検出に関するSemEval-2020 Task 11について述べる。我々は,RoBERTaベースのニューラルネットワーク,追加のCRFレイヤ,2つのサブタスク間の伝達学習,タスクのマルチラベル特性を扱うための高度な後処理を用いたアンサンブルモデルを開発した。
論文参考訳（メタデータ） (2020-08-06T18:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。