論文の概要: Lessons from the TREC Plain Language Adaptation of Biomedical Abstracts (PLABA) track
- arxiv url: http://arxiv.org/abs/2507.14096v2
- Date: Mon, 21 Jul 2025 18:01:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-23 13:10:14.729506
- Title: Lessons from the TREC Plain Language Adaptation of Biomedical Abstracts (PLABA) track
- Title(参考訳): バイオメディカル・抽象化(PLABA)トラックのTRECプレーン言語適応からの教訓
- Authors: Brian Ondov, William Xia, Kush Attal, Ishita Unde, Jerry He, Dina Demner-Fushman,
- Abstract要約: 我々は,2023年と2024年のテキスト検索カンファレンスで,バイオメディカル・抽象化の平易な言語適応トラックを開催した。
タスクには、完全、文レベル、抽象文の書き直し、難解な言葉の識別と置き換えが含まれていた。
12か国にまたがる12チームが参加し、多層パーセプトロンから大きな事前訓練されたトランスフォーマーまでモデルが組まれた。
- 参考スコア(独自算出の注目度): 14.011972819032328
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Objective: Recent advances in language models have shown potential to adapt professional-facing biomedical literature to plain language, making it accessible to patients and caregivers. However, their unpredictability, combined with the high potential for harm in this domain, means rigorous evaluation is necessary. Our goals with this track were to stimulate research and to provide high-quality evaluation of the most promising systems. Methods: We hosted the Plain Language Adaptation of Biomedical Abstracts (PLABA) track at the 2023 and 2024 Text Retrieval Conferences. Tasks included complete, sentence-level, rewriting of abstracts (Task 1) as well as identifying and replacing difficult terms (Task 2). For automatic evaluation of Task 1, we developed a four-fold set of professionally-written references. Submissions for both Tasks 1 and 2 were provided extensive manual evaluation from biomedical experts. Results: Twelve teams spanning twelve countries participated in the track, with models from multilayer perceptrons to large pretrained transformers. In manual judgments of Task 1, top-performing models rivaled human levels of factual accuracy and completeness, but not simplicity or brevity. Automatic, reference-based metrics generally did not correlate well with manual judgments. In Task 2, systems struggled with identifying difficult terms and classifying how to replace them. When generating replacements, however, LLM-based systems did well in manually judged accuracy, completeness, and simplicity, though not in brevity. Conclusion: The PLABA track showed promise for using Large Language Models to adapt biomedical literature for the general public, while also highlighting their deficiencies and the need for improved automatic benchmarking tools.
- Abstract(参考訳): 目的:近年の言語モデルの発展は,専門的なバイオメディカル文献を平易な言語に適応させる可能性を示し,患者や介護者に利用できるようになった。
しかし、その予測不可能さと、この領域の危害の可能性が組み合わさって、厳密な評価が必要である。
このトラックの目的は、研究を刺激し、最も有望なシステムの高品質な評価を提供することでした。
方法:2023年と2024年のテキスト検索会議で,Plain Language Adaptation of Biomedical Abstracts (PLABA)トラックを主催した。
タスクには、抽象語の完全、文レベル、書き直し(Task 1)、難解な用語の識別と置き換え(Task 2)が含まれていた。
タスク1の自動評価のために,専門家が書いた4つの参照セットを開発した。
第1タスクと第2タスクの提出は、バイオメディカルの専門家による広範な手作業による評価が提供された。
結果:12ヶ国12ヶ国12チームが参加し,多層パーセプトロンから大きな事前学習型トランスフォーマーのモデルが得られた。
タスク1のマニュアルによる判断では、トップパフォーマンスモデルは人間の現実の正確さと完全さのレベルに匹敵するが、単純さや簡潔さはない。
自動参照ベースのメトリクスは、一般的に手動による判断とよく相関しなかった。
タスク2では、システムは難しい用語を特定し、それらを置き換える方法の分類に苦労した。
しかし、代替品を生成する場合、LLMベースのシステムは正確さ、完全性、単純さを手作業で判断した。
結論: PLABAのトラックは、生物医学の文献を一般大衆に適応させるために、大規模言語モデルを使用することを約束すると同時に、それらの欠陥と自動ベンチマークツールの改善の必要性を強調した。
関連論文リスト
- Towards Domain Specification of Embedding Models in Medicine [1.0713888959520208]
MTEB(Massive Text Embedding Benchmark)に基づく分類,クラスタリング,ペア分類,検索を対象とする51タスクの総合ベンチマークスイートを提案する。
以上の結果から,本手法はロバストな評価枠組みを確立し,各タスクにおける工芸品の代替品の状態を常に上回り,組込み性能が向上することを示した。
論文 参考訳(メタデータ) (2025-07-25T16:15:00Z) - Zero-Shot Document-Level Biomedical Relation Extraction via Scenario-based Prompt Design in Two-Stage with LLM [7.808231572590279]
ハードウェアと労働コストの低い汎用大言語モデル (LLM) を用いて, 注釈のない完全文書から同じ結果を得るための新しい手法を提案する。
我々のアプローチは、名前付きエンティティ認識(NER)と関係抽出(RE)の2つの主要な段階を組み合わせる。
本稿では,プロンプトの有効性を高めるために,5部テンプレート構造とシナリオに基づくプロンプト設計の原理を提案する。
論文 参考訳(メタデータ) (2025-05-02T07:33:20Z) - Automating Intervention Discovery from Scientific Literature: A Progressive Ontology Prompting and Dual-LLM Framework [56.858564736806414]
本稿では,大規模言語モデル(LLM)を利用した科学文献の介入の同定手法を提案する。
言語病理領域における64,177論文のコーパスから,2,421件の介入が得られた。
論文 参考訳(メタデータ) (2024-08-20T16:42:23Z) - Diversifying Knowledge Enhancement of Biomedical Language Models using
Adapter Modules and Knowledge Graphs [54.223394825528665]
我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。
バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。
計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
論文 参考訳(メタデータ) (2023-12-21T14:26:57Z) - Taiyi: A Bilingual Fine-Tuned Large Language Model for Diverse
Biomedical Tasks [19.091278630792615]
既存のバイオメディカル大規模言語モデル(LLMs)は、単言語でのバイオメディカル質問応答や会話タスクのパフォーマンス向上に重点を置いている。
多様なバイオメディカルタスクのためのバイリンガル微調整LDMであるTaiyiについて紹介する。
論文 参考訳(メタデータ) (2023-11-20T08:51:30Z) - BiomedGPT: A Generalist Vision-Language Foundation Model for Diverse Biomedical Tasks [68.39821375903591]
汎用AIは、さまざまなデータ型を解釈する汎用性のために、制限に対処する可能性を秘めている。
本稿では,最初のオープンソースかつ軽量な視覚言語基盤モデルであるBiomedGPTを提案する。
論文 参考訳(メタデータ) (2023-05-26T17:14:43Z) - Benchmarking large language models for biomedical natural language processing applications and recommendations [22.668383945059762]
大規模言語モデル(LLM)は、一般的なドメインにおいて有望であることを示している。
我々は、そのゼロショット、少数ショット、微調整性能を従来のBERTモデルやBARTモデルと比較する。
LLM出力の不足情報や幻覚といった問題を見つけます。
論文 参考訳(メタデータ) (2023-05-10T13:40:06Z) - Readability Controllable Biomedical Document Summarization [17.166794984161964]
バイオメディカル文書の可読性制御のための新しいタスクを提案する。
ユーザの可読性要求を認識し、ニーズに合った要約を生成することを目的としている。
論文 参考訳(メタデータ) (2022-10-10T14:03:20Z) - Few-Shot Cross-lingual Transfer for Coarse-grained De-identification of
Code-Mixed Clinical Texts [56.72488923420374]
事前学習型言語モデル (LM) は低リソース環境下での言語間移動に大きな可能性を示している。
脳卒中におけるコードミキシング(スペイン・カタラン)臨床ノートの低リソース・実世界の課題を解決するために,NER (name recognition) のためのLMの多言語間転写特性を示す。
論文 参考訳(メタデータ) (2022-04-10T21:46:52Z) - Self-Supervised Knowledge Assimilation for Expert-Layman Text Style
Transfer [63.72621204057025]
エキスパート・レイマン・テキスト・スタイル・トランスファー技術は、科学コミュニティと一般大衆とのコミュニケーションを改善する可能性がある。
専門家が生み出す高品質な情報は、しばしば難しいジャーゴンの平民が理解するのに苦労している。
これは医療分野において特に顕著な問題であり、レイマンはしばしばオンラインの医療テキストに混同される。
論文 参考訳(メタデータ) (2021-10-06T17:57:22Z) - CBLUE: A Chinese Biomedical Language Understanding Evaluation Benchmark [51.38557174322772]
中国初のバイオメディカル言語理解評価ベンチマークを提示する。
名前付きエンティティ認識、情報抽出、臨床診断正規化、単文/文対分類を含む自然言語理解タスクのコレクションである。
本研究は,現在の11種類の中国モデルによる実験結果について報告し,その実験結果から,現在最先端のニューラルモデルがヒトの天井よりもはるかに悪い性能を示すことが示された。
論文 参考訳(メタデータ) (2021-06-15T12:25:30Z) - Automated Lay Language Summarization of Biomedical Scientific Reviews [16.01452242066412]
健康リテラシーは適切な健康判断と治療結果の確保において重要な要素として浮上している。
医療用語とこのドメインの専門言語の複雑な構造は、健康情報を解釈するのが特に困難にします。
本稿では,生物医学的レビューの要約を自動生成する新しい課題について紹介する。
論文 参考訳(メタデータ) (2020-12-23T10:01:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。