論文の概要: LED down the rabbit hole: exploring the potential of global attention
for biomedical multi-document summarisation
- arxiv url: http://arxiv.org/abs/2209.08698v1
- Date: Mon, 19 Sep 2022 01:13:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-20 17:44:36.572159
- Title: LED down the rabbit hole: exploring the potential of global attention
for biomedical multi-document summarisation
- Title(参考訳): ウサギの穴に点灯するLED : バイオメディカル多文書要約における世界的注目の可能性を探る
- Authors: Yulia Otmakhova, Hung Thinh Truong, Timothy Baldwin, Trevor Cohn,
Karin Verspoor, Jey Han Lau
- Abstract要約: 我々はPRIMERAをバイオメディカル領域に適応させ,重要なバイオメディカルエンティティにグローバルな注意を払っている。
結果から得られた23モデルの出力を分析し, 追加のグローバルアテンションの存在に関連する結果のパターンを報告する。
- 参考スコア(独自算出の注目度): 59.307534363825816
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: In this paper we report on our submission to the Multidocument Summarisation
for Literature Review (MSLR) shared task. Specifically, we adapt PRIMERA (Xiao
et al., 2022) to the biomedical domain by placing global attention on important
biomedical entities in several ways. We analyse the outputs of the 23 resulting
models, and report patterns in the results related to the presence of
additional global attention, number of training steps, and the input
configuration.
- Abstract(参考訳): 本稿では,mslr(multidocument summarisation for literature review)共有タスクへの提案について報告する。
具体的には, 生物医学領域にプライマーラ(xiao et al., 2022)を適応させ, 重要な生物医学的実体にグローバルに注目する。
得られた23モデルのアウトプットを分析し,追加のグローバル注意の有無,トレーニングステップ数,入力構成に関する結果のパターンを報告する。
関連論文リスト
- A Refer-and-Ground Multimodal Large Language Model for Biomedicine [10.519866875035003]
Med-GRIT-270kデータセットは、バイオメディカルドメインに初めて専用のデータセットであり、参照と地上の会話を統合している。
本稿では,このデータセットとマルチタスク・インストラクション・ラーニングを用いて,バイオメディシンのためのRefer-and-Ground Multimodal Large Language Model(BiRD)を提案する。
論文 参考訳(メタデータ) (2024-06-26T07:56:17Z) - Intent Detection and Entity Extraction from BioMedical Literature [14.52164637112797]
言語モデル(LLM)は、汎用知性を達成するための努力によって動機付けられ、タスクやドメイン固有の自然言語理解アプローチを置き換える効果は疑問視されている。
スーパーバイザード・ファイン・チューン(Supervised Fine Tuned)アプローチは, 汎用LLMよりも有用であり, 有効であることを示す。
論文 参考訳(メタデータ) (2024-04-04T17:09:52Z) - An Evaluation of Large Language Models in Bioinformatics Research [52.100233156012756]
本研究では,大規模言語モデル(LLM)の性能について,バイオインフォマティクスの幅広い課題について検討する。
これらのタスクには、潜在的なコーディング領域の同定、遺伝子とタンパク質の命名されたエンティティの抽出、抗微生物および抗がんペプチドの検出、分子最適化、教育生物情報学問題の解決が含まれる。
以上の結果から, GPT 変種のような LLM がこれらのタスクの多くをうまく処理できることが示唆された。
論文 参考訳(メタデータ) (2024-02-21T11:27:31Z) - BioLORD-2023: Semantic Textual Representations Fusing LLM and Clinical
Knowledge Graph Insights [15.952942443163474]
バイオメディカルな概念と文の高忠実度表現を得るための新しい最先端手法を提案する。
これまでの技術状況よりも一貫した、実質的なパフォーマンス向上を実証する。
英語のための最新のバイオメディカルモデルに加えて、50以上の言語と互換性のある多言語モデルを蒸留してリリースする。
論文 参考訳(メタデータ) (2023-11-27T18:46:17Z) - Overview of the BioLaySumm 2023 Shared Task on Lay Summarization of
Biomedical Research Articles [47.04555835353173]
本稿では,ACL 2023のBioNLPワークショップで開催されているバイオメディカルリサーチ記事のレイ要約(BioLaySumm)における共有タスクの結果について述べる。
この共有タスクの目的は、"遅延要約"を生成することができる抽象的な要約モデルを開発することである。
総合的な結果に加えて,BioLaySumm共有タスクのセットアップと洞察についても報告した。
論文 参考訳(メタデータ) (2023-09-29T15:43:42Z) - PMC-LLaMA: Towards Building Open-source Language Models for Medicine [62.39105735933138]
大規模言語モデル(LLM)は、自然言語理解において顕著な能力を示した。
LLMは、ドメイン固有の知識が不足しているため、医学的応用のような正確性を必要とする領域で苦労している。
PMC-LLaMAと呼ばれる医療応用に特化した強力なオープンソース言語モデルの構築手順について述べる。
論文 参考訳(メタデータ) (2023-04-27T18:29:05Z) - Discovering Drug-Target Interaction Knowledge from Biomedical Literature [107.98712673387031]
人体における薬物と標的(DTI)の相互作用は、生物医学や応用において重要な役割を担っている。
毎年何百万もの論文がバイオメディカル分野で出回っているので、文学からDTIの知識を自動的に発見することは、業界にとって急激な需要となっている。
生成的アプローチを用いて,この課題に対する最初のエンドツーエンドソリューションについて検討する。
我々はDTI三重項をシーケンスとみなし、Transformerベースのモデルを使ってエンティティや関係の詳細なアノテーションを使わずに直接生成する。
論文 参考訳(メタデータ) (2021-09-27T17:00:14Z) - Domain-Specific Pretraining for Vertical Search: Case Study on
Biomedical Literature [67.4680600632232]
自己教師型学習は、アノテーションのボトルネックを克服するための有望な方向として現れました。
本稿では,ドメイン固有の事前学習に基づく垂直探索手法を提案する。
我々のシステムはPubMed上で何千万もの記事にスケールでき、Microsoft Biomedical Searchとしてデプロイされている。
論文 参考訳(メタデータ) (2021-06-25T01:02:55Z) - MS2: Multi-Document Summarization of Medical Studies [11.38740406132287]
MS2(Multi-Document Summarization of Medical Studies)は、科学文献から得られた470k以上の文書と20kの要約からなるデータセットです。
このデータセットは、矛盾する証拠を複数の研究で評価し集約するシステムの開発を促進する。
早期成果を期待して,BARTに基づく要約システムを実験した。
論文 参考訳(メタデータ) (2021-04-13T19:59:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。