論文の概要: Relation Extraction in underexplored biomedical domains: A diversity-optimised sampling and synthetic data generation approach

• arxiv url: http://arxiv.org/abs/2311.06364v1
• Date: Fri, 10 Nov 2023 19:36:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 18:59:01.117956
• Title: Relation Extraction in underexplored biomedical domains: A diversity-optimised sampling and synthetic data generation approach
• Title（参考訳）: 未調査生物医学領域における関係抽出:多様性最適化サンプリングと合成データ生成アプローチ
• Authors: Maxime Delmas, Magdalena Wysocka, Andr\'e Freitas
• Abstract要約: ラベル付きデータの空間性は関係抽出モデルの開発に障害となる。 我々は、最初のキュレートされた評価データセットを作成し、LOTUSデータベースから文献項目を抽出し、トレーニングセットを構築する。 我々は,オープンな大規模言語モデルを用いた生成タスクと数ショット学習として,標準微調整の性能を評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The sparsity of labelled data is an obstacle to the development of Relation Extraction models and the completion of databases in various biomedical areas. While being of high interest in drug-discovery, the natural-products literature, reporting the identification of potential bioactive compounds from organisms, is a concrete example of such an overlooked topic. To mark the start of this new task, we created the first curated evaluation dataset and extracted literature items from the LOTUS database to build training sets. To this end, we developed a new sampler inspired by diversity metrics in ecology, named Greedy Maximum Entropy sampler, or GME-sampler (https://github.com/idiap/gme-sampler). The strategic optimization of both balance and diversity of the selected items in the evaluation set is important given the resource-intensive nature of manual curation. After quantifying the noise in the training set, in the form of discrepancies between the input abstracts text and the expected output labels, we explored different strategies accordingly. Framing the task as an end-to-end Relation Extraction, we evaluated the performance of standard fine-tuning as a generative task and few-shot learning with open Large Language Models (LLaMA 7B-65B). In addition to their evaluation in few-shot settings, we explore the potential of open Large Language Models (Vicuna-13B) as synthetic data generator and propose a new workflow for this purpose. All evaluated models exhibited substantial improvements when fine-tuned on synthetic abstracts rather than the original noisy data. We provide our best performing (f1-score=59.0) BioGPT-Large model for end-to-end RE of natural-products relationships along with all the generated synthetic data and the evaluation dataset. See more details at https://github.com/idiap/abroad-re.
• Abstract（参考訳）: ラベル付きデータの空間性は、関係抽出モデルの開発と様々な生体医学領域におけるデータベースの完成の障害となる。 薬物の発見に高い関心を持っている一方で、生物から潜在的な生理活性化合物の同定を報告した天然物文献は、見過ごされた話題の具体例である。 この新たなタスクの開始を示すために、最初のキュレートされた評価データセットを作成し、LOTUSデータベースから文献項目を抽出し、トレーニングセットを構築した。 そこで我々は,Greedy Maximum Entropy sampler(GME-sampler,https://github.com/idiap/gme-sampler)という,生態学における多様性指標にインスパイアされた新しいサンプルを開発した。 評価セットにおける選択された項目のバランスと多様性の戦略的最適化は,手動キュレーションの資源集約的性質を考える上で重要である。 学習セットのノイズを定量化した後,入力要約テキストと期待出力ラベルとの差異の形で,異なる戦略を検討した。 タスクをエンドツーエンドの関係抽出として評価し,オープンなLarge Language Models (LLaMA 7B-65B) を用いた生成タスクとして,標準微調整の性能を評価した。 少数の設定での評価に加えて,合成データジェネレータとしてのオープン大規模言語モデル (vicuna-13b) の可能性について検討し,この目的のために新たなワークフローを提案する。 評価されたすべてのモデルは、元のノイズデータよりも合成抽象学を微調整した場合に大幅に改善された。 生成したすべての合成データと評価データセットと共に、製品間関係をエンドツーエンドで再現するための最高のパフォーマンス(f1-score=59.0)バイオgpt大モデルを提供する。 詳細はhttps://github.com/idiap/abroad-reを参照。

関連論文リスト

• NeuroSym-BioCAT: Leveraging Neuro-Symbolic Methods for Biomedical Scholarly Document Categorization and Question Answering [0.14999444543328289]
  本稿では,最適化されたトピックモデリングフレームワークであるOVB-LDAとBI-POP CMA-ES最適化技術を統合し,学術文書の抽象分類を強化した新しい手法を提案する。 我々は、ドメイン固有データに基づいて微調整された蒸留MiniLMモデルを用いて、高精度な回答抽出を行う。
  論文  参考訳（メタデータ） (2024-10-29T14:45:12Z)
• Generating Realistic Tabular Data with Large Language Models [49.03536886067729]
  大規模言語モデル(LLM)は多様なタスクに使われてきたが、特徴と対象変数の正確な相関は捉えていない。 そこで本研究では,LLMに基づく3つの重要な改良を加えて,実データの特徴クラス相関を正しく把握する手法を提案する。 実験の結果,本手法は下流タスクにおいて,20個のデータセット上で10個のSOTAベースラインを著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-10-29T04:14:32Z)
• Dataset Distillation for Histopathology Image Classification [46.04496989951066]
  病理画像データセット(Histo-DD)に適した新しいデータセット蒸留アルゴリズムを提案する。 提案アルゴリズムの有効性を総合的に評価し, パッチレベルとスライドレベルの両方の分類タスクにおいて, 組織学的サンプルを生成する。
  論文  参考訳（メタデータ） (2024-08-19T05:53:38Z)
• ACLSum: A New Dataset for Aspect-based Summarization of Scientific Publications [10.529898520273063]
  ACLSumは、ドメインの専門家によって慎重に作成され、評価される新しい要約データセットである。 以前のデータセットとは対照的に、ACLSumは科学論文のマルチアスペクト要約を容易にする。
  論文  参考訳（メタデータ） (2024-03-08T13:32:01Z)
• Learning to Extract Structured Entities Using Language Models [52.281701191329]
  機械学習の最近の進歩は、情報抽出の分野に大きな影響を与えている。 タスクをエンティティ中心にすることで、さまざまなメトリクスの使用を可能にします。 我々は、Structured Entity extractを導入し、Adroximate Entity Set OverlaPメトリックを提案し、この分野にコントリビュートします。
  論文  参考訳（メタデータ） (2024-02-06T22:15:09Z)
• BioREx: Improving Biomedical Relation Extraction by Leveraging Heterogeneous Datasets [7.7587371896752595]
  生物医学的関係抽出(RE)は、生物医学的自然言語処理(NLP)研究における中心的な課題である。 本稿では、個々のデータセットのデータの均一性を体系的に解決し、それらを大きなデータセットに組み合わせるための新しいフレームワークを提案する。 評価の結果,BioRExは個々のデータセットでトレーニングしたベンチマークシステムよりも大幅に高い性能を示すことがわかった。
  論文  参考訳（メタデータ） (2023-06-19T22:48:18Z)
• Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
  生成過程が下流MLタスクにどのように影響するかを示す。 本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
  論文  参考訳（メタデータ） (2023-05-16T07:30:29Z)
• Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
  本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。 特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
  論文  参考訳（メタデータ） (2023-04-04T17:54:32Z)
• Unsupervised Opinion Summarization with Content Planning [58.5308638148329]
  要約モデルにコンテンツプランニングを明示的に組み込むことで、より高い品質のアウトプットが得られることを示す。 また、より自然な合成データセットを作成し、実世界の文書と要約のペアに似ている。 当社のアプローチは,情報的,一貫性,流動的な要約を生成する上で,競争モデルよりも優れています。
  論文  参考訳（メタデータ） (2020-12-14T18:41:58Z)
• Towards an Automatic Analysis of CHO-K1 Suspension Growth in Microfluidic Single-cell Cultivation [63.94623495501023]
  我々は、人間の力で抽象化されたニューラルネットワークをデータレベルで注入できる新しい機械学習アーキテクチャを提案する。 具体的には、自然データと合成データに基づいて生成モデルを同時に訓練し、細胞数などの対象変数を確実に推定できる共有表現を学習する。
  論文  参考訳（メタデータ） (2020-10-20T08:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。