論文の概要: LSTM-based Deep Neural Network With A Focus on Sentence Representation
for Sequential Sentence Classification in Medical Scientific Abstracts
- arxiv url: http://arxiv.org/abs/2401.15854v1
- Date: Mon, 29 Jan 2024 03:05:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-30 16:15:36.842446
- Title: LSTM-based Deep Neural Network With A Focus on Sentence Representation
for Sequential Sentence Classification in Medical Scientific Abstracts
- Title(参考訳): LSTMに基づく深層ニューラルネットワーク : 医学的要約における逐次文分類のための文表現に着目して
- Authors: Phat Lam, Lam Pham, Tin Nguyen, Hieu Tang, Seidl Michael, Alexander
Schindler
- Abstract要約: 逐次文分類タスクのための階層的深層学習モデルを提案する。
抽象レベルでの畳み込みリカレントニューラルネットワーク(C-RNN)とセグメントレベルでの多層知覚ネットワーク(MLP)を開発する。
提案システムは最先端のシステムと非常に競合する。
- 参考スコア(独自算出の注目度): 40.20142677441689
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Sequential Sentence Classification task within the domain of medical
abstracts, termed as SSC, involves the categorization of sentences into
pre-defined headings based on their roles in conveying critical information in
the abstract. In the SSC task, sentences are often sequentially related to each
other. For this reason, the role of sentence embedding is crucial for capturing
both the semantic information between words in the sentence and the contextual
relationship of sentences within the abstract to provide a comprehensive
representation for better classification. In this paper, we present a
hierarchical deep learning model for the SSC task. First, we propose a
LSTM-based network with multiple feature branches to create well-presented
sentence embeddings at the sentence level. To perform the sequence of
sentences, a convolutional-recurrent neural network (C-RNN) at the abstract
level and a multi-layer perception network (MLP) at the segment level are
developed that further enhance the model performance. Additionally, an ablation
study is also conducted to evaluate the contribution of individual component in
the entire network to the model performance at different levels. Our proposed
system is very competitive to the state-of-the-art systems and further improve
F1 scores of the baseline by 1.0%, 2.8%, and 2.6% on the benchmark datasets
PudMed 200K RCT, PudMed 20K RCT and NICTA-PIBOSO, respectively.
- Abstract(参考訳): 医学的抽象学領域における逐次文分類タスク(SSC)は、抽象学において重要な情報を伝える役割に基づいて、文を事前に定義された見出しに分類することを含む。
SSCタスクでは、文はしばしば相互に連続的に関連付けられる。
そのため、文の埋め込みの役割は、文中の単語間の意味情報と要約中の文の文脈的関係の両方をキャプチャして、より優れた分類のための包括的表現を提供するために重要である。
本稿では,SSCタスクの階層的深層学習モデルを提案する。
まず,複数の機能分岐を持つLSTMベースのネットワークを提案する。
文のシーケンスを実行するために、抽象レベルでの畳み込みリカレントニューラルネットワーク(C-RNN)とセグメントレベルでの多層知覚ネットワーク(MLP)を開発し、モデル性能をさらに向上させる。
さらに,ネットワーク全体の個々のコンポーネントが,異なるレベルでのモデル性能に与える影響を評価するためのアブレーション研究も行った。
提案システムは,現状のシステムに対して非常に競争力があり,ベンチマークデータセットPudMed 200K RCT,PudMed 20K RCT,NICTA-PIBOSOにおいて,ベースラインのF1スコアを1.0%,2.8%,2.6%向上させる。
関連論文リスト
- Multi-scale fMRI time series analysis for understanding
neurodegeneration in MCI [2.474908349649168]
本稿では,ネットワークを構成する各ROIについて,マルチスケールビューにまたがる手法を提案する。
深層学習に基づく分類は神経変性の理解に利用される。
論文 参考訳(メタデータ) (2024-02-05T08:41:39Z) - Weakly Supervised Semantic Segmentation by Knowledge Graph Inference [11.056545020611397]
本稿では、Wakly Supervised Semantic (WSSS)を強化するグラフ推論に基づくアプローチを提案する。
本研究の目的は,マルチラベル分類とセグメンテーションネットワークの段階を同時に拡張することで,WSSSを全体的改善することである。
PASCAL VOC 2012およびMS-COCOデータセット上でWSSSの最先端性能を達成した。
論文 参考訳(メタデータ) (2023-09-25T11:50:19Z) - Unsupervised Chunking with Hierarchical RNN [62.15060807493364]
本稿では,非階層的手法で単語をグループ化する構文的タスクであるチャンキングに対する教師なしアプローチを紹介する。
本稿では,単語-チャンク・チャンク-文合成をモデル化した2層階層型階層型リカレントニューラルネットワーク(HRNN)を提案する。
CoNLL-2000データセットの実験では、既存の教師なし手法よりも顕著な改善が見られ、フレーズF1スコアが最大6ポイント向上した。
論文 参考訳(メタデータ) (2023-09-10T02:55:12Z) - Tissue Classification During Needle Insertion Using Self-Supervised
Contrastive Learning and Optical Coherence Tomography [53.38589633687604]
針先端で取得した複雑なCT信号の位相および強度データから組織を分類するディープニューラルネットワークを提案する。
トレーニングセットの10%で、提案した事前学習戦略により、モデルが0.84のF1スコアを達成するのに対して、モデルが0.60のF1スコアを得るのに対して、モデルが0.84のF1スコアを得るのに役立ちます。
論文 参考訳(メタデータ) (2023-04-26T14:11:04Z) - Retinal Vessel Segmentation via a Multi-resolution Contextual Network
and Adversarial Learning [4.776465250559035]
本稿では,意味的に異なる特徴間のコンテキスト依存を学習するためのマルチレゾリューション・コンテクスト・ネットワーク(MRC-Net)を提案する。
本手法は,DRIVE,STARE,CHASEの3つのベンチマークデータセットを用いて評価を行った。
論文 参考訳(メタデータ) (2023-04-25T14:27:34Z) - InfoCSE: Information-aggregated Contrastive Learning of Sentence
Embeddings [61.77760317554826]
本稿では,教師なし文の埋め込みを学習するための情報型コントラスト学習フレームワーク InfoCSE を提案する。
提案したInfoCSEを,セマンティックテキスト類似性(STS)タスクを用いて,いくつかのベンチマークデータセット上で評価する。
実験の結果, InfoCSE は BERT ベースでは2.60%, BERT 大規模では1.77% でSimCSE より優れていた。
論文 参考訳(メタデータ) (2022-10-08T15:53:19Z) - DisCoDisCo at the DISRPT2021 Shared Task: A System for Discourse
Segmentation, Classification, and Connective Detection [4.371388370559826]
我々のシステムはDisCoDisCoと呼ばれ、コンテキスト化された単語の埋め込みを手作りの機能で強化する。
関係分類の結果は、新しい2021ベンチマークで強い性能を示している。
複数の事前学習されたトランスフォーマーベース言語モデルの部分評価は、Next Sentence Predictionタスクで事前学習されたモデルが関係分類に最適であることを示している。
論文 参考訳(メタデータ) (2021-09-20T18:11:05Z) - UIUC_BioNLP at SemEval-2021 Task 11: A Cascade of Neural Models for
Structuring Scholarly NLP Contributions [1.5942130010323128]
本稿では,文分類,文認識,三重抽出を行うニューラルネットワークのカスケードを提案する。
BERT-CRFモデルを用いて、コントリビューション文中の関連するフレーズを認識し、特徴付ける。
本システムは第1相評価では第2位,第2相評価では両部で第1位であった。
論文 参考訳(メタデータ) (2021-05-12T05:24:35Z) - Syntax Role for Neural Semantic Role Labeling [77.5166510071142]
意味的役割ラベリング(SRL)は、文の意味的述語・代名詞構造を認識することを目的としている。
従来のモデルでは、構文情報はSRLのパフォーマンスに顕著な貢献をする可能性がある。
最近の神経SRL研究は、構文情報は神経意味的役割のラベル付けにおいてはるかに重要でないことを示している。
論文 参考訳(メタデータ) (2020-09-12T07:01:12Z) - Revisiting LSTM Networks for Semi-Supervised Text Classification via
Mixed Objective Function [106.69643619725652]
我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。
いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
論文 参考訳(メタデータ) (2020-09-08T21:55:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。