論文の概要: LSTM-based Deep Neural Network With A Focus on Sentence Representation for Sequential Sentence Classification in Medical Scientific Abstracts

• arxiv url: http://arxiv.org/abs/2401.15854v2
• Date: Fri, 31 May 2024 08:37:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-03 20:12:03.976747
• Title: LSTM-based Deep Neural Network With A Focus on Sentence Representation for Sequential Sentence Classification in Medical Scientific Abstracts
• Title（参考訳）: LSTMに基づく深層ニューラルネットワーク : 医学的要約における逐次文分類のための文表現に着目して
• Authors: Phat Lam, Lam Pham, Tin Nguyen, Hieu Tang, Michael Seidl, Medina Andresel, Alexander Schindler,
• Abstract要約: 文レベルでの包括的文表現に焦点をあてたLSTMに基づくディープラーニングネットワークを提案する。 提案システムでは,最先端システムと比較して高い競争力が得られる。
• 参考スコア（独自算出の注目度）: 37.514112936955236
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Sequential Sentence Classification task within the domain of medical abstracts, termed as SSC, involves the categorization of sentences into pre-defined headings based on their roles in conveying critical information in the abstract. In the SSC task, sentences are sequentially related to each other. For this reason, the role of sentence embeddings is crucial for capturing both the semantic information between words in the sentence and the contextual relationship of sentences within the abstract, which then enhances the SSC system performance. In this paper, we propose a LSTM-based deep learning network with a focus on creating comprehensive sentence representation at the sentence level. To demonstrate the efficacy of the created sentence representation, a system utilizing these sentence embeddings is also developed, which consists of a Convolutional-Recurrent neural network (C-RNN) at the abstract level and a multi-layer perception network (MLP) at the segment level. Our proposed system yields highly competitive results compared to state-of-the-art systems and further enhances the F1 scores of the baseline by 1.0%, 2.8%, and 2.6% on the benchmark datasets PudMed 200K RCT, PudMed 20K RCT and NICTA-PIBOSO, respectively. This indicates the significant impact of improving sentence representation on boosting model performance.
• Abstract（参考訳）: 医学的抽象学領域における逐次文分類タスク(SSC)は、抽象学において重要な情報を伝達する役割に基づいて、文を事前に定義された見出しに分類することを含む。 SSCタスクでは、文は順次関連付けられている。 このため、文中の単語間の意味情報と要約中の文の文脈的関係の両方をキャプチャするためには、文埋め込みの役割が不可欠であり、SSCシステムの性能が向上する。 本稿では,文レベルでの包括的文表現に焦点をあてたLSTMに基づく深層学習ネットワークを提案する。 生成した文表現の有効性を実証するため,これらの文埋め込みを利用したシステムも開発され,抽象レベルでの畳み込み型リカレントニューラルネットワーク(C-RNN)とセグメントレベルでの多層知覚ネットワーク(MLP)から構成される。 提案システムは,最先端システムと比較して高い競争力を示し,ベンチマークデータセットPudMed 200K RCT,PudMed 20K RCT,NICTA-PIBOSOにおいて,ベースラインのF1スコアを1.0%,2.8%,2.6%向上させる。 このことは、文表現の改善がモデル性能の向上に重大な影響を与えることを示している。

関連論文リスト

• Open-Vocabulary Segmentation with Semantic-Assisted Calibration [73.39366775301382]
  オープンボキャブラリセグメンテーション(OVS)は,CLIPの文脈に先行して,語彙内およびドメインバイアスの埋め込み空間を校正することで研究される。 オープン語彙セグメンテーションベンチマークにおける最先端性能を実現するために,セマンティック・アシブ・キャリブレーション・ネットワーク(SCAN)を提案する。
  論文  参考訳（メタデータ） (2023-12-07T07:00:09Z)
• SpikeCLIP: A Contrastive Language-Image Pretrained Spiking Neural Network [42.800735162575165]
  スパイキングニューラルネットワーク(SNN)は、ビジュアルドメインと言語ドメインの両方でディープニューラルネットワーク(DNN)に匹敵するパフォーマンスを実現する能力を示している。 スパイクベースコンピューティングの文脈における2つのモード間のギャップに対処する新しいフレームワークであるSpikeCLIPを導入する。
  論文  参考訳（メタデータ） (2023-10-10T09:57:17Z)
• Unsupervised Chunking with Hierarchical RNN [62.15060807493364]
  本稿では,非階層的手法で単語をグループ化する構文的タスクであるチャンキングに対する教師なしアプローチを紹介する。 本稿では,単語-チャンク・チャンク-文合成をモデル化した2層階層型階層型リカレントニューラルネットワーク(HRNN)を提案する。 CoNLL-2000データセットの実験では、既存の教師なし手法よりも顕著な改善が見られ、フレーズF1スコアが最大6ポイント向上した。
  論文  参考訳（メタデータ） (2023-09-10T02:55:12Z)
• Mutual Reinforcement Effects in Japanese Sentence Classification and Named Entity Recognition Tasks [0.0]
  文分類(SC)と名前付きエンティティ認識(NER)のためのSLGフレームワークを開発する。 フォーマット変換器を用いて、入力形式を統一し、生成モデルを用いてSCラベル、NERラベル、および関連するテキストセグメントを生成する。 その結果、SCの精度はSCNMで1.13ポイント、NERで1.06ポイント向上し、CMはフォーマットの精度を63.61から100に引き上げた。
  論文  参考訳（メタデータ） (2023-07-18T14:30:36Z)
• InfoCSE: Information-aggregated Contrastive Learning of Sentence Embeddings [61.77760317554826]
  本稿では,教師なし文の埋め込みを学習するための情報型コントラスト学習フレームワーク InfoCSE を提案する。 提案したInfoCSEを,セマンティックテキスト類似性(STS)タスクを用いて,いくつかのベンチマークデータセット上で評価する。 実験の結果, InfoCSE は BERT ベースでは2.60%, BERT 大規模では1.77% でSimCSE より優れていた。
  論文  参考訳（メタデータ） (2022-10-08T15:53:19Z)
• DisCoDisCo at the DISRPT2021 Shared Task: A System for Discourse Segmentation, Classification, and Connective Detection [4.371388370559826]
  我々のシステムはDisCoDisCoと呼ばれ、コンテキスト化された単語の埋め込みを手作りの機能で強化する。 関係分類の結果は、新しい2021ベンチマークで強い性能を示している。 複数の事前学習されたトランスフォーマーベース言語モデルの部分評価は、Next Sentence Predictionタスクで事前学習されたモデルが関係分類に最適であることを示している。
  論文  参考訳（メタデータ） (2021-09-20T18:11:05Z)
• PIN: A Novel Parallel Interactive Network for Spoken Language Understanding [68.53121591998483]
  既存の RNN ベースのアプローチでは、ID と SF のタスクは、それらの間の相関情報を利用するために、しばしば共同でモデル化される。 SNIPSとATISという2つのベンチマークデータセットによる実験は、我々のアプローチの有効性を実証している。 さらに,事前学習した言語モデルBERTが生成した発話の特徴埋め込みを用いて,提案手法はすべての比較手法の中で最先端の手法を実現する。
  論文  参考訳（メタデータ） (2020-09-28T15:59:31Z)
• Syntax Role for Neural Semantic Role Labeling [77.5166510071142]
  意味的役割ラベリング(SRL)は、文の意味的述語・代名詞構造を認識することを目的としている。 従来のモデルでは、構文情報はSRLのパフォーマンスに顕著な貢献をする可能性がある。 最近の神経SRL研究は、構文情報は神経意味的役割のラベル付けにおいてはるかに重要でないことを示している。
  論文  参考訳（メタデータ） (2020-09-12T07:01:12Z)
• AREDSUM: Adaptive Redundancy-Aware Iterative Sentence Ranking for Extractive Document Summarization [46.00136909474304]
  冗長性を考慮した抽出要約システムは、要約に含まれる文の冗長性を評価する。 従来の研究は、ニューラルシークエンス生成モデルを用いた共同スコアリングと文の選択の有効性を示している。 文選択時のサリエンスと新規性を共同で検討するAREDSUM-SEQと、まずサリエンスをスコアする2ステップのAREDSUM-CTXと、サリエンスと冗長性のバランスを学習するAREDSUM-CTXの2つの適応学習モデルを提案する。
  論文  参考訳（メタデータ） (2020-04-13T20:02:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。