論文の概要: LSTM-based Deep Neural Network With A Focus on Sentence Representation for Sequential Sentence Classification in Medical Scientific Abstracts

• arxiv url: http://arxiv.org/abs/2401.15854v1
• Date: Mon, 29 Jan 2024 03:05:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-30 16:15:36.842446
• Title: LSTM-based Deep Neural Network With A Focus on Sentence Representation for Sequential Sentence Classification in Medical Scientific Abstracts
• Title（参考訳）: LSTMに基づく深層ニューラルネットワーク : 医学的要約における逐次文分類のための文表現に着目して
• Authors: Phat Lam, Lam Pham, Tin Nguyen, Hieu Tang, Seidl Michael, Alexander Schindler
• Abstract要約: 逐次文分類タスクのための階層的深層学習モデルを提案する。 抽象レベルでの畳み込みリカレントニューラルネットワーク(C-RNN)とセグメントレベルでの多層知覚ネットワーク(MLP)を開発する。 提案システムは最先端のシステムと非常に競合する。
• 参考スコア（独自算出の注目度）: 40.20142677441689
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Sequential Sentence Classification task within the domain of medical abstracts, termed as SSC, involves the categorization of sentences into pre-defined headings based on their roles in conveying critical information in the abstract. In the SSC task, sentences are often sequentially related to each other. For this reason, the role of sentence embedding is crucial for capturing both the semantic information between words in the sentence and the contextual relationship of sentences within the abstract to provide a comprehensive representation for better classification. In this paper, we present a hierarchical deep learning model for the SSC task. First, we propose a LSTM-based network with multiple feature branches to create well-presented sentence embeddings at the sentence level. To perform the sequence of sentences, a convolutional-recurrent neural network (C-RNN) at the abstract level and a multi-layer perception network (MLP) at the segment level are developed that further enhance the model performance. Additionally, an ablation study is also conducted to evaluate the contribution of individual component in the entire network to the model performance at different levels. Our proposed system is very competitive to the state-of-the-art systems and further improve F1 scores of the baseline by 1.0%, 2.8%, and 2.6% on the benchmark datasets PudMed 200K RCT, PudMed 20K RCT and NICTA-PIBOSO, respectively.
• Abstract（参考訳）: 医学的抽象学領域における逐次文分類タスク(SSC)は、抽象学において重要な情報を伝える役割に基づいて、文を事前に定義された見出しに分類することを含む。 SSCタスクでは、文はしばしば相互に連続的に関連付けられる。 そのため、文の埋め込みの役割は、文中の単語間の意味情報と要約中の文の文脈的関係の両方をキャプチャして、より優れた分類のための包括的表現を提供するために重要である。 本稿では,SSCタスクの階層的深層学習モデルを提案する。 まず,複数の機能分岐を持つLSTMベースのネットワークを提案する。 文のシーケンスを実行するために、抽象レベルでの畳み込みリカレントニューラルネットワーク(C-RNN)とセグメントレベルでの多層知覚ネットワーク(MLP)を開発し、モデル性能をさらに向上させる。 さらに,ネットワーク全体の個々のコンポーネントが,異なるレベルでのモデル性能に与える影響を評価するためのアブレーション研究も行った。 提案システムは,現状のシステムに対して非常に競争力があり,ベンチマークデータセットPudMed 200K RCT,PudMed 20K RCT,NICTA-PIBOSOにおいて,ベースラインのF1スコアを1.0%,2.8%,2.6%向上させる。

関連論文リスト

• Analysis of Argument Structure Constructions in the Large Language Model BERT [0.0]
  本研究は, BERTがArgument Structure Constructions (ASCs) をどのように処理し, 表現するかについて検討する。 4つのASCタイプにわたる2000文のデータセットを用いて、BERTのトークン埋め込みを12層にわたって分析した。
  論文  参考訳（メタデータ） (2024-08-08T07:12:46Z)
• Open-Vocabulary Segmentation with Semantic-Assisted Calibration [73.39366775301382]
  オープンボキャブラリセグメンテーション(OVS)は,CLIPの文脈に先行して,語彙内およびドメインバイアスの埋め込み空間を校正することで研究される。 オープン語彙セグメンテーションベンチマークにおける最先端性能を実現するために,セマンティック・アシブ・キャリブレーション・ネットワーク(SCAN)を提案する。
  論文  参考訳（メタデータ） (2023-12-07T07:00:09Z)
• Unsupervised Chunking with Hierarchical RNN [62.15060807493364]
  本稿では,非階層的手法で単語をグループ化する構文的タスクであるチャンキングに対する教師なしアプローチを紹介する。 本稿では,単語-チャンク・チャンク-文合成をモデル化した2層階層型階層型リカレントニューラルネットワーク(HRNN)を提案する。 CoNLL-2000データセットの実験では、既存の教師なし手法よりも顕著な改善が見られ、フレーズF1スコアが最大6ポイント向上した。
  論文  参考訳（メタデータ） (2023-09-10T02:55:12Z)
• Mutual Reinforcement Effects in Japanese Sentence Classification and Named Entity Recognition Tasks [0.0]
  文分類(SC)と名前付きエンティティ認識(NER)のためのSLGフレームワークを開発する。 フォーマット変換器を用いて、入力形式を統一し、生成モデルを用いてSCラベル、NERラベル、および関連するテキストセグメントを生成する。 その結果、SCの精度はSCNMで1.13ポイント、NERで1.06ポイント向上し、CMはフォーマットの精度を63.61から100に引き上げた。
  論文  参考訳（メタデータ） (2023-07-18T14:30:36Z)
• InfoCSE: Information-aggregated Contrastive Learning of Sentence Embeddings [61.77760317554826]
  本稿では,教師なし文の埋め込みを学習するための情報型コントラスト学習フレームワーク InfoCSE を提案する。 提案したInfoCSEを,セマンティックテキスト類似性(STS)タスクを用いて,いくつかのベンチマークデータセット上で評価する。 実験の結果, InfoCSE は BERT ベースでは2.60%, BERT 大規模では1.77% でSimCSE より優れていた。
  論文  参考訳（メタデータ） (2022-10-08T15:53:19Z)
• DisCoDisCo at the DISRPT2021 Shared Task: A System for Discourse Segmentation, Classification, and Connective Detection [4.371388370559826]
  我々のシステムはDisCoDisCoと呼ばれ、コンテキスト化された単語の埋め込みを手作りの機能で強化する。 関係分類の結果は、新しい2021ベンチマークで強い性能を示している。 複数の事前学習されたトランスフォーマーベース言語モデルの部分評価は、Next Sentence Predictionタスクで事前学習されたモデルが関係分類に最適であることを示している。
  論文  参考訳（メタデータ） (2021-09-20T18:11:05Z)
• PIN: A Novel Parallel Interactive Network for Spoken Language Understanding [68.53121591998483]
  既存の RNN ベースのアプローチでは、ID と SF のタスクは、それらの間の相関情報を利用するために、しばしば共同でモデル化される。 SNIPSとATISという2つのベンチマークデータセットによる実験は、我々のアプローチの有効性を実証している。 さらに,事前学習した言語モデルBERTが生成した発話の特徴埋め込みを用いて,提案手法はすべての比較手法の中で最先端の手法を実現する。
  論文  参考訳（メタデータ） (2020-09-28T15:59:31Z)
• Syntax Role for Neural Semantic Role Labeling [77.5166510071142]
  意味的役割ラベリング(SRL)は、文の意味的述語・代名詞構造を認識することを目的としている。 従来のモデルでは、構文情報はSRLのパフォーマンスに顕著な貢献をする可能性がある。 最近の神経SRL研究は、構文情報は神経意味的役割のラベル付けにおいてはるかに重要でないことを示している。
  論文  参考訳（メタデータ） (2020-09-12T07:01:12Z)
• AREDSUM: Adaptive Redundancy-Aware Iterative Sentence Ranking for Extractive Document Summarization [46.00136909474304]
  冗長性を考慮した抽出要約システムは、要約に含まれる文の冗長性を評価する。 従来の研究は、ニューラルシークエンス生成モデルを用いた共同スコアリングと文の選択の有効性を示している。 文選択時のサリエンスと新規性を共同で検討するAREDSUM-SEQと、まずサリエンスをスコアする2ステップのAREDSUM-CTXと、サリエンスと冗長性のバランスを学習するAREDSUM-CTXの2つの適応学習モデルを提案する。
  論文  参考訳（メタデータ） (2020-04-13T20:02:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。