論文の概要: Efficient Joint Learning for Clinical Named Entity Recognition and Relation Extraction Using Fourier Networks: A Use Case in Adverse Drug Events

• arxiv url: http://arxiv.org/abs/2302.04185v1
• Date: Wed, 8 Feb 2023 16:44:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-09 15:25:13.412058
• Title: Efficient Joint Learning for Clinical Named Entity Recognition and Relation Extraction Using Fourier Networks: A Use Case in Adverse Drug Events
• Title（参考訳）: フーリエネットワークを用いた臨床名前付きエンティティ認識と関係抽出のための効果的な共同学習:逆薬物事象の事例
• Authors: Anthony Yazdani, Dimitrios Proios, Hossein Rouhizadeh, Douglas Teodoro
• Abstract要約: 臨床情報抽出への現在のアプローチは、計算コストとメモリ消費の点で非効率である。 可変長文書に対する名前付きエンティティ認識と関係抽出のタスクを協調的に学習するための,効率的なエンドツーエンドモデルであるJoint-NER-RE-Fourier (JNRF)を提案する。 その結果、提案手法は22倍高速で、GPUメモリ使用量を1.75倍に削減し、適切なパフォーマンストレードオフは90%であることがわかった。
• 参考スコア（独自算出の注目度）: 0.11470070927586018
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current approaches for clinical information extraction are inefficient in terms of computational costs and memory consumption, hindering their application to process large-scale electronic health records (EHRs). We propose an efficient end-to-end model, the Joint-NER-RE-Fourier (JNRF), to jointly learn the tasks of named entity recognition and relation extraction for documents of variable length. The architecture uses positional encoding and unitary batch sizes to process variable length documents and uses a weight-shared Fourier network layer for low-complexity token mixing. Finally, we reach the theoretical computational complexity lower bound for relation extraction using a selective pooling strategy and distance-aware attention weights with trainable polynomial distance functions. We evaluated the JNRF architecture using the 2018 N2C2 ADE benchmark to jointly extract medication-related entities and relations in variable-length EHR summaries. JNRF outperforms rolling window BERT with selective pooling by 0.42%, while being twice as fast to train. Compared to state-of-the-art BiLSTM-CRF architectures on the N2C2 ADE benchmark, results show that the proposed approach trains 22 times faster and reduces GPU memory consumption by 1.75 folds, with a reasonable performance tradeoff of 90%, without the use of external tools, hand-crafted rules or post-processing. Given the significant carbon footprint of deep learning models and the current energy crises, these methods could support efficient and cleaner information extraction in EHRs and other types of large-scale document databases.
• Abstract（参考訳）: 臨床情報抽出の現在のアプローチは、計算コストとメモリ消費の点で非効率であり、大規模な電子健康記録(EHR)の処理を妨げている。 可変長文書に対する名前付きエンティティ認識と関係抽出のタスクを協調的に学習するための,効率的なエンドツーエンドモデルであるJoint-NER-RE-Fourier (JNRF)を提案する。 このアーキテクチャは、可変長文書を処理するために位置符号化とユニタリバッチサイズを使用し、低複雑さトークン混合のために重み共有フーリエネットワーク層を使用する。 最後に,学習可能な多項式距離関数を用いた選択的プーリング戦略と距離認識注意重みを用いた関係抽出のための理論計算複雑性を低く抑える。 我々は、2018 N2C2 ADEベンチマークを用いてJNRFアーキテクチャを評価し、変動長EHR要約における薬物関連物質と関係を共同抽出した。 JNRFは転がり窓のBERTを0.42%上回り、列車の速度は2倍である。 N2C2 ADEベンチマークの最先端のBiLSTM-CRFアーキテクチャと比較すると、提案手法は、外部ツールや手作りルール、後処理を使わずに、GPUメモリ使用量を1.75倍に削減し、適切な性能上のトレードオフを90%削減する。 深層学習モデルの炭素フットプリントと現在のエネルギー危機を考えると、これらの手法はEHRやその他の大規模文書データベースの効率的でクリーンな情報抽出を支援することができる。

関連論文リスト

• LeRF: Learning Resampling Function for Adaptive and Efficient Image Interpolation [64.34935748707673]
  最近のディープニューラルネットワーク(DNN)は、学習データ前処理を導入することで、パフォーマンスを著しく向上させた。 本稿では,DNNが学習した構造的前提と局所的連続仮定の両方を活かした学習再サンプリング(Learning Resampling, LeRF)を提案する。 LeRFは空間的に異なる再サンプリング関数を入力画像ピクセルに割り当て、ニューラルネットワークを用いてこれらの再サンプリング関数の形状を予測する。
  論文  参考訳（メタデータ） (2024-07-13T16:09:45Z)
• REXEL: An End-to-end Model for Document-Level Relation Extraction and Entity Linking [11.374031643273941]
  REXELは文書レベルcIE(DocIE)の共同作業のための高効率かつ高精度なモデルである 同様の環境では、競合する既存のアプローチよりも平均11倍高速です。 速度と精度の組み合わせにより、REXELはWebスケールで構造化された情報を抽出する正確なコスト効率のシステムとなる。
  論文  参考訳（メタデータ） (2024-04-19T11:04:27Z)
• Comparison of edge computing methods in Internet of Things architectures for efficient estimation of indoor environmental parameters with Machine Learning [0.0]
  室内環境品質(IEQ)パラメータを推定する軽量機械学習モデルを提案する。 その実装は、集中化された分散並列IoTアーキテクチャに基づいており、無線で接続されている。 MLモデルのトレーニングとテストは、小さな温度と照度データセットに焦点を当てた実験によって達成される。
  論文  参考訳（メタデータ） (2024-02-07T21:15:18Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Clinical Concept and Relation Extraction Using Prompt-based Machine Reading Comprehension [38.79665143111312]
  我々は,統合されたプロンプトベース機械読解アーキテクチャを用いて,臨床概念抽出と関係抽出の両方を定式化する。 MRCモデルと既存のディープラーニングモデルを比較し,概念抽出とエンドツーエンド関係抽出を行う。 クロスインスティテュート・セッティングにおいて,提案したMRCモデルの伝達学習能力を評価する。
  論文  参考訳（メタデータ） (2023-03-14T22:37:31Z)
• UNETR++: Delving into Efficient and Accurate 3D Medical Image Segmentation [93.88170217725805]
  本稿では,高画質なセグメンテーションマスクと,パラメータ,計算コスト,推論速度の両面での効率性を提供するUNETR++という3次元医用画像セグメンテーション手法を提案する。 我々の設計の核となるのは、空間的およびチャネル的な識別的特徴を効率的に学習する、新しい効率的な対注意ブロック(EPA)の導入である。 Synapse, BTCV, ACDC, BRaTs, Decathlon-Lungの5つのベンチマークで評価した結果, 効率と精度の両面で, コントリビューションの有効性が示された。
  論文  参考訳（メタデータ） (2022-12-08T18:59:57Z)
• Federated Learning for Energy-limited Wireless Networks: A Partial Model Aggregation Approach [79.59560136273917]
  デバイス間の限られた通信資源、帯域幅とエネルギー、およびデータ不均一性は、連邦学習(FL)の主要なボトルネックである まず、部分モデルアグリゲーション(PMA)を用いた新しいFLフレームワークを考案する。 提案されたPMA-FLは、2つの典型的な異種データセットにおいて2.72%と11.6%の精度を改善する。
  論文  参考訳（メタデータ） (2022-04-20T19:09:52Z)
• Time-Correlated Sparsification for Efficient Over-the-Air Model Aggregation in Wireless Federated Learning [23.05003652536773]
  Federated Edge Learning(FEEL)は、エッジインテリジェンスアプリケーションを駆動するための有望な分散機械学習(ML)フレームワークである。 通信効率の高いFEELのためのハイブリッドアグリゲーション(TCS-H)を用いた時間相関スペーシングを提案する。
  論文  参考訳（メタデータ） (2022-02-17T02:48:07Z)
• Deep Neural Networks Based Weight Approximation and Computation Reuse for 2-D Image Classification [0.9507070656654631]
  ディープニューラルネットワーク(DNN)は計算とメモリ集約である。 本稿では,近似計算とデータ再利用手法を融合させ,DNNs性能を改善する新しい手法を提案する。 IoTエッジデバイスに適しており、メモリサイズ要件と必要なメモリアクセス数を削減します。
  論文  参考訳（メタデータ） (2021-04-28T10:16:53Z)
• Deep Cellular Recurrent Network for Efficient Analysis of Time-Series Data with Spatial Information [52.635997570873194]
  本研究では,空間情報を用いた複雑な多次元時系列データを処理するための新しいディープセルリカレントニューラルネットワーク(DCRNN)アーキテクチャを提案する。 提案するアーキテクチャは,文献に比較して,学習可能なパラメータをかなり少なくしつつ,最先端の性能を実現している。
  論文  参考訳（メタデータ） (2021-01-12T20:08:18Z)
• Temporal Attention-Augmented Graph Convolutional Network for Efficient Skeleton-Based Human Action Recognition [97.14064057840089]
  グラフネットワーク(GCN)はユークリッド以外のデータ構造をモデル化するのに非常に成功した。 ほとんどのGCNベースのアクション認識手法は、計算量の多いディープフィードフォワードネットワークを使用して、全てのスケルトンをアクションで処理する。 本稿では,骨格に基づく行動認識の効率を高めるための時間的アテンションモジュール(TAM)を提案する。
  論文  参考訳（メタデータ） (2020-10-23T08:01:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。