論文の概要: P-Transformer: A Prompt-based Multimodal Transformer Architecture For Medical Tabular Data

• arxiv url: http://arxiv.org/abs/2303.17408v3
• Date: Tue, 9 Jan 2024 10:28:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-10 20:41:09.944370
• Title: P-Transformer: A Prompt-based Multimodal Transformer Architecture For Medical Tabular Data
• Title（参考訳）: P-Transformer:医療用タブラリデータのためのプロンプト型マルチモーダルトランスアーキテクチャ
• Authors: Yucheng Ruan, Xiang Lan, Daniel J. Tan, Hairil Rizal Abdullah, Mengling Feng
• Abstract要約: 本稿では,P-Transformerを提案する。 このフレームワークは、構造化データと非構造化データの両方から、多彩なモダリティを調和した言語意味空間に効率的にエンコードする。 P-Transformerは、RMSE/MAEで10.9%/11.0%、RMSE/MAEで0.5%/2.2%、BACC/AUROCで1.6%/0.8%、予測可能性でSOTA(State-of-the-art)ベースラインと比較して改善した。
• 参考スコア（独自算出の注目度）: 2.6487114372147182
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Medical tabular data, abundant in Electronic Health Records (EHRs), is a valuable resource for diverse medical tasks such as risk prediction. While deep learning approaches, particularly transformer-based models, have shown remarkable performance in tabular data prediction, there are still problems remained for existing work to be effectively adapted into medical domain, such as under-utilization of unstructured free-texts, limited exploration of textual information in structured data, and data corruption. To address these issues, we propose P-Transformer, a Prompt-based multimodal Transformer architecture designed specifically for medical tabular data. This framework consists two critical components: a tabular cell embedding generator and a tabular transformer. The former efficiently encodes diverse modalities from both structured and unstructured tabular data into a harmonized language semantic space with the help of pre-trained sentence encoder and medical prompts. The latter integrates cell representations to generate patient embeddings for various medical tasks. In comprehensive experiments on two real-world datasets for three medical tasks, P-Transformer demonstrated the improvements with 10.9%/11.0% on RMSE/MAE, 0.5%/2.2% on RMSE/MAE, and 1.6%/0.8% on BACC/AUROC compared to state-of-the-art (SOTA) baselines in predictability. Notably, the model exhibited strong resilience to data corruption in the structured data, particularly when the corruption rates are high.
• Abstract（参考訳）: 電子健康記録(ehrs)に豊富に存在する医療表データは、リスク予測のような様々な医療タスクにとって貴重な資源である。 ディープラーニングのアプローチ、特にトランスフォーマーベースのモデルは、表データ予測において顕著なパフォーマンスを示しているが、未構造化のフリーテキストの活用不足、構造化データにおけるテキスト情報の探索の制限、データ破損など、既存の作業が医学領域に効果的に適応するための課題はまだ残っている。 そこで我々は,医療用表データ専用に設計されたプロンプトベースのマルチモーダルトランスフォーマーであるp-transformerを提案する。 このフレームワークは、表層細胞埋め込みジェネレータと表層トランスフォーマーの2つの重要なコンポーネントから構成される。 前者は、事前訓練された文エンコーダと医用プロンプトの助けを借りて、構造化および非構造化の表データから調和した言語意味空間へ、多彩なモダリティを効率的に符号化する。 後者は細胞表現を統合し、様々な医療タスクのための患者埋め込みを生成する。 P-Transformerは3つの医療タスクのための2つの実世界のデータセットに関する総合的な実験で、RMSE/MAEで10.9%/11.0%、RMSE/MAEで0.5%/2.2%、BACC/AUROCで1.6%/0.8%の改善を予測可能性で示した。 特にこのモデルは,特に腐敗率が高い場合には,構造化データのデータ破損に対する強いレジリエンスを示した。

関連論文リスト

• MEDFuse: Multimodal EHR Data Fusion with Masked Lab-Test Modeling and Large Language Models [11.798375238713488]
  MEDFuseは構造化および非構造化の医療データを統合するフレームワークである。 10種類のマルチラベル分類タスクにおいて、90%以上のF1スコアを達成している。
  論文  参考訳（メタデータ） (2024-07-17T04:17:09Z)
• DictLLM: Harnessing Key-Value Data Structures with Large Language Models for Enhanced Medical Diagnostics [36.057925881268226]
  DictLLMは、医学実験室報告のようなキーバリュー構造化データのモデリングを改善するために設計された革新的なフレームワークである。 診断自動生成のための総合的な実世界医療実験室レポートデータセットを用いて,様々なLCMモデルを用いた実験を行った。
  論文  参考訳（メタデータ） (2024-02-18T07:10:02Z)
• Unifying Structured Data as Graph for Data-to-Text Pre-Training [69.96195162337793]
  Data-to-text (D2T) の生成は、構造化されたデータを自然言語テキストに変換することを目的としている。 データからテキストへの事前学習は、D2T生成の強化に強力であることが証明された。 構造強化トランスを設計し,D2T生成のための構造強化事前学習手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T12:23:49Z)
• Interpretable Medical Diagnostics with Structured Data Extraction by Large Language Models [59.89454513692417]
  タブラルデータはしばしばテキストに隠され、特に医学的診断報告に使用される。 本稿では,TEMED-LLM と呼ばれるテキスト医療報告から構造化表状データを抽出する手法を提案する。 本手法は,医学診断における最先端のテキスト分類モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-08T09:12:28Z)
• MediTab: Scaling Medical Tabular Data Predictors via Data Consolidation, Enrichment, and Refinement [44.693325083735424]
  患者の健康リスク予測などの医療応用において,タブラルデータ予測が採用されている。 以前の予測子は、手動でキュレートされた小さなデータセットでトレーニングされることが多い。
  論文  参考訳（メタデータ） (2023-05-20T03:37:09Z)
• Structural Biases for Improving Transformers on Translation into Morphologically Rich Languages [120.74406230847904]
  TP-Transformerは従来のTransformerアーキテクチャを拡張し、構造を表現するコンポーネントを追加する。 第2の方法は、形態的トークン化でデータをセグメント化することで、データレベルで構造を付与する。 これらの2つのアプローチのそれぞれが、ネットワークがより良いパフォーマンスを達成することを可能にすることは分かっていますが、この改善はデータセットのサイズに依存します。
  論文  参考訳（メタデータ） (2022-08-11T22:42:24Z)
• Medical Scientific Table-to-Text Generation with Human-in-the-Loop under the Data Sparsity Constraint [11.720364723821993]
  効率的なテーブル・ツー・テキスト要約システムは、このデータをレポートにまとめる手作業を大幅に減らすことができる。 しかし、実際には、この問題は、正確で信頼性の高い出力を生成するための最先端の自然言語生成モデルの、データポーカリティ、データポーサリティ、および機能不全によって大きく妨げられている。 本稿では, 自動補正, コピー機構, 合成データ拡張によって強化された新しい2段階アーキテクチャを用いて, テーブル・ツー・テキスト・アプローチを提案し, それらの課題に対処する。
  論文  参考訳（メタデータ） (2022-05-24T21:10:57Z)
• AlignTransformer: Hierarchical Alignment of Visual Regions and Disease Tags for Medical Report Generation [50.21065317817769]
  本稿では,Align Hierarchical Attention (AHA)とMulti-Grained Transformer (MGT)モジュールを含むAlign Transformerフレームワークを提案する。 パブリックなIU-XrayとMIMIC-CXRデータセットの実験は、AlignTransformerが2つのデータセットの最先端メソッドと競合する結果が得られることを示している。
  論文  参考訳（メタデータ） (2022-03-18T13:43:53Z)
• Heterogeneous electronic medical record representation for similarity computing [3.039568795810294]
  患者類似度評価は、特定の患者に類似している患者を識別するための二次タスクの1つです。 本稿では,EMR(Electronic Medical Records)の新しいデータ表現手法について検討する。 本研究では,非構造化データと構造化データを用いて,症状,症状,疾患を含むさまざまな医療イベントの同時発生を捉える手法を提案する。
  論文  参考訳（メタデータ） (2021-04-29T09:38:14Z)
• Medical Transformer: Gated Axial-Attention for Medical Image Segmentation [73.98974074534497]
  医用画像分割タスクにおけるトランスフォーマティブネットワークアーキテクチャの利用可能性について検討する。 セルフアテンションモジュールに追加の制御機構を導入することで,既存のアーキテクチャを拡張するGated Axial-Attentionモデルを提案する。 医療画像上で効果的にモデルを訓練するために,さらにパフォーマンスを向上させる局所的グローバルトレーニング戦略 (logo) を提案する。
  論文  参考訳（メタデータ） (2021-02-21T18:35:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。