論文の概要: Building blocks for complex tasks: Robust generative event extraction for radiology reports under domain shifts

• arxiv url: http://arxiv.org/abs/2306.09544v1
• Date: Thu, 15 Jun 2023 23:16:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-19 15:37:42.588333
• Title: Building blocks for complex tasks: Robust generative event extraction for radiology reports under domain shifts
• Title（参考訳）: 複雑なタスクのためのビルディングブロック:ドメインシフト下の放射線レポートに対するロバスト生成イベント抽出
• Authors: Sitong Zhou, Meliha Yetisgen, Mari Ostendorf
• Abstract要約: マルチパスT5ベースのテキスト・テキスト生成モデルでは、BERTベースのタスク固有分類層を用いた手法と比較して、試験モード間の一般化が優れていることを示す。 そこで我々は, 大規模コーパス処理を臨床応用に利用しやすくするため, モデルの推論コストを低減させる手法を開発した。
• 参考スコア（独自算出の注目度）: 11.845850292404768
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper explores methods for extracting information from radiology reports that generalize across exam modalities to reduce requirements for annotated data. We demonstrate that multi-pass T5-based text-to-text generative models exhibit better generalization across exam modalities compared to approaches that employ BERT-based task-specific classification layers. We then develop methods that reduce the inference cost of the model, making large-scale corpus processing more feasible for clinical applications. Specifically, we introduce a generative technique that decomposes complex tasks into smaller subtask blocks, which improves a single-pass model when combined with multitask training. In addition, we leverage target-domain contexts during inference to enhance domain adaptation, enabling use of smaller models. Analyses offer insights into the benefits of different cost reduction strategies.
• Abstract（参考訳）: 本稿では,アノテートデータの要求を減らし,試験モダリティにまたがって一般化する放射線学報告から情報を抽出する方法を検討する。 我々は,マルチパスT5ベースのテキスト・テキスト生成モデルにおいて,BERTベースのタスク固有分類層を用いた手法と比較して,試験モード間の一般化が優れていることを示した。 そこで我々は, 大規模コーパス処理を臨床応用に活用し, モデル推論コストを削減する手法を開発した。 具体的には、複雑なタスクを小さなサブタスクブロックに分解する生成手法を導入し、マルチタスクトレーニングと組み合わせてシングルパスモデルを改善する。 さらに、推論中にターゲットドメインコンテキストを活用してドメイン適応性を高め、より小さなモデルの利用を可能にします。 分析は、さまざまなコスト削減戦略のメリットに関する洞察を提供する。

関連論文リスト

• Lessons Learned on Information Retrieval in Electronic Health Records: A Comparison of Embedding Models and Pooling Strategies [8.822087602255504]
  大きな言語モデルを臨床領域に適用することは、医療記録を処理するという文脈重大な性質のために困難である。 本稿では, 組込みモデルとプール法の違いが臨床領域の情報検索に与える影響について検討する。
  論文  参考訳（メタデータ） (2024-09-23T16:16:08Z)
• Back to Basics: A Simple Recipe for Improving Out-of-Domain Retrieval in Dense Encoders [63.28408887247742]
  得られたモデルにおいて,より優れた一般化能力を得るために,トレーニング手順の改善が可能であるかを検討する。 我々は、高密度エンコーダをトレーニングするための簡単なレシピを推奨する: LoRAのようなパラメータ効率のよいMSMARCOのトレーニング。
  論文  参考訳（メタデータ） (2023-11-16T10:42:58Z)
• An Iterative Optimizing Framework for Radiology Report Summarization with ChatGPT [80.33783969507458]
  放射線医学報告の「印象」セクションは、放射線医と他の医師とのコミュニケーションにとって重要な基盤である。 近年の研究では、大規模医療用テキストデータを用いた印象自動生成の有望な成果が得られている。 これらのモデルは、しばしば大量の医療用テキストデータを必要とし、一般化性能が劣る。
  論文  参考訳（メタデータ） (2023-04-17T17:13:42Z)
• Meta-learning Pathologies from Radiology Reports using Variance Aware Prototypical Networks [3.464871689508835]
  本稿では,数ショットのテキスト分類のためのプロトタイプネットワークの簡易拡張を提案する。 我々の主な考えは、クラスプロトタイプをガウスに置き換え、サンプルを適切なクラスセントロイドの近くでクラスタ化することを奨励する正規化項を導入することである。
  論文  参考訳（メタデータ） (2022-10-22T05:22:29Z)
• Generalization Properties of Retrieval-based Models [50.35325326050263]
  検索ベースの機械学習手法は、幅広い問題で成功をおさめた。 これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。 本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
  論文  参考訳（メタデータ） (2022-10-06T00:33:01Z)
• Improving Meta-learning for Low-resource Text Classification and Generation via Memory Imitation [87.98063273826702]
  本稿では,メモリ模倣メタラーニング(MemIML)手法を提案する。 本手法の有効性を証明するために理論的解析を行った。
  論文  参考訳（メタデータ） (2022-03-22T12:41:55Z)
• A New Sentence Extraction Strategy for Unsupervised Extractive Summarization Methods [26.326800624948344]
  本稿では,情報理論の観点から,抽出テキスト要約手法の課題をモデル化する。 特徴分布の改善と要約文の相互情報の低減を目的として,新たな文抽出手法を提案する。
  論文  参考訳（メタデータ） (2021-12-06T18:00:02Z)
• HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
  HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。 単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2021-10-12T22:42:31Z)
• SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
  自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。 既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
  論文  参考訳（メタデータ） (2021-01-02T01:15:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。