論文の概要: Guidance in Radiology Report Summarization: An Empirical Evaluation and Error Analysis

• arxiv url: http://arxiv.org/abs/2307.12803v1
• Date: Mon, 24 Jul 2023 13:54:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-25 14:13:28.359401
• Title: Guidance in Radiology Report Summarization: An Empirical Evaluation and Error Analysis
• Title（参考訳）: 放射線学会報告書要約の指導 : 実証的評価と誤差分析
• Authors: Jan Trienes, Paul Youssef, J\"org Schl\"otterer, Christin Seifert
• Abstract要約: 本稿では,放射線診断レポートの要約のためのドメインに依存しない誘導信号を提案する。 我々は,11のきめ細かい誤りの分類に従って,4つのシステムについて専門的な評価を行う。 その結果, 自動要約と放射線科医の違いは, 内容選択に関係していることが判明した。
• 参考スコア（独自算出の注目度）: 3.0204520109309847
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatically summarizing radiology reports into a concise impression can reduce the manual burden of clinicians and improve the consistency of reporting. Previous work aimed to enhance content selection and factuality through guided abstractive summarization. However, two key issues persist. First, current methods heavily rely on domain-specific resources to extract the guidance signal, limiting their transferability to domains and languages where those resources are unavailable. Second, while automatic metrics like ROUGE show progress, we lack a good understanding of the errors and failure modes in this task. To bridge these gaps, we first propose a domain-agnostic guidance signal in form of variable-length extractive summaries. Our empirical results on two English benchmarks demonstrate that this guidance signal improves upon unguided summarization while being competitive with domain-specific methods. Additionally, we run an expert evaluation of four systems according to a taxonomy of 11 fine-grained errors. We find that the most pressing differences between automatic summaries and those of radiologists relate to content selection including omissions (up to 52%) and additions (up to 57%). We hypothesize that latent reporting factors and corpus-level inconsistencies may limit models to reliably learn content selection from the available data, presenting promising directions for future work.
• Abstract（参考訳）: 放射線報告書を自動的に簡潔な印象に要約することで、臨床医の手動負担を軽減し、報告の一貫性を向上させることができる。 それまでの作業は、ガイド付き抽象要約によるコンテンツ選択と事実性の向上を目的としていた。 しかし、2つの重要な問題が続いている。 まず、現在のメソッドはガイダンスシグナルを抽出するためにドメイン固有のリソースに大きく依存し、それらのリソースが利用できないドメインや言語への転送可能性を制限する。 第二に、ROUGEのような自動メトリクスは進捗を示すが、このタスクのエラーや障害モードについて十分に理解していない。 これらのギャップを橋渡しするために,まず,可変長抽出要約の形でドメインに依存しない誘導信号を提案する。 2つの英語ベンチマークによる実験結果から,この誘導信号は,ドメイン固有手法と競合しながら,誘導されていない要約により改善することが示された。 さらに,11のきめ細かい誤差の分類に基づいて,4つのシステムについて専門家による評価を行った。 その結果, 自動要約と放射線科医の違いは, 排便量 (最大52%) や追加量 (最大57%) など, コンテンツ選択に関係していることがわかった。 我々は、潜在的な報告要因やコーパスレベルの不整合が、利用可能なデータからコンテンツ選択を確実に学習するモデルを制限する可能性があり、将来的な作業の方向性を示すことを仮定する。

関連論文リスト

• Domain-specific Guided Summarization for Mental Health Posts [18.754472525614304]
  デュアルエンコーダと適応デコーダを備えたガイド付き要約器を提案する。 生成した要約の誤りを正すための編集後修正モデルを提案する。 実験はメンタルヘルスのポスト用に特別に設計されていますが、私たちが開発した方法論は幅広い適用性を提供します。
  論文  参考訳（メタデータ） (2024-11-03T08:57:41Z)
• DEE: Dual-stage Explainable Evaluation Method for Text Generation [21.37963672432829]
  テキスト生成の品質を推定するための2段階説明可能な評価手法であるDEEを紹介する。 Llama 2 上に構築された DEE は、生成したテキスト中のエラーの効率的な識別を行うためのステージ固有の命令によって導かれる2段階の原理に従う。 このデータセットは、幻覚や毒性などの新たな問題に対処し、DEEの評価基準の範囲を広げる。
  論文  参考訳（メタデータ） (2024-03-18T06:30:41Z)
• Goodhart's Law Applies to NLP's Explanation Benchmarks [57.26445915212884]
  ERASER(Comprehensiveness and sufficiency)メトリクスとEVAL-X(EVAL-X)メトリクスの2つのセットを批判的に検討する。 実験結果の予測や説明を変えることなく,モデル全体の包括性と充足率を劇的に向上させることができることを示す。 我々の結果は、現在のメトリクスが説明可能性の研究をガイドする能力に疑問を呈し、これらのメトリクスが正確に捉えるものを再評価する必要性を強調します。
  論文  参考訳（メタデータ） (2023-08-28T03:03:03Z)
• Salience Allocation as Guidance for Abstractive Summarization [61.31826412150143]
  本稿では, サリエンセ・サリエンス・ガイダンス(SEASON, SaliencE Allocation as Guidance for Abstractive SummarizatiON)を用いた新しい要約手法を提案する。 SEASONは、サリエンス予測の割り当てを利用して抽象的な要約を導き、異なる抽象性のある記事に順応する。
  論文  参考訳（メタデータ） (2022-10-22T02:13:44Z)
• Differentiable Multi-Agent Actor-Critic for Multi-Step Radiology Report Summarization [5.234281904315526]
  放射線医学報告のIpressionIONSセクションは、放射線技師の推論と結論の要約である。 放射線学レポートの要約に関する以前の研究は、単一段階のエンドツーエンドモデルに焦点が当てられていた。 抽出的要約と抽象的要約という2段階のアプローチを提案する。
  論文  参考訳（メタデータ） (2022-03-15T21:18:09Z)
• Radiology Report Generation with a Learned Knowledge Base and Multi-modal Alignment [27.111857943935725]
  胸部X線からのレポート生成のための自動マルチモーダルアプローチを提案する。 本手法は,学習知識ベースとマルチモーダルアライメントの2つの異なるモジュールを特徴とする。 両モジュールの助けを借りて、我々のアプローチは明らかに最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2021-12-30T10:43:56Z)
• Weakly Supervised Contrastive Learning for Chest X-Ray Report Generation [3.3978173451092437]
  放射線画像から記述テキストを自動的に生成することを目的とした放射線学レポート生成。 典型的な設定は、エンコーダとデコーダのモデルを、クロスエントロピー損失のあるイメージレポートペアでトレーニングする。 本稿では,医療報告生成におけるコントラスト損失の弱化について提案する。
  論文  参考訳（メタデータ） (2021-09-25T00:06:23Z)
• SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
  本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。 そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
  論文  参考訳（メタデータ） (2021-09-24T17:37:35Z)
• Text Mining to Identify and Extract Novel Disease Treatments From Unstructured Datasets [56.38623317907416]
  Google Cloudを使って、NPRラジオ番組のポッドキャストのエピソードを書き起こします。 次に、テキストを体系的に前処理するためのパイプラインを構築します。 我々のモデルは、Omeprazoleが心臓熱傷の治療に役立てることに成功しました。
  論文  参考訳（メタデータ） (2020-10-22T19:52:49Z)
• SummEval: Re-evaluating Summarization Evaluation [169.622515287256]
  総合的かつ一貫した方法で14の自動評価指標を再評価する。 上記の自動評価指標を用いて,最近の要約モデル23をベンチマークした。 我々は、CNN/DailyMailニュースデータセットでトレーニングされたモデルによって生成された最大の要約コレクションを組み立てる。
  論文  参考訳（メタデータ） (2020-07-24T16:25:19Z)
• Exploring Explainable Selection to Control Abstractive Summarization [51.74889133688111]
  説明可能性を重視した新しいフレームワークを開発する。 新しいペアワイズ行列は、文の相互作用、中心性、属性スコアをキャプチャする。 コンストラクタ内の文分割アテンション機構は、最終要約が所望のコンテンツを強調することを保証する。
  論文  参考訳（メタデータ） (2020-04-24T14:39:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。