論文の概要: Token Imbalance Adaptation for Radiology Report Generation
- arxiv url: http://arxiv.org/abs/2304.09185v1
- Date: Tue, 18 Apr 2023 23:09:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-20 16:34:51.720136
- Title: Token Imbalance Adaptation for Radiology Report Generation
- Title(参考訳): 放射線レポート生成のためのトークン不均衡適応
- Authors: Yuexin Wu, I-Chan Huang, Xiaolei Huang
- Abstract要約: 不均衡なトークンの分布はテキスト文書に自然に存在するため、ニューラルネットワークモデルは頻繁なトークンに過度に適合する。
現在の最先端モデルは、2つのベンチマークデータセットで頻繁なトークンを生成できない。
textbfToken textbfIm Balance Adapttextbfer (textitTIMER) を提案する。
- 参考スコア(独自算出の注目度): 9.797473257499414
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Imbalanced token distributions naturally exist in text documents, leading
neural language models to overfit on frequent tokens. The token imbalance may
dampen the robustness of radiology report generators, as complex medical terms
appear less frequently but reflect more medical information. In this study, we
demonstrate how current state-of-the-art models fail to generate infrequent
tokens on two standard benchmark datasets (IU X-RAY and MIMIC-CXR) of radiology
report generation. % However, no prior study has proposed methods to adapt
infrequent tokens for text generators feeding with medical images. To solve the
challenge, we propose the \textbf{T}oken \textbf{Im}balance Adapt\textbf{er}
(\textit{TIMER}), aiming to improve generation robustness on infrequent tokens.
The model automatically leverages token imbalance by an unlikelihood loss and
dynamically optimizes generation processes to augment infrequent tokens. We
compare our approach with multiple state-of-the-art methods on the two
benchmarks. Experiments demonstrate the effectiveness of our approach in
enhancing model robustness overall and infrequent tokens. Our ablation analysis
shows that our reinforcement learning method has a major effect in adapting
token imbalance for radiology report generation.
- Abstract(参考訳): 不均衡なトークン分布はテキスト文書に自然に存在するため、ニューラルネットワークモデルは頻繁なトークンに過剰に適合する。
トークンの不均衡は、複雑な医療用語が頻繁に現れるが、より多くの医療情報を反映しているため、放射線レポートジェネレータの堅牢さを損なう可能性がある。
本研究では,放射線学レポート生成の2つの標準ベンチマークデータセット (IU X-RAY と MIMIC-CXR) 上で,現在の最先端モデルが頻繁なトークンを生成できないことを示す。
%, 医療用画像を用いたテキスト生成装置において, 頻繁なトークンを適応させる手法は提案されていない。
この課題を解決するために,不適切なトークンの生成ロバスト性を改善することを目的とした, \textbf{t}oken \textbf{im}balance adapt\textbf{er} (\textit{timer})を提案する。
このモデルはトークンの不均衡を不規則な損失によって自動的に利用し、生成プロセスを動的に最適化し、頻繁なトークンを増やす。
提案手法を2つのベンチマークで複数の最先端手法と比較する。
実験は,モデルロバスト性を高めるための手法の有効性を実証する。
アブレーション解析の結果, 放射線レポート生成におけるトークン不均衡の適応には強化学習法が大きな影響を与えていることがわかった。
関連論文リスト
- Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳(メタデータ) (2023-12-27T09:03:43Z) - MCRAGE: Synthetic Healthcare Data for Fairness [3.0089659534785853]
医療データセットは、人種や民族、性別、年齢などのセンシティブな属性の観点から、しばしば不均衡である。
そこで本稿では,MCRAGE (Generative Modeling) の強化による不均衡データセットの増大によるマイノリティクラス再バランスを提案する。
論文 参考訳(メタデータ) (2023-10-27T19:02:22Z) - WeCheck: Strong Factual Consistency Checker via Weakly Supervised
Learning [40.5830891229718]
本稿では,複数のリソースを集約して,正確かつ効率的な実測値(WeCheck)をトレーニングする,弱教師付きフレームワークを提案する。
様々なタスクに関する総合的な実験は、平均してTRUEベンチマークにおける従来の最先端手法よりも3.4%の絶対的な改善を実現するWeCheckの強い性能を示す。
論文 参考訳(メタデータ) (2022-12-20T08:04:36Z) - Weakly Supervised Contrastive Learning for Chest X-Ray Report Generation [3.3978173451092437]
放射線画像から記述テキストを自動的に生成することを目的とした放射線学レポート生成。
典型的な設定は、エンコーダとデコーダのモデルを、クロスエントロピー損失のあるイメージレポートペアでトレーニングする。
本稿では,医療報告生成におけるコントラスト損失の弱化について提案する。
論文 参考訳(メタデータ) (2021-09-25T00:06:23Z) - Many-to-One Distribution Learning and K-Nearest Neighbor Smoothing for
Thoracic Disease Identification [83.6017225363714]
ディープラーニングは、病気の識別性能を改善するための最も強力なコンピュータ支援診断技術となった。
胸部X線撮影では、大規模データの注釈付けには専門的なドメイン知識が必要で、時間を要する。
本論文では、単一モデルにおける疾患同定性能を改善するために、複数対1の分布学習(MODL)とK-nearest neighbor smoothing(KNNS)手法を提案する。
論文 参考訳(メタデータ) (2021-02-26T02:29:30Z) - Understanding Neural Abstractive Summarization Models via Uncertainty [54.37665950633147]
seq2seq抽象要約モデルは、自由形式の方法でテキストを生成する。
モデルのトークンレベルの予測のエントロピー、すなわち不確実性について検討する。
要約とテキスト生成モデルをより広範囲に解析する上で,不確実性は有用であることを示す。
論文 参考訳(メタデータ) (2020-10-15T16:57:27Z) - On Long-Tailed Phenomena in Neural Machine Translation [50.65273145888896]
最先端のニューラルネットワーク翻訳(NMT)モデルは、低周波トークンの生成に苦労する。
条件付きテキスト生成における構造的依存関係にモデルトレーニングを適応させるために,新たな損失関数である反焦点損失を提案する。
提案手法は,複数の機械翻訳(MT)データセットに対して有効であり,クロスエントロピーよりも顕著に向上することを示す。
論文 参考訳(メタデータ) (2020-10-10T07:00:57Z) - Token-level Adaptive Training for Neural Machine Translation [84.69646428587548]
異なるトークンが異なる周波数で現れるため、自然言語にはトークンの不均衡現象が存在する。
バニラNMTモデルは、通常、異なる周波数のターゲットトークンに対して、自明な等重の目的を採用する。
低周波トークンは、無視された後に翻訳品質に影響を与える重要な意味情報を運ぶことができる。
論文 参考訳(メタデータ) (2020-10-09T05:55:05Z) - Learning Visual-Semantic Embeddings for Reporting Abnormal Findings on
Chest X-rays [6.686095511538683]
本研究は放射線画像の異常所見の報告に焦点を当てる。
本稿では, レポートから異常な発見を識別し, 教師なしクラスタリングと最小限のルールで分類する手法を提案する。
本手法は, 異常所見を回収し, 臨床正当性およびテキスト生成量の両方で既存の世代モデルより優れていることを示す。
論文 参考訳(メタデータ) (2020-10-06T04:18:18Z) - LAVA NAT: A Non-Autoregressive Translation Model with Look-Around
Decoding and Vocabulary Attention [54.18121922040521]
非自己回帰翻訳(NAT)モデルは、1つの前方通過で複数のトークンを生成する。
これらのNATモデルは、しばしば多重性の問題に悩まされ、重複トークンや欠落トークンを生成する。
本稿では,この問題を解決するための新しい方法として,Look-Around(LA)戦略とVocabulary Attention(VA)メカニズムを提案する。
論文 参考訳(メタデータ) (2020-02-08T04:11:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。