論文の概要: FITA: Fine-grained Image-Text Aligner for Radiology Report Generation

• arxiv url: http://arxiv.org/abs/2405.00962v1
• Date: Thu, 2 May 2024 02:58:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-03 18:04:13.456124
• Title: FITA: Fine-grained Image-Text Aligner for Radiology Report Generation
• Title（参考訳）: FITA: 放射線学レポート生成のための微細な画像テキストアグリゲータ
• Authors: Honglong Yang, Hui Tang, Xiaomeng Li,
• Abstract要約: 本稿では,画像特徴とテキスト特徴の微粒化アライメントを構築するために,FITA ( Fine-fine Image-Text Aligner) と呼ばれる新しい手法を提案する。 Image Feature Refiner (IFR)、Text Feature Refiner (TFR)、Contrastive Aligner (CA)の3つの新しいデザインがある。 本研究では,視覚領域の異常な症状を効果的に解き放つためにサリエンシマップを活用するとともに,精密に構築した三重奏法を用いて訓練を行った。
• 参考スコア（独自算出の注目度）: 11.832444540281237
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Radiology report generation aims to automatically generate detailed and coherent descriptive reports alongside radiology images. Previous work mainly focused on refining fine-grained image features or leveraging external knowledge. However, the precise alignment of fine-grained image features with corresponding text descriptions has not been considered. This paper presents a novel method called Fine-grained Image-Text Aligner (FITA) to construct fine-grained alignment for image and text features. It has three novel designs: Image Feature Refiner (IFR), Text Feature Refiner (TFR) and Contrastive Aligner (CA). IFR and TFR aim to learn fine-grained image and text features, respectively. We achieve this by leveraging saliency maps to effectively fuse symptoms with corresponding abnormal visual regions, and by utilizing a meticulously constructed triplet set for training. Finally, CA module aligns fine-grained image and text features using contrastive loss for precise alignment. Results show that our method surpasses existing methods on the widely used benchmark
• Abstract（参考訳）: 放射線学レポート生成は、放射線学画像と並行して詳細で一貫性のある記述レポートを自動生成することを目的としている。 これまでの研究は主に、きめ細かい画像の特徴の精細化や外部知識の活用に重点を置いていた。 しかし、細かな画像特徴と対応するテキスト記述との正確なアライメントは考慮されていない。 本稿では,画像特徴とテキスト特徴の微粒化アライメントを構築するために,FITA ( Fine-fine Image-Text Aligner) と呼ばれる新しい手法を提案する。 Image Feature Refiner (IFR)、Text Feature Refiner (TFR)、Contrastive Aligner (CA)の3つの新しいデザインがある。 IFRとTFRはそれぞれ、きめ細かい画像とテキストの特徴を学習することを目指している。 本研究では,視覚領域の異常な症状を効果的に解き放つためにサリエンシマップを活用するとともに,精密に構築した三重奏法を用いて訓練を行った。 最後に、CAモジュールは、正確なアライメントのためにコントラッシブロスを使用して、きめ細かい画像とテキストの特徴を整列する。 その結果,提案手法は広く用いられているベンチマークにおいて既存の手法を超越していることがわかった。

関連論文リスト

• FINEMATCH: Aspect-based Fine-grained Image and Text Mismatch Detection and Correction [66.98008357232428]
  我々は新しいアスペクトベースのきめ細かいテキストと画像マッチングベンチマークであるFineMatchを提案する。 FineMatchはテキストと画像のミスマッチの検出と修正に焦点を当てている。 FineMatchで訓練されたモデルは、きめ細かいテキストや画像のミスマッチを検出する能力の向上を示す。
  論文  参考訳（メタデータ） (2024-04-23T03:42:14Z)
• Improving Cross-modal Alignment with Synthetic Pairs for Text-only Image Captioning [13.357749288588039]
  以前の作業では、教師なし設定下でのテキスト情報のみに依存して、画像キャプションのためのCLIPのクロスモーダルアソシエーション機能を活用していた。 本稿では,合成画像とテキストのペアを組み込むことにより,これらの問題に対処する新しい手法を提案する。 テキストデータに対応する画像を得るために、事前訓練されたテキスト・ツー・イメージモデルが配置され、CLIP埋め込み空間の実際の画像に対して、生成された画像の擬似特徴を最適化する。
  論文  参考訳（メタデータ） (2023-12-14T12:39:29Z)
• Fine-grained Cross-modal Fusion based Refinement for Text-to-Image Synthesis [12.954663420736782]
  本稿では,FF-GAN と呼ばれるファイングラファスなテキストイメージベースのジェネレーティブ・アドバーサリアル・ネットワークを提案する。 FF-GANは、微細なテキストイメージ融合ブロック(FF-Block)とGSR(Global Semantic Refinement)の2つのモジュールで構成されている。
  論文  参考訳（メタデータ） (2023-02-17T05:44:05Z)
• HGAN: Hierarchical Graph Alignment Network for Image-Text Retrieval [13.061063817876336]
  画像テキスト検索のための階層型グラフアライメントネットワーク(HGAN)を提案する。 まず、包括的マルチモーダル特徴を捉えるために、画像の特徴グラフとテキストのモダリティをそれぞれ構築する。 そして、MFAR(Multi-granularity Feature Aggregation and Rearrangement)モジュールを設計した多粒性共有空間を構築する。 最後に、最終的な画像とテキストの特徴は、階層的アライメントを達成するために、3レベル類似関数によってさらに洗練される。
  論文  参考訳（メタデータ） (2022-12-16T05:08:52Z)
• Knowledge Mining with Scene Text for Fine-Grained Recognition [53.74297368412834]
  本研究では,シーンテキスト画像の背景にある暗黙的な文脈知識をマイニングする,エンドツーエンドのトレーニング可能なネットワークを提案する。 我々は,KnowBertを用いて意味表現の関連知識を検索し,それを画像特徴と組み合わせ,きめ細かい分類を行う。 本手法は,3.72%のmAPと5.39%のmAPをそれぞれ上回っている。
  論文  参考訳（メタデータ） (2022-03-27T05:54:00Z)
• OptGAN: Optimizing and Interpreting the Latent Space of the Conditional Text-to-Image GANs [8.26410341981427]
  生成したサンプルが信頼でき、現実的、あるいは自然であることを保証する方法について研究する。 本稿では,条件付きテキスト・ツー・イメージGANアーキテクチャの潜在空間における意味論的理解可能な方向を識別するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-02-25T20:00:33Z)
• DAE-GAN: Dynamic Aspect-aware GAN for Text-to-Image Synthesis [55.788772366325105]
  本研究では,文レベル,単語レベル,アスペクトレベルを含む複数の粒度からテキスト情報を包括的に表現する動的アスペクト・アワーン(DAE-GAN)を提案する。 人間の学習行動にインスパイアされた画像改善のためのADR(Aspect-aware Dynamic Re-drawer)を開発し,AGR(Attended Global Refinement)モジュールとALR(Aspect-aware Local Refinement)モジュールを交互に使用する。
  論文  参考訳（メタデータ） (2021-08-27T07:20:34Z)
• Text-to-Image Generation Grounded by Fine-Grained User Attention [62.94737811887098]
  Localized Narrativesは、マウストレースと組み合わせた画像の詳細な自然言語記述を備えたデータセットである。 本稿では、このグラウンド化を利用して画像を生成するシーケンシャルモデルであるTReCSを提案する。
  論文  参考訳（メタデータ） (2020-11-07T13:23:31Z)
• DF-GAN: A Simple and Effective Baseline for Text-to-Image Synthesis [80.54273334640285]
  本稿では,異なる生成装置間の絡み合わずに高解像度画像を直接合成する,新しい1段階のテキスト・ツー・イメージバックボーンを提案する。 また,Matching-Aware Gradient Penalty と One-Way Output を組み合わせた新たなターゲット認識識別器を提案する。 現在の最先端手法と比較して,提案するDF-GANはよりシンプルだが,現実的およびテキストマッチング画像の合成には効率的である。
  論文  参考訳（メタデータ） (2020-08-13T12:51:17Z)
• Auxiliary Signal-Guided Knowledge Encoder-Decoder for Medical Report Generation [107.3538598876467]
  放射線技師の動作パターンを模倣する補助信号誘導知識デコーダ(ASGK)を提案する。 ASGKは、内的特徴融合と外部医療言語情報を統合して、医療知識の伝達と学習をガイドする。
  論文  参考訳（メタデータ） (2020-06-06T01:00:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。