論文の概要: Translating Simulation Images to X-ray Images via Multi-Scale Semantic Matching

• arxiv url: http://arxiv.org/abs/2304.07693v1
• Date: Sun, 16 Apr 2023 04:49:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-18 17:47:48.224845
• Title: Translating Simulation Images to X-ray Images via Multi-Scale Semantic Matching
• Title（参考訳）: マルチスケールセマンティックマッチングによるX線画像へのシミュレーション画像の変換
• Authors: Jingxuan Kang, Tudor Jianu, Baoru Huang, Binod Bhattarai, Ngan Le, Frans Coenen, and Anh Nguyen
• Abstract要約: 本稿では,血管内シミュレータからX線画像へのシミュレーション画像の変換手法を提案する。 入力画像と生成画像が同じ位置意味関係を持つことを保証するために,自己ドメイン意味マッチングを適用した。 提案手法は, 現実的なX線画像を生成し, 最先端のアプローチを大きなマージンで上回っている。
• 参考スコア（独自算出の注目度）: 16.175115921436582
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Endovascular intervention training is increasingly being conducted in virtual simulators. However, transferring the experience from endovascular simulators to the real world remains an open problem. The key challenge is the virtual environments are usually not realistically simulated, especially the simulation images. In this paper, we propose a new method to translate simulation images from an endovascular simulator to X-ray images. Previous image-to-image translation methods often focus on visual effects and neglect structure information, which is critical for medical images. To address this gap, we propose a new method that utilizes multi-scale semantic matching. We apply self-domain semantic matching to ensure that the input image and the generated image have the same positional semantic relationships. We further apply cross-domain matching to eliminate the effects of different styles. The intensive experiment shows that our method generates realistic X-ray images and outperforms other state-of-the-art approaches by a large margin. We also collect a new large-scale dataset to serve as the new benchmark for this task. Our source code and dataset will be made publicly available.
• Abstract（参考訳）: 仮想シミュレータでは血管内インターベンショントレーニングがますます行われている。 しかし, 血管内シミュレータから実世界へ体験を移すことは, 未解決の問題である。 重要な課題は、仮想環境は通常、現実的にシミュレートされないことだ。 本稿では,シミュレーション画像を血管内シミュレーターからx線画像に変換する新しい手法を提案する。 従来の画像から画像への翻訳手法は、しばしば視覚効果に焦点を当て、構造情報を無視する。 このギャップに対処するために,マルチスケール意味マッチングを用いた新しい手法を提案する。 入力画像と生成画像が同一の位置意味関係を持つことを保証するために,自己ドメイン意味マッチングを適用する。 さらに、異なるスタイルの影響を排除するために、クロスドメインマッチングを適用します。 集中的な実験により,本手法は現実的なx線画像を生成し,他の最先端手法を大差で上回ることを示した。 このタスクの新たなベンチマークとして,新たな大規模データセットも収集しています。 ソースコードとデータセットは公開される予定だ。

関連論文リスト

• Improving Human-Object Interaction Detection via Virtual Image Learning [68.56682347374422]
  人間-物体相互作用(Human-Object Interaction、HOI)は、人間と物体の相互作用を理解することを目的としている。 本稿では,仮想画像学習(Virtual Image Leaning, VIL)による不均衡分布の影響を軽減することを提案する。 ラベルからイメージへの新たなアプローチであるMultiple Steps Image Creation (MUSIC)が提案され、実際の画像と一貫した分布を持つ高品質なデータセットを作成する。
  論文  参考訳（メタデータ） (2023-08-04T10:28:48Z)
• Parents and Children: Distinguishing Multimodal DeepFakes from Natural Images [60.34381768479834]
  近年の拡散モデルの発展により、自然言語のテキストプロンプトから現実的なディープフェイクの生成が可能になった。 我々は、最先端拡散モデルにより生成されたディープフェイク検出に関する体系的研究を開拓した。
  論文  参考訳（メタデータ） (2023-04-02T10:25:09Z)
• AptSim2Real: Approximately-Paired Sim-to-Real Image Translation [8.208569626646035]
  Sim-to-real Transferは、シミュレーションされた画像を修正して、現実世界のデータにマッチさせる。 AptSim2Realは、シミュレーターが照明、環境、コンポジションの点で現実世界のシーンに似たシーンをゆるやかに生成できるという事実を活用している。 FIDスコアは最大で24%向上し, 質的, 定量的な改善が得られた。
  論文  参考訳（メタデータ） (2023-03-09T06:18:44Z)
• Unpaired Translation from Semantic Label Maps to Images by Leveraging Domain-Specific Simulations [11.638139969660266]
  シミュレーションされたラベルマップからフォトリアリスティックな画像を生成するためのコントラスト学習フレームワークを提案する。 提案手法は,現実的でシーンの正確な翻訳を生成する。
  論文  参考訳（メタデータ） (2023-02-21T14:36:18Z)
• Shape Reconstruction from Thoracoscopic Images using Self-supervised Virtual Learning [2.4493299476776778]
  内視鏡画像からの臓器の術中形状再構成は,画像ガイド下手術には複雑だが必須である。 シミュレーション画像と実画像間の共通潜時変数を用いた画像変換を用いた形状再構成の仮想学習フレームワークを提案する。 本研究では,胸腔鏡画像から崩壊肺の形状復元を目標とし,仮想学習が実画像と模擬画像の類似性を改善することを確認した。
  論文  参考訳（メタデータ） (2023-01-25T23:08:41Z)
• A Shared Representation for Photorealistic Driving Simulators [83.5985178314263]
  本稿では、識別器アーキテクチャを再考することにより、生成画像の品質を向上させることを提案する。 シーンセグメンテーションマップや人体ポーズといったセマンティックインプットによって画像が生成されるという問題に焦点が当てられている。 我々は,意味的セグメンテーション,コンテンツ再構成,および粗い粒度の逆解析を行うのに十分な情報をエンコードする,共有潜在表現を学習することを目指している。
  論文  参考訳（メタデータ） (2021-12-09T18:59:21Z)
• Towards Optimal Strategies for Training Self-Driving Perception Models in Simulation [98.51313127382937]
  合成ドメインのみにおけるラベルの使用に焦点を当てる。 提案手法では,ニューラル不変表現の学習方法と,シミュレータからデータをサンプリングする方法に関する理論的にインスピレーションを得た視点を導入する。 マルチセンサーデータを用いた鳥眼視車両分割作業におけるアプローチについて紹介する。
  論文  参考訳（メタデータ） (2021-11-15T18:37:43Z)
• Long-Term Temporally Consistent Unpaired Video Translation from Simulated Surgical 3D Data [0.059110875077162096]
  本稿では,画像翻訳とニューラルレンダリングを併用して,写真リアルな腹部手術シーンにシミュレートする手法を提案する。 グローバル学習可能なテクスチャと照明不変のビューコンシスタンス損失を導入することにより,任意のビューの一貫した翻訳を生成する。 既存の画像ベース手法をビュー一貫性ビデオに拡張することにより,シミュレートされたトレーニングおよび手術用評価環境の適用性に影響を与えることを目指す。
  論文  参考訳（メタデータ） (2021-03-31T16:31:26Z)
• Learning Ultrasound Rendering from Cross-Sectional Model Slices for Simulated Training [13.640630434743837]
  計算シミュレーションは、バーチャルリアリティーにおけるそのようなスキルの訓練を容易にする。 インタラクティブな時間に任意のレンダリングやシミュレーションプロセスをバイパスするためにここに提案します。 我々は、専用のジェネレータアーキテクチャと入力供給方式を備えた生成的対向フレームワークを使用する。
  論文  参考訳（メタデータ） (2021-01-20T21:58:19Z)
• Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image Decomposition [67.9464567157846]
  合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。 実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2020-06-29T12:53:58Z)
• Self-Supervised Linear Motion Deblurring [112.75317069916579]
  深層畳み込みニューラルネットワークは、画像の劣化の最先端技術である。 本稿では,自己監督型動作遅延に対する識別可能なreblurモデルを提案する。 我々の実験は、自己監督された単一画像の劣化が本当に実現可能であることを実証した。
  論文  参考訳（メタデータ） (2020-02-10T20:15:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。