論文の概要: Unpaired Translation from Semantic Label Maps to Images by Leveraging Domain-Specific Simulations

• arxiv url: http://arxiv.org/abs/2302.10698v1
• Date: Tue, 21 Feb 2023 14:36:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-22 14:54:07.771755
• Title: Unpaired Translation from Semantic Label Maps to Images by Leveraging Domain-Specific Simulations
• Title（参考訳）: ドメイン特化シミュレーションの活用によるセマンティックラベルマップから画像への未ペア翻訳
• Authors: Lin Zhang, Tiziano Portenier, Orcun Goksel
• Abstract要約: シミュレーションされたラベルマップからフォトリアリスティックな画像を生成するためのコントラスト学習フレームワークを提案する。 提案手法は,現実的でシーンの正確な翻訳を生成する。
• 参考スコア（独自算出の注目度）: 11.638139969660266
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Photorealistic image generation from simulated label maps are necessitated in several contexts, such as for medical training in virtual reality. With conventional deep learning methods, this task requires images that are paired with semantic annotations, which typically are unavailable. We introduce a contrastive learning framework for generating photorealistic images from simulated label maps, by learning from unpaired sets of both. Due to potentially large scene differences between real images and label maps, existing unpaired image translation methods lead to artifacts of scene modification in synthesized images. We utilize simulated images as surrogate targets for a contrastive loss, while ensuring consistency by utilizing features from a reverse translation network. Our method enables bidirectional label-image translations, which is demonstrated in a variety of scenarios and datasets, including laparoscopy, ultrasound, and driving scenes. By comparing with state-of-the-art unpaired translation methods, our proposed method is shown to generate realistic and scene-accurate translations.
• Abstract（参考訳）: シミュレーションされたラベルマップからのフォトリアリスティック画像生成は、バーチャルリアリティーにおける医療訓練など、いくつかの文脈で必要とされる。 従来のディープラーニング手法では、通常は利用できないセマンティックアノテーションと組み合わせたイメージを必要とする。 そこで本研究では,ラベルマップシミュレーションによるフォトリアリスティック画像生成のためのコントラスト学習フレームワークを提案する。 実画像とラベルマップの潜在的に大きなシーン差のため、既存の未ペア画像翻訳手法は合成画像のシーン修正の成果をもたらす。 本研究では,逆翻訳ネットワークの特徴を利用して一貫性を確保しつつ,コントラスト損失のためのサロゲートターゲットとしてシミュレーション画像を利用する。 本手法は, 腹腔鏡, 超音波, 運転シーンなど, 様々なシナリオやデータセットで示される双方向のラベル画像翻訳を可能にする。 現状の未完成翻訳との比較により,提案手法は現実的かつシーン精度の高い翻訳を生成する。

関連論文リスト

• VIXEN: Visual Text Comparison Network for Image Difference Captioning [58.16313862434814]
  画像間の視覚的差異をテキストで簡潔に要約する手法であるVIXENを提案する。 提案するネットワークは,事前学習された大規模言語モデルに対するソフトプロンプトを構築し,画像特徴を一対にマッピングする。
  論文  参考訳（メタデータ） (2024-02-29T12:56:18Z)
• Exploring Semantic Consistency in Unpaired Image Translation to Generate Data for Surgical Applications [1.8011391924021904]
  本研究では,外科的応用における適切なデータを生成するための画像翻訳手法を実験的に検討した。 構造相似性損失と対照的学習の単純な組み合わせが、最も有望な結果をもたらすことがわかった。
  論文  参考訳（メタデータ） (2023-09-06T14:43:22Z)
• Translating Simulation Images to X-ray Images via Multi-Scale Semantic Matching [16.175115921436582]
  本稿では,血管内シミュレータからX線画像へのシミュレーション画像の変換手法を提案する。 入力画像と生成画像が同じ位置意味関係を持つことを保証するために,自己ドメイン意味マッチングを適用した。 提案手法は, 現実的なX線画像を生成し, 最先端のアプローチを大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2023-04-16T04:49:46Z)
• AptSim2Real: Approximately-Paired Sim-to-Real Image Translation [8.208569626646035]
  Sim-to-real Transferは、シミュレーションされた画像を修正して、現実世界のデータにマッチさせる。 AptSim2Realは、シミュレーターが照明、環境、コンポジションの点で現実世界のシーンに似たシーンをゆるやかに生成できるという事実を活用している。 FIDスコアは最大で24%向上し, 質的, 定量的な改善が得られた。
  論文  参考訳（メタデータ） (2023-03-09T06:18:44Z)
• Image-to-Image Translation for Autonomous Driving from Coarsely-Aligned Image Pairs [57.33431586417377]
  自動運転車は悪天候に対処して安全に運転できなければならない。 本稿では,センサ入力を悪条件で捕捉した入力を良質な入力に変換するという考え方について検討する。 我々は、粗い整列学習方式により、画像翻訳の質が向上し、下流タスクが改善されていることを示す。
  論文  参考訳（メタデータ） (2022-09-23T16:03:18Z)
• More Control for Free! Image Synthesis with Semantic Diffusion Guidance [79.88929906247695]
  制御可能な画像合成モデルは、サンプル画像からテキスト命令やガイダンスに基づいて多様な画像を作成することができる。 セマンティックな拡散誘導のための新しい統合フレームワークを導入し、言語や画像の誘導、あるいはその両方を可能にした。 FFHQとLSUNのデータセットで実験を行い、微細なテキスト誘導画像合成結果を示す。
  論文  参考訳（メタデータ） (2021-12-10T18:55:50Z)
• USIS: Unsupervised Semantic Image Synthesis [9.613134538472801]
  セマンティック画像合成(USIS)のための新しい教師なしパラダイムを提案する。 USISは、自己教師付きセグメンテーションロスを使用して、視覚的に分離可能なセグメンテーションクラスで画像を出力することを学ぶ。 実画像の色とテクスチャの分布を高周波数情報を失うことなく一致させるため,ウェーブレットを用いた識別手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T20:48:41Z)
• Content-Preserving Unpaired Translation from Simulated to Realistic Ultrasound Images [12.136874314973689]
  本稿では,シミュレーション画像と実画像の出現ギャップを橋渡しする新しい画像翻訳フレームワークを提案する。 この目的を達成するために,シミュレートされた画像とセマンティックセグメンテーションを併用する。
  論文  参考訳（メタデータ） (2021-03-09T22:35:43Z)
• Controllable Image Synthesis via SegVAE [89.04391680233493]
  セマンティックマップは条件付き画像生成の中間表現として一般的に使用される。 本研究では,所望のカテゴリからなるラベルセットを与えられたセマンティックマップの生成を特に対象とする。 提案するフレームワークSegVAEは,条件付き変分オートエンコーダを用いて,セマンティックマップを反復的に合成する。
  論文  参考訳（メタデータ） (2020-07-16T15:18:53Z)
• Domain Adaptation for Image Dehazing [72.15994735131835]
  既存のほとんどの方法は、合成ヘイズ画像のデハージングモデルを訓練するが、ドメインシフトによる実際のヘイズ画像の一般化は困難である。 画像変換モジュールと2つの画像デハージングモジュールからなるドメイン適応パラダイムを提案する。 実世界の合成画像と実世界の画像の両方で実験結果から,我々のモデルは最先端の脱ハージングアルゴリズムに対して好適に機能することが示された。
  論文  参考訳（メタデータ） (2020-05-10T13:54:56Z)
• Grounded and Controllable Image Completion by Incorporating Lexical Semantics [111.47374576372813]
  Lexical Semantic Image Completion (LSIC)は、芸術、デザイン、遺産保護に潜在的な応用をもたらす可能性がある。 視覚的文脈と語彙的文脈の両方に忠実な結果を生成することを提唱する。 LSICの大きな課題の1つは、ビジュアル・セマンティック・コンテキストの構造をモデル化し整合させることである。
  論文  参考訳（メタデータ） (2020-02-29T16:54:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。