論文の概要: Learning GAN-based Foveated Reconstruction to Recover Perceptually Important Image Features

• arxiv url: http://arxiv.org/abs/2108.03499v3
• Date: Mon, 17 Apr 2023 16:42:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-19 01:11:27.650666
• Title: Learning GAN-based Foveated Reconstruction to Recover Perceptually Important Image Features
• Title（参考訳）: 視覚的に重要な特徴を再現するGANに基づく定型再構成学習
• Authors: Luca Surace (Universit\`a della Svizzera italiana), Marek Wernikowski (West Pomeranian University of Technology), Cara Tursun (Universit\`a della Svizzera italiana and University of Groningen), Karol Myszkowski (Max Planck Institute for Informatics), Rados{\l}aw Mantiuk (West Pomeranian University of Technology), Piotr Didyk (Universit\`a della Svizzera italiana)
• Abstract要約: 本研究では, 埋設工法を効率的に指導する上での問題点を考察する。 私たちの一番の目標は、人間が検出できない歪みに対してトレーニング手順の感度を下げることです。 評価の結果, 画像再構成の精度は, GANベースのトレーニング手法に比べて有意に向上した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A foveated image can be entirely reconstructed from a sparse set of samples distributed according to the retinal sensitivity of the human visual system, which rapidly decreases with increasing eccentricity. The use of Generative Adversarial Networks has recently been shown to be a promising solution for such a task, as they can successfully hallucinate missing image information. As in the case of other supervised learning approaches, the definition of the loss function and the training strategy heavily influence the quality of the output. In this work,we consider the problem of efficiently guiding the training of foveated reconstruction techniques such that they are more aware of the capabilities and limitations of the human visual system, and thus can reconstruct visually important image features. Our primary goal is to make the training procedure less sensitive to distortions that humans cannot detect and focus on penalizing perceptually important artifacts. Given the nature of GAN-based solutions, we focus on the sensitivity of human vision to hallucination in case of input samples with different densities. We propose psychophysical experiments, a dataset, and a procedure for training foveated image reconstruction. The proposed strategy renders the generator network flexible by penalizing only perceptually important deviations in the output. As a result, the method emphasized the recovery of perceptually important image features. We evaluated our strategy and compared it with alternative solutions by using a newly trained objective metric, a recent foveated video quality metric, and user experiments. Our evaluations revealed significant improvements in the perceived image reconstruction quality compared with the standard GAN-based training approach.
• Abstract（参考訳）: 焦点画像は、人間の視覚系の網膜感度に応じて分布するばらばらなサンプル集合から完全に再構成することができ、偏心性の増加とともに急速に減少する。 近年,ジェネレーティブ・アドバイサル・ネットワークの利用は画像情報の幻覚化に成功し,そのような課題に対して有望な解決策であることが示されている。 他の教師付き学習手法と同様に、損失関数の定義とトレーニング戦略は、出力の品質に大きな影響を及ぼす。 本研究では,人間の視覚システムの能力や限界をよりよく把握し,視覚的に重要な画像の特徴を再構築できるように,望ましくない再建技術の訓練を効率的に指導する問題を考える。 第一の目的は、人間が検出できない歪みに敏感なトレーニング手順を、知覚上重要なアーティファクトを罰することに集中させることです。 GANをベースとしたソリューションの性質を考えると、異なる密度の入力サンプルの場合、幻覚に対する人間の視覚の感受性に焦点を当てる。 本研究では, 心理物理実験, データセット, 画像再構成の訓練手順を提案する。 提案手法は,出力の知覚上重要な偏差のみをペナルティ化することにより,ジェネレータネットワークを柔軟にする。 その結果,知覚的に重要な画像特徴の回復が強調された。 我々はこの戦略を評価し,新たに訓練された客観的指標,最近のビデオ品質指標,ユーザ実験を用いて,代替ソリューションと比較した。 評価の結果,ganベーストレーニング法と比較して画像再構成品質が有意に向上した。

関連論文リスト

• Improving Neural Surface Reconstruction with Feature Priors from Multi-View Image [87.00660347447494]
  ニューラルサーフェス・コンストラクション(NSR)の最近の進歩は、ボリュームレンダリングと組み合わせることで、マルチビュー・コンストラクションを著しく改善している。 本稿では,多種多様な視覚的タスクから価値ある特徴を活用すべく,特徴レベルの一貫した損失について検討する。 DTU と EPFL を用いて解析した結果,画像マッチングと多視点ステレオデータセットによる特徴が,他のプリテキストタスクよりも優れていたことが判明した。
  論文  参考訳（メタデータ） (2024-08-04T16:09:46Z)
• Analysis of Deep Image Prior and Exploiting Self-Guidance for Image Reconstruction [13.277067849874756]
  DIPがアンダーサンプドイメージング計測からどのように情報を回収するかを検討する。 ネットワーク重みと入力の両方を同時に最適化する自己駆動型再構築プロセスを導入する。 提案手法は,ネットワーク入力画像と再構成画像の両方の堅牢かつ安定した関節推定を可能にする,新しいデノイザ正規化項を組み込んだものである。
  論文  参考訳（メタデータ） (2024-02-06T15:52:23Z)
• Iterative-in-Iterative Super-Resolution Biomedical Imaging Using One Real Image [8.412910029745762]
  本稿では,1つの実画像のみを用いて深層学習に基づく超解像モデルを訓練する手法を提案する。 我々は,地中真実に類似した分布を持つ画像を自動的に選択するために,画像スクリーニングの混合指標を用いる。 5回のトレーニングの後、提案されたディープラーニングベースの超解像モデルでは、構造的類似性とピーク信号対雑音比が7.5%と5.49%改善した。
  論文  参考訳（メタデータ） (2023-06-26T07:57:03Z)
• Domain-Aware Few-Shot Learning for Optical Coherence Tomography Noise Reduction [0.0]
  光コヒーレンストモグラフィ(OCT)ノイズ低減のための数発の教師付き学習フレームワークを提案する。 このフレームワークは、トレーニング速度を劇的に向上させ、単一の画像または画像の一部だけを必要とし、対応するスペックルが地面の真実を抑圧する。 この結果から, 試料の複雑さ, 一般化, 時間効率を向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-06-13T19:46:40Z)
• Generalizable Denoising of Microscopy Images using Generative Adversarial Networks and Contrastive Learning [0.0]
  数発の顕微鏡画像復調のための新しいフレームワークを提案する。 提案手法は,比較学習(CL)を用いて学習したGAN(Generative Adversarial Network)と,損失項を保存する2つの構造を組み合わせたものである。 本手法が3つのよく知られた顕微鏡画像データセットに対して有効であることを示す。
  論文  参考訳（メタデータ） (2023-03-27T13:55:07Z)
• Real-World Image Super-Resolution by Exclusionary Dual-Learning [98.36096041099906]
  実世界の画像超解像は,高品質な画像を得るための実用的な画像復元問題である。 深層学習に基づく手法は、現実世界の超解像データセットの復元に期待できる品質を実現している。 本稿では,RWSR-EDL(Real-World Image Super-Resolution by Exclusionary Dual-Learning)を提案する。
  論文  参考訳（メタデータ） (2022-06-06T13:28:15Z)
• Is Deep Image Prior in Need of a Good Education? [57.3399060347311]
  画像再構成に有効な先行画像として, 奥行き画像が導入された。 その印象的な再建性にもかかわらず、学習技術や伝統的な再建技術と比べてアプローチは遅い。 計算課題に対処する2段階の学習パラダイムを開発する。
  論文  参考訳（メタデータ） (2021-11-23T15:08:26Z)
• On the Robustness of Pretraining and Self-Supervision for a Deep Learning-based Analysis of Diabetic Retinopathy [70.71457102672545]
  糖尿病網膜症における訓練方法の違いによる影響を比較検討した。 本稿では,定量的性能,学習した特徴表現の統計,解釈可能性,画像歪みに対する頑健性など,さまざまな側面について検討する。 以上の結果から,ImageNet事前学習モデルでは,画像歪みに対する性能,一般化,堅牢性が著しく向上していることが示唆された。
  論文  参考訳（メタデータ） (2021-06-25T08:32:45Z)
• Enhancing Perceptual Loss with Adversarial Feature Matching for Super-Resolution [5.258555266148511]
  単一画像超解法 (SISR) は不確定な数の有効解を持つ不確定問題である。 これらのパターンアーティファクトの根本原因は、知覚的損失の事前学習目標と超解答目標とのミスマッチに遡ることができる。
  論文  参考訳（メタデータ） (2020-05-15T12:36:54Z)
• Retinopathy of Prematurity Stage Diagnosis Using Object Segmentation and Convolutional Neural Networks [68.96150598294072]
  未熟児網膜症(英: Retinopathy of Prematurity、ROP)は、主に体重の低い未熟児に影響を及ぼす眼疾患である。 網膜の血管の増殖を招き、視力喪失を招き、最終的には網膜剥離を招き、失明を引き起こす。 近年,ディープラーニングを用いて診断を自動化する試みが盛んに行われている。 本稿では,従来のモデルの成功を基盤として,オブジェクトセグメンテーションと畳み込みニューラルネットワーク(CNN)を組み合わせた新しいアーキテクチャを開発する。 提案システムでは,まず対象分割モデルを訓練し,画素レベルでの区切り線を識別し,その結果のマスクを追加の"カラー"チャネルとして付加する。
  論文  参考訳（メタデータ） (2020-04-03T14:07:41Z)
• Joint Deep Learning of Facial Expression Synthesis and Recognition [97.19528464266824]
  顔表情の合成と認識を効果的に行うための新しい統合深層学習法を提案する。 提案手法は, 2段階の学習手順を伴い, まず, 表情の異なる顔画像を生成するために, 表情合成生成対向ネットワーク (FESGAN) を事前訓練する。 実画像と合成画像間のデータバイアスの問題を軽減するために,新しい実データ誘導バックプロパゲーション(RDBP)アルゴリズムを用いたクラス内損失を提案する。
  論文  参考訳（メタデータ） (2020-02-06T10:56:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。