論文の概要: Simulation of prosthetic vision with PRIMA system and enhancement of face representation

• arxiv url: http://arxiv.org/abs/2503.11677v2
• Date: Tue, 25 Mar 2025 21:46:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-27 13:17:52.481201
• Title: Simulation of prosthetic vision with PRIMA system and enhancement of face representation
• Title（参考訳）: PRIMAシステムによる人工視覚のシミュレーションと顔表現の強化
• Authors: Jungyeon Park, Anna Kochnev Goldstein, Yueming Zhuo, Nathan Jensen, Daniel Palanker,
• Abstract要約: 本稿では,人工視覚をシミュレートする新しい非画素化アルゴリズムを提案する。 アルゴリズムの予測と臨床知覚結果を比較する。 また、顔表現を改善するコンピュータビジョンと機械学習(ML)メソッドも提供する。
• 参考スコア（独自算出の注目度）: 3.607518121275142
• License:
• Abstract: Objective. Patients implanted with the PRIMA photovoltaic subretinal prosthesis in geographic atrophy report form vision with the average acuity matching the 100um pixel size. Although this remarkable outcome enables them to read and write, they report difficulty with perceiving faces. This paper provides a novel, non-pixelated algorithm for simulating prosthetic vision the way it is experienced by PRIMA patients, compares the algorithm's predictions to clinical perceptual outcomes, and offers computer vision and machine learning (ML) methods to improve face representation. Approach. Our simulation algorithm integrates a grayscale filter, spatial resolution filter, and contrast filter. This accounts for the limited sampling density of the retinal implant, as well as the reduced contrast sensitivity of prosthetic vision. Patterns of Landolt C and faces created using this simulation algorithm are compared to reports from actual PRIMA users. To recover the facial features lost in prosthetic vision, we apply an ML facial landmarking model as well as contrast adjusting tone curves to the face image prior to its projection onto the implant. Main results. Simulated prosthetic vision matches the maximum letter acuity observed in clinical studies as well as patients' subjective descriptions. Application of the inversed contrast filter helps preserve the contrast in prosthetic vision. Identification of the facial features using an ML facial landmarking model and accentuating them further improve face representation. Significance. Spatial and contrast constraints of prosthetic vision limit resolvable features and degrade natural images. ML based methods and contrast adjustments mitigate some limitations and improve face representation. Even though higher spatial resolution can be expected with implants having smaller pixels, contrast enhancement still remains essential for face recognition.
• Abstract（参考訳）: 目的。 PRIMA光起立下網膜補綴術を施行した症例では,100mm大の視力に一致した平均明度が得られた。 この顕著な結果は読み書きを可能にするが、顔を認識することの難しさを報告している。 本稿では,PRIMA患者が経験したように人工視覚をシミュレートする新しい非ピクセル化アルゴリズムを提案し,そのアルゴリズムの予測と臨床知覚結果を比較し,顔表現を改善するためのコンピュータビジョンと機械学習(ML)手法を提案する。 アプローチ。 シミュレーションアルゴリズムでは,グレースケールフィルタ,空間分解能フィルタ,コントラストフィルタを統合した。 これは、網膜インプラントのサンプリング密度の制限に加えて、人工視覚のコントラスト感度の低下を考慮に入れている。 このシミュレーションアルゴリズムを用いて作成したランドルトCと顔のパターンを,実際のPRIMAユーザによるレポートと比較した。 人工視覚で失われた顔の特徴を回復するために、ML顔のランドマークモデルと、インプラントへの投射前の顔画像へのトーンカーブのコントラスト調整を適用した。 主な結果。 シミュレートされた人工視覚は、臨床研究および患者の主観的記述で観察される最大文字量と一致する。 逆コントラストフィルタの応用は、人工視覚におけるコントラストの保存に役立つ。 ML顔のランドマークモデルを用いて顔の特徴を識別し、アクセントを付加することで顔の表現をさらに改善する。 重要なこと。 補綴的視覚の空間的制約とコントラスト的制約は、解決可能な特徴と自然像を分解する。 MLベースの手法とコントラスト調整は、いくつかの制限を緩和し、顔表現を改善する。 画素が小さいインプラントでは高い空間分解能が期待できるが、顔認証にはコントラストの強化が不可欠である。

関連論文リスト

• OSDFace: One-Step Diffusion Model for Face Restoration [72.5045389847792]
  拡散モデルは、顔の修復において顕著な性能を示した。 顔復元のための新しいワンステップ拡散モデルOSDFaceを提案する。 その結果,OSDFaceは現状のSOTA(State-of-the-art)手法を視覚的品質と定量的指標の両方で上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-11-26T07:07:48Z)
• CFCPalsy: Facial Image Synthesis with Cross-Fusion Cycle Diffusion Model for Facial Paralysis Individuals [3.2688425993442696]
  本研究の目的は、このギャップに対処するために、高品質な顔面麻痺データセットを合成することである。 拡散モデルに基づく新しいクロスフュージョンサイクルPalsy式生成モデル(PalsyCFC)を提案する。 顔面麻痺の一般的な臨床データセットについて, 定性的, 定量的に検討した。
  論文  参考訳（メタデータ） (2024-09-11T13:46:35Z)
• Optimal-Landmark-Guided Image Blending for Face Morphing Attacks [8.024953195407502]
  本稿では,最適なランドマーク誘導画像ブレンディングを用いた顔形態形成攻撃を行うための新しい手法を提案する。 提案手法は, ランドマークの最適化とグラフ畳み込みネットワーク(GCN)によるランドマークと外観特徴の組み合わせにより, 従来のアプローチの限界を克服する。
  論文  参考訳（メタデータ） (2024-01-30T03:45:06Z)
• Unsupervised Anomaly Appraisal of Cleft Faces Using a StyleGAN2-based Model Adaptation Technique [5.224306534441244]
  本稿では,人間の顔における先天性唇裂の異常を一貫して検出し,局所化し,評価する新しい機械学習フレームワークを提案する。 提案手法では, モデル適応を用いたStyleGAN2生成対向ネットワークを用いて, 口蓋裂に影響を及ぼした顔の正規化変換を行う。 提案したコンピュータモデルによる異常スコアは、人間の顔の違いのレーティングと密接に相関しており、ピアソンのrスコアは0.942であった。
  論文  参考訳（メタデータ） (2022-11-12T13:30:20Z)
• Emotion Separation and Recognition from a Facial Expression by Generating the Poker Face with Vision Transformers [57.1091606948826]
  我々はこれらの課題に対処するため,ポーカー・フェイス・ビジョン・トランスフォーマー (PF-ViT) と呼ばれる新しいFERモデルを提案する。 PF-ViTは、対応するポーカーフェースを生成して、乱れを認識できない感情を静的な顔画像から分離し、認識することを目的としている。 PF-ViTはバニラビジョントランスフォーマーを使用し、そのコンポーネントは大規模な表情データセット上でMasked Autoencodeerとして事前トレーニングされている。
  論文  参考訳（メタデータ） (2022-07-22T13:39:06Z)
• Face Reconstruction with Variational Autoencoder and Face Masks [0.0]
  本研究では,顔面再建のためのVAEのトレーニングにマスクが有効かを検討した。 celebAデータセットを用いて提案手法の評価を行った。
  論文  参考訳（メタデータ） (2021-12-03T19:49:52Z)
• Pro-UIGAN: Progressive Face Hallucination from Occluded Thumbnails [53.080403912727604]
  Inpainting Generative Adversarial Network, Pro-UIGANを提案する。 顔の形状を利用して、隠された小さな顔の補充とアップサンプリング(8*)を行う。 Pro-UIGANは、HR面を視覚的に満足させ、下流タスクにおいて優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-08-02T02:29:24Z)
• Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo Collection [65.92058628082322]
  非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。 本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T03:10:17Z)
• Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
  本稿では,GAR(Generative Adversa Renderer)について紹介する。 GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。 本手法は,複数顔再構成における最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-05-06T04:16:06Z)
• Unsupervised Learning Facial Parameter Regressor for Action Unit Intensity Estimation via Differentiable Renderer [51.926868759681014]
  骨駆動型顔モデル(BDFM)に基づいて,異なる視点で顔パラメータを予測する枠組みを提案する。 提案するフレームワークは,特徴抽出器,ジェネレータ,顔パラメータ回帰器から構成される。
  論文  参考訳（メタデータ） (2020-08-20T09:49:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。