論文の概要: NeuralMagicEye: Learning to See and Understand the Scene Behind an Autostereogram

• arxiv url: http://arxiv.org/abs/2012.15692v1
• Date: Thu, 31 Dec 2020 16:17:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-17 22:22:50.063423
• Title: NeuralMagicEye: Learning to See and Understand the Scene Behind an Autostereogram
• Title（参考訳）: NeuralMagicEye: オートステレオグラムの背後にあるシーンを学習して理解する
• Authors: Zhengxia Zou, Tianyang Shi, Yi Yuan, Zhenwei Shi
• Abstract要約: autostereogram (複数形 autostereograms) マジックアイイメージは、2Dテクスチャーから3Dシーンの視覚的な幻想を作成することができるシングルイメージステレオグラムです。 本稿では,深部CNNを学習して,オートステアグラムの奥深さを回復し,その内容を理解することができるかを検討する。
• 参考スコア（独自算出の注目度）: 29.047353810872522
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An autostereogram, a.k.a. magic eye image, is a single-image stereogram that can create visual illusions of 3D scenes from 2D textures. This paper studies an interesting question that whether a deep CNN can be trained to recover the depth behind an autostereogram and understand its content. The key to the autostereogram magic lies in the stereopsis - to solve such a problem, a model has to learn to discover and estimate disparity from the quasi-periodic textures. We show that deep CNNs embedded with disparity convolution, a novel convolutional layer proposed in this paper that simulates stereopsis and encodes disparity, can nicely solve such a problem after being sufficiently trained on a large 3D object dataset in a self-supervised fashion. We refer to our method as ``NeuralMagicEye''. Experiments show that our method can accurately recover the depth behind autostereograms with rich details and gradient smoothness. Experiments also show the completely different working mechanisms for autostereogram perception between neural networks and human eyes. We hope this research can help people with visual impairments and those who have trouble viewing autostereograms. Our code is available at \url{https://jiupinjia.github.io/neuralmagiceye/}.
• Abstract（参考訳）: autostereogram (複数形 autostereograms) マジックアイイメージ(Magic Eye Image)は、2Dテクスチャから3Dシーンの視覚的な錯覚を生成できる、シングルイメージのステレオグラムだ。 本稿では,深部CNNがオートステレオグラムの背後の深さを回復し,その内容を理解することができるかどうか,興味深い疑問について考察する。 オートステレオグラムマジックの鍵はステレオプシスにある - このような問題を解決するためには、モデルが準周期的なテクスチャから格差を発見して見積もることを学ぶ必要がある。 本稿では, ステレオプシスをシミュレートし, ディパリティを符号化する新しい畳み込み層であるディパリティ畳み込みを組み込んだディープCNNが, 大規模3次元オブジェクトデータセットを自己教師型で十分に訓練した後で, この問題をうまく解決できることを示す。 我々は、我々のメソッドを `NeuralMagicEye'' と呼ぶ。 実験結果から,本手法は高精細度および勾配の滑らかさでオートステレオグラムの奥行きを正確に復元できることがわかった。 実験はまた、ニューラルネットワークと人間の目の間でのオートステレオグラム知覚のための全く異なる作用機構を示す。 この研究が視覚障害のある人や、オートステレオグラムを見るのに苦労している人を助けることを願っている。 我々のコードは \url{https://jiupinjia.github.io/neuralmagiceye/} で利用可能です。

関連論文リスト

• BeNeRF: Neural Radiance Fields from a Single Blurry Image and Event Stream [11.183799667913815]
  一つのぼやけた画像とそれに対応するイベントストリームからニューラル放射場(NeRF)を復元する可能性を示す。 本手法は暗黙的なニューラルシーンの表現を共同で学習し,カメラの動きを復元する。
  論文  参考訳（メタデータ） (2024-07-02T11:28:22Z)
• Brain3D: Generating 3D Objects from fMRI [76.41771117405973]
  被験者のfMRIデータを入力として利用する新しい3Dオブジェクト表現学習手法であるBrain3Dを設計する。 我々は,人間の視覚系の各領域の異なる機能的特徴を,我々のモデルが捉えていることを示す。 予備評価は、Brain3Dがシミュレーションシナリオで障害した脳領域を正常に識別できることを示唆している。
  論文  参考訳（メタデータ） (2024-05-24T06:06:11Z)
• NeRF-MAE: Masked AutoEncoders for Self-Supervised 3D Representation Learning for Neural Radiance Fields [57.617972778377215]
  提案手法は,RGB画像から有効な3D表現を生成する方法を示す。 我々は、この表現を、提案した擬似RGBデータに基づいて、180万枚以上の画像で事前訓練する。 我々は,NeRFの自己教師型プレトレーニングであるNeRF-MAE(NeRF-MAE)を目覚ましいスケールで実施し,様々な3Dタスクの性能向上を実現した。
  論文  参考訳（メタデータ） (2024-04-01T17:59:55Z)
• Learning Neural Implicit through Volume Rendering with Attentive Depth Fusion Priors [32.63878457242185]
  我々は,多視点RGBD画像からの暗黙的表現を,暗黙的深度融合によるボリュームレンダリングにより学習する。 注意機構は、シーン全体を表す1回溶融TSDFか、部分シーンを表す漸増溶融TSDFで機能する。 合成および実世界のスキャンを含む広く使われているベンチマークの評価は、最新のニューラル暗黙法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2023-10-17T21:45:51Z)
• HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
  本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。 本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。 テスト時,本手法は単眼のRGBビデオによって駆動される。
  論文  参考訳（メタデータ） (2023-03-25T13:56:33Z)
• Decomposing 3D Neuroimaging into 2+1D Processing for Schizophrenia Recognition [25.80846093248797]
  我々は2+1Dフレームワークで3Dデータを処理し、巨大なImageNetデータセット上に事前トレーニングされた強力な2D畳み込みニューラルネットワーク(CNN)ネットワークを利用して3Dニューロイメージング認識を実現することを提案する。 特に3次元磁気共鳴イメージング(MRI)の計測値は、隣接するボクセル位置に応じて2次元スライスに分解される。 グローバルプーリングは、アクティベーションパターンが機能マップ上にわずかに分散されているため、冗長な情報を除去するために適用される。 2次元CNNモデルにより処理されていない3次元の文脈情報を集約するために,チャネルワイドおよびスライスワイズ畳み込みを提案する。
  論文  参考訳（メタデータ） (2022-11-21T15:22:59Z)
• One-Shot Neural Fields for 3D Object Understanding [112.32255680399399]
  ロボット工学のための統一的でコンパクトなシーン表現を提案する。 シーン内の各オブジェクトは、幾何学と外観をキャプチャする潜在コードによって描写される。 この表現は、新しいビューレンダリングや3D再構成、安定した把握予測といった様々なタスクのためにデコードできる。
  論文  参考訳（メタデータ） (2022-10-21T17:33:14Z)
• Neural Feature Fusion Fields: 3D Distillation of Self-Supervised 2D Image Representations [92.88108411154255]
  本稿では,3次元シーンとして再構成可能な複数画像の解析に後者を適用する際に,高密度な2次元画像特徴抽出器を改善する手法を提案する。 本手法は,手動ラベルを使わずに,シーン固有のニューラルネットワークの文脈における意味理解を可能にするだけでなく,自己監督型2Dベースラインよりも一貫して改善されていることを示す。
  論文  参考訳（メタデータ） (2022-09-07T23:24:09Z)
• The Brain-Inspired Decoder for Natural Visual Image Reconstruction [4.433315630787158]
  本研究では,スパイクトレインの視覚的イメージを再構築するために,生物学的特性を持つディープラーニングニューラルネットワークアーキテクチャを提案する。 私たちのモデルは、ニューラルスパイクトから画像へのエンドツーエンドデコーダです。 提案手法は,画像の再構成に知覚的特徴を効果的に組み合わせることができることを示す。
  論文  参考訳（メタデータ） (2022-07-18T13:31:26Z)
• Contrastive Learning with Continuous Proxy Meta-Data for 3D MRI Classification [1.714108629548376]
  我々は、y-Aware InfoNCE Losという新たな損失を導入することで、対照的な学習フレームワークにおいて、継続的なプロキシメタデータを活用することを提案する。 104ドルの健康脳MRIスキャンで事前訓練された3D CNNモデルは、3つの分類タスクに関連する特徴を抽出することができる。 微調整された場合、これらのタスクをスクラッチからトレーニングした3D CNNと、最先端の自己管理手法を上回ります。
  論文  参考訳（メタデータ） (2021-06-16T14:17:04Z)
• Neural Body: Implicit Neural Representations with Structured Latent Codes for Novel View Synthesis of Dynamic Humans [56.63912568777483]
  本稿では,人間の演奏者に対する新しい視点合成の課題について,カメラビューの少なさから考察する。 異なるフレームで学習されたニューラルネットワーク表現が、変形可能なメッシュにアンカーされた同じ遅延コードセットを共有することを前提とした新しい人体表現であるNeural Bodyを提案する。 ZJU-MoCapの実験により、我々の手法は、新規なビュー合成品質において、先行研究よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2020-12-31T18:55:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。