論文の概要: Generating Visual Scenes from Touch
- arxiv url: http://arxiv.org/abs/2309.15117v1
- Date: Tue, 26 Sep 2023 17:59:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-27 12:35:08.963615
- Title: Generating Visual Scenes from Touch
- Title（参考訳）: タッチによる視覚シーンの生成
- Authors: Fengyu Yang, Jiacheng Zhang, Andrew Owens
- Abstract要約: 触覚信号から画像を合成するモデルを構築するために,潜時拡散の進展を図っている。
私たちは、シーンに関する追加情報なしでタッチから画像を生成するのに成功した最初の人です。
- 参考スコア（独自算出の注目度）: 26.854970656336565
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: An emerging line of work has sought to generate plausible imagery from touch.
Existing approaches, however, tackle only narrow aspects of the visuo-tactile
synthesis problem, and lag significantly behind the quality of cross-modal
synthesis methods in other domains. We draw on recent advances in latent
diffusion to create a model for synthesizing images from tactile signals (and
vice versa) and apply it to a number of visuo-tactile synthesis tasks. Using
this model, we significantly outperform prior work on the tactile-driven
stylization problem, i.e., manipulating an image to match a touch signal, and
we are the first to successfully generate images from touch without additional
sources of information about the scene. We also successfully use our model to
address two novel synthesis problems: generating images that do not contain the
touch sensor or the hand holding it, and estimating an image's shading from its
reflectance and touch.
- Abstract（参考訳）: 新たな仕事のラインは、タッチから妥当な画像を生成することを目指しています。
しかし、既存のアプローチでは、ビジュオ・タクティル合成問題の狭い側面にのみ取り組み、他の領域におけるクロスモーダル合成法の品質は著しく遅れている。
触覚信号から画像を合成するためのモデル(およびその逆)を作成するために、潜伏拡散の最近の進歩を描き、多くの振動触覚合成タスクに適用する。
このモデルを用いて,触覚駆動型スタイリゼーション問題,すなわち触覚信号にマッチする画像を操作することに対する先行研究を著しく上回り,シーンに関する追加情報なしでタッチから画像を生成するのに成功したのは初めてである。
また,本モデルを用いて2つの新しい合成問題に対処し,触覚センサや手を持たない画像を生成し,その反射と触覚から画像の陰影を推定する。
関連論文リスト
- ReShader: View-Dependent Highlights for Single Image View-Synthesis [5.736642774848791]
本稿では,ビュー合成過程を画素再構成と再配置の2つの独立したタスクに分割することを提案する。
再構成の過程では,1枚の画像を入力とし,新しいカメラに基づいてシェーディングを調整する。
そして、この再構成画像を既存のビュー合成法の入力として使用し、画素を移動させ、最終的な新規なビュー画像を生成する。
論文 参考訳（メタデータ） (2023-09-19T15:23:52Z) - Novel-view Synthesis and Pose Estimation for Hand-Object Interaction
from Sparse Views [41.50710846018882]
スパースビューから手動物体間相互作用を推定するニューラルレンダリングとポーズ推定システムを提案する。
まず,手や物体の形状や外観を,神経表現と別々に学習する。
オンライン段階では、動的手-物体相互作用を理解するためのレンダリングベースのジョイントモデルフィッティングフレームワークを設計する。
論文 参考訳（メタデータ） (2023-08-22T05:17:41Z) - Controllable Visual-Tactile Synthesis [28.03469909285511]
一つのスケッチから視覚と触覚の両方の出力を合成する条件生成モデルを開発した。
次に,電気接着型触覚デバイスに高品質な視覚・触覚出力を描画するパイプラインを導入する。
論文 参考訳（メタデータ） (2023-05-04T17:59:51Z) - HandNeRF: Neural Radiance Fields for Animatable Interacting Hands [122.32855646927013]
神経放射場(NeRF)を用いて手の動きを正確に再現する新しい枠組みを提案する。
我々は,提案するHandNeRFのメリットを検証するための広範囲な実験を行い,その成果を報告する。
論文 参考訳（メタデータ） (2023-03-24T06:19:19Z) - ContraNeRF: Generalizable Neural Radiance Fields for Synthetic-to-real
Novel View Synthesis via Contrastive Learning [102.46382882098847]
まず,合成から現実への新規な視点合成における合成データの影響について検討した。
本稿では,幾何制約を伴う多視点一貫した特徴を学習するために,幾何対応のコントラスト学習を導入することを提案する。
提案手法は,PSNR,SSIM,LPIPSの点で,既存の一般化可能な新規ビュー合成手法よりも高い画質で精細な画像を描画することができる。
論文 参考訳（メタデータ） (2023-03-20T12:06:14Z) - TexPose: Neural Texture Learning for Self-Supervised 6D Object Pose
Estimation [55.94900327396771]
合成データから6次元オブジェクトポーズ推定のためのニューラルネットワークによるテクスチャ学習を提案する。
実画像からオブジェクトの現実的なテクスチャを予測することを学ぶ。
画素完全合成データからポーズ推定を学習する。
論文 参考訳（メタデータ） (2022-12-25T13:36:32Z) - Person Image Synthesis via Denoising Diffusion Model [116.34633988927429]
本研究では,高忠実度人物画像合成に拡散モデルをいかに応用できるかを示す。
2つの大規模ベンチマークとユーザスタディの結果は、挑戦的なシナリオ下で提案したアプローチのフォトリアリズムを実証している。
論文 参考訳（メタデータ） (2022-11-22T18:59:50Z) - Pose Guided Human Image Synthesis with Partially Decoupled GAN [25.800174118151638]
Pose Guided Human Image Synthesis (PGHIS) は、人間のイメージを基準ポーズから目標ポーズへ変換する難しいタスクである。
本研究では,人体を複数の部分に分解し,現実的な人物像の合成を誘導する手法を提案する。
さらに,PGHISのためのマルチヘッドアテンションベースモジュールを設計する。
論文 参考訳（メタデータ） (2022-10-07T15:31:37Z) - Semantic View Synthesis [56.47999473206778]
我々はセマンティック・ビュー・シンセサイザーの新たな課題に取り組み、セマンティック・ラベル・マップを入力として、合成シーンの自由視点レンダリングを生成する。
まず,3次元映像の視覚面の色と深度を合成することに焦点を当てた。
次に、合成色と深度を用いて、多面画像(MPI)表現予測プロセスに明示的な制約を課す。
論文 参考訳（メタデータ） (2020-08-24T17:59:46Z) - Semantic Photo Manipulation with a Generative Image Prior [86.01714863596347]
GANは、ユーザスケッチ、テキスト、セマンティックラベルなどの入力に条件付きイメージを合成することができる。
GANが入力画像を正確に再現することは困難である。
本稿では,GANが以前に学んだイメージを個々の画像の統計に適応させることにより,これらの問題に対処する。
提案手法は,入力画像の外観と一致して,入力画像を正確に再構成し,新たなコンテンツを合成することができる。
論文 参考訳（メタデータ） (2020-05-15T18:22:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。