Fugu-MT 論文翻訳(概要): Towards Kinetic Manipulation of the Latent Space

論文の概要: Towards Kinetic Manipulation of the Latent Space

arxiv url: http://arxiv.org/abs/2409.09867v2
Date: Sat, 09 Nov 2024 00:44:08 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-12 14:05:43.917609
Title: Towards Kinetic Manipulation of the Latent Space
Title（参考訳）: 潜時空間の動力学的操作に向けて
Authors: Diego Porres,
Abstract要約: 実写RGBカメラフィードから事前学習した畳み込みニューラルネットワーク(CNN)の単純な特徴抽出は、シーンに簡単な変更を加えて潜伏空間を操作するのに非常に役立っていることを示す。この新しいパラダイムはVisual-Reactive Interpolationと呼ばれ、完全なコードはhttps://github.com/PDillis/stylegan3-fun.orgで見ることができる。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: The latent space of many generative models are rich in unexplored valleys and mountains. The majority of tools used for exploring them are so far limited to Graphical User Interfaces (GUIs). While specialized hardware can be used for this task, we show that a simple feature extraction of pre-trained Convolutional Neural Networks (CNNs) from a live RGB camera feed does a very good job at manipulating the latent space with simple changes in the scene, with vast room for improvement. We name this new paradigm Visual-reactive Interpolation, and the full code can be found at https://github.com/PDillis/stylegan3-fun.
Abstract（参考訳）: 多くの生成モデルの潜伏空間は、探索されていない谷や山々に富んでいる。それらを調べるために使用されるツールの大部分は、これまではGUI(Graphical User Interfaces)に限られています。このタスクには特別なハードウェアが使用できるが、ライブRGBカメラフィードから事前訓練された畳み込みニューラルネットワーク(CNN)の単純な特徴抽出は、シーンに単純な変更を加えて潜伏空間を操作するのに非常に良い働きをすることを示す。この新しいパラダイムはVisual-Reactive Interpolationと呼ばれ、完全なコードはhttps://github.com/PDillis/stylegan3-fun.orgで見ることができる。

関連論文リスト

Feature 3DGS: Supercharging 3D Gaussian Splatting to Enable Distilled Feature Fields [54.482261428543985]
ニューラル・ラジアンス・フィールドを使用する手法は、新しいビュー合成のような従来のタスクに汎用的である。 3次元ガウシアンスプラッティングは, 実時間ラディアンス場レンダリングにおける最先端の性能を示した。この問題を効果的に回避するために,アーキテクチャとトレーニングの変更を提案する。
論文参考訳（メタデータ） (2023-12-06T00:46:30Z)
LiveNVS: Neural View Synthesis on Live RGB-D Streams [4.717325308876748]
本稿では,ライブRGB-D入力ストリーム上でニューラルノベルビューを合成するシステムLiveNVSを提案する。 LiveNVSは、キャプチャ中に未知のシーンの最先端のニューラルネットワークレンダリング品質を達成する。
論文参考訳（メタデータ） (2023-11-28T10:29:39Z)
NSLF-OL: Online Learning of Neural Surface Light Fields alongside Real-time Incremental 3D Reconstruction [0.76146285961466]
そこで本研究では,視線方向の小さな方向に対応できるニューラルサーフェス光場モデルを提案する。我々のモデルは、リアルタイムな3次元再構成の他に、シーケンシャルなデータストリームを共有入力として、ニューラルネットワーク光場(NSLF)をオンラインで学習する。オンライントレーニングに加えて、可視化のためにデータストリームを完了した後のリアルタイムレンダリングも提供する。
論文参考訳（メタデータ） (2023-04-29T15:41:15Z)
Neural Implicit Dense Semantic SLAM [83.04331351572277]
本稿では,屋内シーンのメモリ効率,高密度な3次元形状,セマンティックセマンティックセグメンテーションをオンラインで学習する新しいRGBD vSLAMアルゴリズムを提案する。私たちのパイプラインは、従来の3Dビジョンベースのトラッキングとループクローズとニューラルフィールドベースのマッピングを組み合わせたものです。提案アルゴリズムはシーン認識を大幅に向上させ,様々なロボット制御問題を支援する。
論文参考訳（メタデータ） (2023-04-27T23:03:52Z)
Neural Assets: Volumetric Object Capture and Rendering for Interactive Environments [8.258451067861932]
本研究では,現実の物体を日常の環境に忠実かつ迅速に捕獲する手法を提案する。我々は、新しい神経表現を用いて、透明な物体部品などの効果を再構築し、物体の外観を保ちます。これにより、提案されたニューラルネットワークアセットを既存のメッシュ環境やオブジェクトとシームレスに統合することが可能になる。
論文参考訳（メタデータ） (2022-12-12T18:55:03Z)
Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文参考訳（メタデータ） (2022-06-15T17:58:34Z)
Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
論文参考訳（メタデータ） (2022-04-22T03:17:35Z)
Accurate RGB-D Salient Object Detection via Collaborative Learning [101.82654054191443]
RGB-Dサリエンシ検出は、いくつかの課題シナリオにおいて素晴らしい能力を示している。本稿では,エッジ,深度,塩分濃度をより効率的に活用する新しい協調学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-07-23T04:33:36Z)
Neural Sparse Voxel Fields [151.20366604586403]
高速かつ高品質な自由視点レンダリングのためのニューラルシーン表現であるNeural Sparse Voxel Fields (NSVF)を紹介する。 NSVFは、各細胞の局所特性をモデル化するために、スパース・ボクセル・オクツリーで組織された、ボクセルに結合した暗黙のフィールドのセットを定義する。提案手法は, 高い品質を達成しつつ, 推論時の最先端技術(NeRF(Mildenhall et al., 2020))よりも10倍以上高速である。
論文参考訳（メタデータ） (2020-07-22T17:51:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。