論文の概要: Near-realtime Facial Animation by Deep 3D Simulation Super-Resolution
- arxiv url: http://arxiv.org/abs/2305.03216v2
- Date: Thu, 10 Aug 2023 01:59:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-11 15:57:38.407511
- Title: Near-realtime Facial Animation by Deep 3D Simulation Super-Resolution
- Title（参考訳）: 深部3次元シミュレーションスーパーリゾリューションによる近リアルタイム顔アニメーション
- Authors: Hyojoon Park, Sangeetha Grama Srinivasan, Matthew Cong, Doyub Kim,
Byungsoo Kim, Jonathan Swartz, Ken Museth, Eftychios Sifakis
- Abstract要約: 本稿では,低コストでリアルタイムな物理シミュレーションによって生み出す顔のパフォーマンスを効率よく,現実的に向上させるニューラルネットワークに基づくシミュレーションフレームワークを提案する。
顔のアニメーションをこのようなシミュレーション領域の例に用いて,2つのシミュレータで同じ筋の運動制御と骨格のポーズを単純にダイヤルすることで,この意味の一致を創り出すことができる。
提案するニューラルネットワーク超解像フレームワークは,このトレーニングセットから未確認表現を一般化し,リアルタイム変種における解像度の制限やコスト削減近似による2つのシミュレーション間の不一致をモデル化するための補償を行うとともに,意味記述子やパラメータを必要としない。
- 参考スコア（独自算出の注目度）: 7.14576106770047
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a neural network-based simulation super-resolution framework that
can efficiently and realistically enhance a facial performance produced by a
low-cost, realtime physics-based simulation to a level of detail that closely
approximates that of a reference-quality off-line simulator with much higher
resolution (26x element count in our examples) and accurate physical modeling.
Our approach is rooted in our ability to construct - via simulation - a
training set of paired frames, from the low- and high-resolution simulators
respectively, that are in semantic correspondence with each other. We use face
animation as an exemplar of such a simulation domain, where creating this
semantic congruence is achieved by simply dialing in the same muscle actuation
controls and skeletal pose in the two simulators. Our proposed neural network
super-resolution framework generalizes from this training set to unseen
expressions, compensates for modeling discrepancies between the two simulations
due to limited resolution or cost-cutting approximations in the real-time
variant, and does not require any semantic descriptors or parameters to be
provided as input, other than the result of the real-time simulation. We
evaluate the efficacy of our pipeline on a variety of expressive performances
and provide comparisons and ablation experiments for plausible variations and
alternatives to our proposed scheme.
- Abstract（参考訳）: 本稿では,より高分解能(26倍の要素数)で正確な物理モデリングを行う基準品質のオフラインシミュレータと密接に類似した細部まで,安価でリアルタイムな物理シミュレーションによって生成される表情性能を,効率的に,かつ現実的に向上させることができるニューラルネットワークに基づくシミュレーション超解像フレームワークを提案する。
私たちのアプローチは、それぞれ低解像度と高分解能のシミュレータから、ペアフレームのトレーニングセットをシミュレーションを通じて構築する能力に根ざしています。
このようなシミュレーション領域の例示として顔アニメーションを用いて,同じ筋運動制御と骨格ポーズを2つのシミュレータで単純にダイヤルすることで,この意味的一致を実現する。
提案するニューラルネットワークスーパーレゾリューションフレームワークは,このトレーニングセットから認識不能な表現に一般化し,リアルタイム変種における解像度の制限やコストカット近似による2つのシミュレーション間の不一致のモデル化を補償し,リアルタイムシミュレーションの結果として,入力として提供される意味記述子やパラメータは不要である。
我々は,様々な表現能力に対するパイプラインの有効性を評価し,提案手法と代替案の比較・アブレーション実験を行った。
関連論文リスト
- BeSimulator: A Large Language Model Powered Text-based Behavior Simulator [28.112491177744783]
本研究では,BeSimulatorをテキストベースの環境下での動作シミュレーションの試みとして紹介する。
BeSimulatorはシナリオを一般化し、長距離複素シミュレーションを実現する。
論文 参考訳（メタデータ） (2024-09-24T08:37:04Z) - A Realistic Simulation Framework for Analog/Digital Neuromorphic Architectures [73.65190161312555]
ARCANAは、混合信号ニューロモルフィック回路の特性を考慮に入れたスパイクニューラルネットワークシミュレータである。
その結果,ソフトウェアでトレーニングしたスパイクニューラルネットワークの挙動を,信頼性の高い推定結果として提示した。
論文 参考訳（メタデータ） (2024-09-23T11:16:46Z) - Accelerate Neural Subspace-Based Reduced-Order Solver of Deformable Simulation by Lipschitz Optimization [9.364019847856714]
高DOFで物理シミュレーションを高速化する新しい手法として,低次シミュレーションがある。
本稿では,最適化された部分空間マッピングの探索手法を提案する。
準静的シミュレーションと動的シミュレーションの両方において,本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-09-05T12:56:03Z) - Informal Safety Guarantees for Simulated Optimizers Through
Extrapolation from Partial Simulations [0.0]
自己教師付き学習は、最先端の言語モデリングのバックボーンである。
自己教師付きデータセットにおける予測損失を伴うトレーニングはシミュレータを引き起こすと論じられている。
論文 参考訳（メタデータ） (2023-11-29T09:32:56Z) - Waymax: An Accelerated, Data-Driven Simulator for Large-Scale Autonomous
Driving Research [76.93956925360638]
Waymaxは、マルチエージェントシーンにおける自動運転のための新しいデータ駆動シミュレータである。
TPU/GPUなどのハードウェアアクセラレータで完全に動作し、トレーニング用のグラフ内シミュレーションをサポートする。
我々は、一般的な模倣と強化学習アルゴリズムのスイートをベンチマークし、異なる設計決定に関するアブレーション研究を行った。
論文 参考訳（メタデータ） (2023-10-12T20:49:15Z) - RISP: Rendering-Invariant State Predictor with Differentiable Simulation
and Rendering for Cross-Domain Parameter Estimation [110.4255414234771]
既存のソリューションでは、大量のトレーニングデータが必要か、未知のレンダリング設定への一般化性が欠如している。
本稿では、ドメインのランダム化と微分可能なレンダリング勾配を併用してこの問題に対処する手法を提案する。
提案手法は, 再構成誤差を大幅に低減し, 未知のレンダリング構成間の一般化性が向上する。
論文 参考訳（メタデータ） (2022-05-11T17:59:51Z) - Predicting Loose-Fitting Garment Deformations Using Bone-Driven Motion
Networks [63.596602299263935]
本稿では,骨駆動型モーションネットワークを用いて,ゆるやかな衣服メッシュの変形を対話的に予測する学習アルゴリズムを提案する。
提案手法は,メッシュ変形の予測精度を約20%,ハウスドルフ距離とSTEDで約10%向上させる。
論文 参考訳（メタデータ） (2022-05-03T07:54:39Z) - DiffCloud: Real-to-Sim from Point Clouds with Differentiable Simulation
and Rendering of Deformable Objects [18.266002992029716]
変形可能な物体の操作に関する研究は、典型的には限られたシナリオで行われている。
様々な種類の変形と相互作用をサポートする現実的なシミュレータは、実験をスピードアップする可能性がある。
高度に変形可能なオブジェクトに対しては、シミュレータの出力と実際のオブジェクトの振る舞いを一致させることが困難である。
論文 参考訳（メタデータ） (2022-04-07T00:45:26Z) - Generic Lithography Modeling with Dual-band Optics-Inspired Neural
Networks [52.200624127512874]
我々は、リソグラフィの基礎となる光学物理を考慮に入れたデュアルバンド光インスパイアされたニューラルネットワーク設計を導入する。
提案手法は, タイルサイズが1nm2/ピクセル解像度で最初に公表された金属/金属層輪郭シミュレーションである。
また,従来のリソグラフィーシミュレータよりも精度1%の精度で85倍の高速化を実現した。
論文 参考訳（メタデータ） (2022-03-12T08:08:50Z) - Augmenting Differentiable Simulators with Neural Networks to Close the
Sim2Real Gap [15.1962264049463]
本稿では,ニューラルネットワークを用いた解析モデルの任意の点における拡張を可能にする,剛体力学の微分可能なシミュレーションアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-07-12T17:27:11Z) - Learning to Simulate Complex Physics with Graph Networks [68.43901833812448]
本稿では,機械学習のフレームワークとモデルの実装について紹介する。
グラフネットワーク・ベース・シミュレータ(GNS)と呼ばれる我々のフレームワークは、グラフ内のノードとして表現された粒子で物理系の状態を表現し、学習されたメッセージパスによって動的を計算します。
我々のモデルは,訓練中に数千の粒子による1段階の予測から,異なる初期条件,数千の時間ステップ,少なくとも1桁以上の粒子をテスト時に一般化できることを示す。
論文 参考訳（メタデータ） (2020-02-21T16:44:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。