論文の概要: Neural Differential Appearance Equations

• arxiv url: http://arxiv.org/abs/2410.07128v1
• Date: Mon, 23 Sep 2024 11:29:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 22:06:43.509759
• Title: Neural Differential Appearance Equations
• Title（参考訳）: ニューラル微分外見方程式
• Authors: Chen Liu, Tobias Ritschel,
• Abstract要約: 本研究では,動的外観テクスチャを時変時空間で再現する手法を提案する。 我々は、ニューラルネットワークの常微分方程式を用いて、ターゲットの例から外見の根底となるダイナミクスを学習する。 実験の結果,本手法は現実的かつ一貫性のある結果をもたらすことがわかった。
• 参考スコア（独自算出の注目度）: 14.053608981988793
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a method to reproduce dynamic appearance textures with space-stationary but time-varying visual statistics. While most previous work decomposes dynamic textures into static appearance and motion, we focus on dynamic appearance that results not from motion but variations of fundamental properties, such as rusting, decaying, melting, and weathering. To this end, we adopt the neural ordinary differential equation (ODE) to learn the underlying dynamics of appearance from a target exemplar. We simulate the ODE in two phases. At the "warm-up" phase, the ODE diffuses a random noise to an initial state. We then constrain the further evolution of this ODE to replicate the evolution of visual feature statistics in the exemplar during the generation phase. The particular innovation of this work is the neural ODE achieving both denoising and evolution for dynamics synthesis, with a proposed temporal training scheme. We study both relightable (BRDF) and non-relightable (RGB) appearance models. For both we introduce new pilot datasets, allowing, for the first time, to study such phenomena: For RGB we provide 22 dynamic textures acquired from free online sources; For BRDFs, we further acquire a dataset of 21 flash-lit videos of time-varying materials, enabled by a simple-to-construct setup. Our experiments show that our method consistently yields realistic and coherent results, whereas prior works falter under pronounced temporal appearance variations. A user study confirms our approach is preferred to previous work for such exemplars.
• Abstract（参考訳）: 本研究では,動的外観テクスチャを時変時空間で再現する手法を提案する。 これまでのほとんどの研究は動的テクスチャを静的な外観と運動に分解するが、我々は動きではなく、さび、崩壊、融解、風化といった基本的な性質のバリエーションによって生じる動的外観に焦点を当てている。 この目的のために、我々はニューラル常微分方程式(ODE)を用いて、ターゲットの例から外見の根底となるダイナミクスを学習する。 ODEを2つのフェーズでシミュレートする。 ウォームアップフェーズでは、ODEはランダムノイズを初期状態に拡散する。 次に、このODEのさらなる進化を制約し、生成フェーズにおける視覚的特徴統計の進化を再現する。 この研究の特に革新は、時間的トレーニングスキームによって動的合成の認知と進化の両方を達成するニューラルODEである。 Relightable (BRDF) および non-relightable (RGB) の外観モデルについて検討した。 RGBでは、無料のオンラインソースから取得した22の動的テクスチャを提供しています。BRDFでは、簡単な構成設定で実現された21のフラッシュライトビデオのデータセットをさらに取得します。 実験の結果,本手法は現実的かつコヒーレントな結果をもたらすのに対し,先行研究は時間的外見の変化が顕著であることがわかった。 ユーザスタディでは、我々のアプローチが、そのような例にとって過去の作業よりも好まれていることが確認されている。

関連論文リスト

• Scientific machine learning in ecological systems: A study on the predator-prey dynamics [1.4633779950109127]
  我々は、学習データやニューラルネットワークにのみ依存して、システムの事前の知識なしに、基礎となる微分方程式を明らかにすることを目指している。 本稿では,LotkaVolterraシステムの予測と予測に,Neural ODEとUDEの両方を効果的に活用できることを実証する。 基礎となるダイナミクスを効果的に回復し、トレーニングデータを大幅に減らして正確な予測を行うことで、UDEがニューラルODEより優れているかを観察した。
  論文  参考訳（メタデータ） (2024-11-11T10:40:45Z)
• Foundational Inference Models for Dynamical Systems [5.549794481031468]
  我々は,ODEによって決定されると仮定される時系列データの欠落を補うという古典的な問題に対して,新たな視点を提供する。 本稿では,いくつかの(隠れた)ODEを満たすパラメトリック関数を通じて,ゼロショット時系列計算のための新しい教師付き学習フレームワークを提案する。 我々は,1と同一(事前学習)の認識モデルが,63個の異なる時系列に対してゼロショット計算を行なえることを実証的に実証した。
  論文  参考訳（メタデータ） (2024-02-12T11:48:54Z)
• Equivariant Graph Neural Operator for Modeling 3D Dynamics [148.98826858078556]
  我々は,次のステップの予測ではなく,ダイナミックスを直接トラジェクトリとしてモデル化するために,Equivariant Graph Neural Operator (EGNO)を提案する。 EGNOは3次元力学の時間的進化を明示的に学習し、時間とともに関数として力学を定式化し、それを近似するためにニューラル演算子を学習する。 粒子シミュレーション、人間のモーションキャプチャー、分子動力学を含む複数の領域における総合的な実験は、既存の手法と比較して、EGNOの極めて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-01-19T21:50:32Z)
• Diffusion Priors for Dynamic View Synthesis from Monocular Videos [59.42406064983643]
  ダイナミックノベルビュー合成は、ビデオ内の視覚的コンテンツの時間的進化を捉えることを目的としている。 まず、ビデオフレーム上に予め訓練されたRGB-D拡散モデルをカスタマイズ手法を用いて微調整する。 動的および静的なニューラルレイディアンス場を含む4次元表現に、微調整されたモデルから知識を蒸留する。
  論文  参考訳（メタデータ） (2024-01-10T23:26:41Z)
• DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
  DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。 本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。 実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
  論文  参考訳（メタデータ） (2023-11-30T21:34:44Z)
• Natural scene reconstruction from fMRI signals using generative latent diffusion [1.90365714903665]
  我々はBrain-Diffuserと呼ばれる2段階のシーン再構築フレームワークを提示する。 第1段階では、VDVAE(Very Deep Vari Autoencoder)モデルを用いて、低レベル特性と全体レイアウトをキャプチャする画像を再構成する。 第2段階では、予測されたマルチモーダル(テキストおよび視覚)特徴に基づいて、遅延拡散モデルのイメージ・ツー・イメージ・フレームワークを使用する。
  論文  参考訳（メタデータ） (2023-03-09T15:24:26Z)
• Neural Implicit Representations for Physical Parameter Inference from a Single Video [49.766574469284485]
  本稿では,外見モデルのためのニューラル暗黙表現と,物理現象をモデル化するためのニューラル常微分方程式(ODE)を組み合わせることを提案する。 提案モデルでは,大規模なトレーニングデータセットを必要とする既存のアプローチとは対照的に,単一のビデオから物理的パラメータを識別することが可能になる。 ニューラル暗示表現を使用することで、高解像度ビデオの処理とフォトリアリスティック画像の合成が可能になる。
  論文  参考訳（メタデータ） (2022-04-29T11:55:35Z)
• Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
  本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。 我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。 そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-22T03:17:35Z)
• TCL: Transformer-based Dynamic Graph Modelling via Contrastive Learning [87.38675639186405]
  我々は,動的に進化するグラフを連続的に扱う,TCLと呼ばれる新しいグラフニューラルネットワークアプローチを提案する。 我々の知る限りでは、これは動的グラフ上の表現学習にコントラスト学習を適用する最初の試みである。
  論文  参考訳（メタデータ） (2021-05-17T15:33:25Z)
• Beyond Occam's Razor in System Identification: Double-Descent when Modeling Dynamics [0.0]
  システム識別は、データから動的システムのモデルを構築することを目的とする。 モデル検証性能はモデル複雑性が増加するにつれてU字型曲線に従うことが典型的に観察される。 機械学習と統計学の最近の進歩は、このu字型モデルパフォーマンス曲線を「二重線」曲線が乗じる状況を観察している。
  論文  参考訳（メタデータ） (2020-12-11T13:34:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。