論文の概要: Generative Perception of Shape and Material from Differential Motion

• arxiv url: http://arxiv.org/abs/2506.02473v1
• Date: Tue, 03 Jun 2025 05:43:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:35.301172
• Title: Generative Perception of Shape and Material from Differential Motion
• Title（参考訳）: 微分運動による形状と材料の生成的知覚
• Authors: Xinran Nicole Han, Ko Nishino, Todd Zickler,
• Abstract要約: 本稿では,物体の映像から形状・材料図を生成する条件付き拡散モデルを提案する。 本研究は、身体的身体的システムにおける視覚的推論を改善するための生成的知覚アプローチを提案する。
• 参考スコア（独自算出の注目度）: 17.090405682103167
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Perceiving the shape and material of an object from a single image is inherently ambiguous, especially when lighting is unknown and unconstrained. Despite this, humans can often disentangle shape and material, and when they are uncertain, they often move their head slightly or rotate the object to help resolve the ambiguities. Inspired by this behavior, we introduce a novel conditional denoising-diffusion model that generates samples of shape-and-material maps from a short video of an object undergoing differential motions. Our parameter-efficient architecture allows training directly in pixel-space, and it generates many disentangled attributes of an object simultaneously. Trained on a modest number of synthetic object-motion videos with supervision on shape and material, the model exhibits compelling emergent behavior: For static observations, it produces diverse, multimodal predictions of plausible shape-and-material maps that capture the inherent ambiguities; and when objects move, the distributions quickly converge to more accurate explanations. The model also produces high-quality shape-and-material estimates for less ambiguous, real-world objects. By moving beyond single-view to continuous motion observations, our work suggests a generative perception approach for improving visual reasoning in physically-embodied systems.
• Abstract（参考訳）: 物体の形状や素材を単一の画像から知覚することは本質的に曖昧であり、特に光が未知で制約を受けていない場合である。 それにもかかわらず、人間は形や素材を乱すことがしばしばあり、不確実性があるときには頭部をわずかに動かしたり、物体を回転させて曖昧さを解消する。 この振る舞いに触発されて,物体の短い映像から形状・材料図のサンプルを生成する,新しい条件付き脱調拡散モデルを導入する。 パラメータ効率のよいアーキテクチャでは、ピクセル空間で直接トレーニングが可能で、オブジェクトの多くの非絡み合った属性を同時に生成します。 静的な観察では、本質的な曖昧さを捉えた可塑性な形状と素材のマップの多様なマルチモーダルな予測を生成し、オブジェクトが移動すると、分布はすぐにより正確な説明に収束する。 このモデルは、より曖昧で現実的なオブジェクトに対して、高品質な形状と材料の推定も生成する。 単視点から連続的な運動観察に移行することで、身体的身体的システムにおける視覚的推論を改善するための生成的知覚アプローチが提案される。

関連論文リスト

• Learning Motion-Dependent Appearance for High-Fidelity Rendering of Dynamic Humans from a Single Camera [49.357174195542854]
  外観のダイナミクスを学ぶ上で重要な課題は、違法に大量の観測を必要とすることである。 本手法は,1つの視点映像から,身体のポーズや新しいビューを時間的に協調的に生成できることを示す。
  論文  参考訳（メタデータ） (2022-03-24T00:22:03Z)
• DiffSDFSim: Differentiable Rigid-Body Dynamics With Implicit Shapes [9.119424247289857]
  微分物理学は、シーンの理解と相互作用の推論のためのコンピュータとロボティクスの強力なツールである。 既存のアプローチは、前もって単純な形状や形状のオブジェクトに限られていることが多い。
  論文  参考訳（メタデータ） (2021-11-30T11:56:24Z)
• Visual Vibration Tomography: Estimating Interior Material Properties from Monocular Video [66.94502090429806]
  物体の内部の物質特性は、人間の目には見えないが、表面で観察される動きを決定する。 本研究では,物体の表面振動の単分子ビデオから物体の異種材料特性を推定する手法を提案する。
  論文  参考訳（メタデータ） (2021-04-06T18:05:27Z)
• Occlusion resistant learning of intuitive physics from videos [52.25308231683798]
  人工システムの鍵となる能力は、オブジェクト間の物理的相互作用を理解し、状況の将来的な結果を予測することである。 この能力は直感的な物理学と呼ばれ、近年注目されており、ビデオシーケンスからこれらの物理規則を学ぶためのいくつかの方法が提案されている。
  論文  参考訳（メタデータ） (2020-04-30T19:35:54Z)
• Visual Grounding of Learned Physical Models [66.04898704928517]
  人間は、物体の物理的特性を直感的に認識し、複雑な相互作用に従事している場合でも、その動きを予測する。 我々は、物理を同時に推論し、視覚と力学の先行に基づく将来の予測を行うニューラルモデルを提案する。 実験により、我々のモデルはいくつかの観測範囲内で物理的特性を推測できることが示され、モデルが目に見えないシナリオに迅速に適応し、将来正確な予測を行うことができる。
  論文  参考訳（メタデータ） (2020-04-28T17:06:38Z)
• Cloth in the Wind: A Case Study of Physical Measurement through Simulation [50.31424339972478]
  実例を一度も見ずに風中の布の潜伏物性を測定することを提案する。 私たちのソリューションは、シミュレーションをコアとした反復的な洗練手順です。 この対応は、物理的に類似した例を近くの点にマッピングする埋め込み関数を用いて測定される。
  論文  参考訳（メタデータ） (2020-03-09T21:32:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。