論文の概要: Seeing the Wind from a Falling Leaf

• arxiv url: http://arxiv.org/abs/2512.00762v1
• Date: Sun, 30 Nov 2025 07:19:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:34.404761
• Title: Seeing the Wind from a Falling Leaf
• Title（参考訳）: 落ち葉から風を見る
• Authors: Zhiyuan Gao, Jiageng Mao, Hong-Xing Yu, Haozhe Lou, Emily Yue-Ting Jia, Jernej Barbic, Jiajun Wu, Yue Wang,
• Abstract要約: 本研究では, 地中に落ちてくる葉を観察することにより, 風速を推定するなど, 視覚観測から見えない力を回復する方法について検討する。 私たちの重要な革新は、ビデオから直接オブジェクトの幾何学、物理特性、相互作用を共同でモデル化するエンドツーエンドの差別化可能な逆グラフィクスフレームワークです。 提案手法を合成シナリオと実世界のシナリオの両方で検証し,ビデオから可塑性力場を推定できることを示す。
• 参考スコア（独自算出の注目度）: 28.704926268363707
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A longstanding goal in computer vision is to model motions from videos, while the representations behind motions, i.e. the invisible physical interactions that cause objects to deform and move, remain largely unexplored. In this paper, we study how to recover the invisible forces from visual observations, e.g., estimating the wind field by observing a leaf falling to the ground. Our key innovation is an end-to-end differentiable inverse graphics framework, which jointly models object geometry, physical properties, and interactions directly from videos. Through backpropagation, our approach enables the recovery of force representations from object motions. We validate our method on both synthetic and real-world scenarios, and the results demonstrate its ability to infer plausible force fields from videos. Furthermore, we show the potential applications of our approach, including physics-based video generation and editing. We hope our approach sheds light on understanding and modeling the physical process behind pixels, bridging the gap between vision and physics. Please check more video results in our \href{https://chaoren2357.github.io/seeingthewind/}{project page}.
• Abstract（参考訳）: コンピュータビジョンの長年の目標は、動画からの動きをモデル化することであり、動きの背後にある表現、すなわち物体が変形して動くようになる見えない物理的相互作用は、ほとんど探索されていないままである。 本研究では, 地上に落ちてくる葉を観察することにより, 風速を推定し, 目視から見えない力を回復する方法について検討する。 私たちの重要な革新は、ビデオから直接オブジェクトの幾何学、物理特性、相互作用を共同でモデル化するエンドツーエンドの差別化可能な逆グラフィクスフレームワークです。 バックプロパゲーションにより,物体の動きから力表現を復元することができる。 提案手法を合成シナリオと実世界のシナリオの両方で検証し,ビデオから可塑性力場を推定できることを示す。 さらに、物理に基づく映像生成や編集など、我々のアプローチの潜在的な応用について述べる。 われわれのアプローチは、ピクセルの背後にある物理的なプロセスを理解し、モデル化し、視覚と物理のギャップを埋めることに光を当てることを願っている。 より詳しいビデオ結果は、我々の \href{https://chaoren2357.github.io/seeingthewind/}{project page} で確認してください。

関連論文リスト

• PhysHMR: Learning Humanoid Control Policies from Vision for Physically Plausible Human Motion Reconstruction [52.44375492811009]
  物理学に基づくシミュレーターにおいて,ヒューマノイド制御のための視覚行動ポリシーを学習する統合フレームワークであるPhysHMRを提案する。 我々のアプローチの重要な要素はピクセル・アズ・レイ戦略であり、2次元のキーポイントを3次元空間に上げ、それらを大域空間に変換する。 PhysHMRは多種多様なシナリオにまたがって高忠実で物理的に妥当な動きを生じさせ、視覚的精度と身体的リアリズムの両方において以前のアプローチより優れている。
  論文  参考訳（メタデータ） (2025-10-02T21:01:11Z)
• Force Prompting: Video Generation Models Can Learn and Generalize Physics-based Control Signals [18.86902152614664]
  映像生成のための制御信号として物理力を用いる。 そこで我々は,局所的な力によって画像と対話できる力のプロンプトを提案する。 これらの力のプロンプトによって、ビデオが物理的な制御信号に現実的に反応できることを実証する。
  論文  参考訳（メタデータ） (2025-05-26T01:04:02Z)
• VLIPP: Towards Physically Plausible Video Generation with Vision and Language Informed Physical Prior [88.51778468222766]
  近年,映像拡散モデル (VDM) が大幅に進歩し,映像のリアル化が進んでいる。 VDMは物理の理解の欠如のため、物理的にもっともらしいビデオを作ることができないことが多い。 本稿では,物理を視覚と言語に明示的に組み込んだ新しい2段階画像・映像生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-30T09:03:09Z)
• Trajectory Optimization for Physics-Based Reconstruction of 3d Human Pose from Monocular Video [31.96672354594643]
  本研究は,単眼映像から身体的に可視な人間の動きを推定する作業に焦点をあてる。 物理を考慮しない既存のアプローチは、しばしば運動人工物と時間的に矛盾した出力を生み出す。 提案手法は,Human3.6Mベンチマークにおける既存の物理法と競合する結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-05-24T18:02:49Z)
• Dynamic Visual Reasoning by Learning Differentiable Physics Models from Video and Language [92.7638697243969]
  視覚概念を協調的に学習し,映像や言語から物体の物理モデルを推定する統合フレームワークを提案する。 これは視覚認識モジュール、概念学習モジュール、微分可能な物理エンジンの3つのコンポーネントをシームレスに統合することで実現される。
  論文  参考訳（メタデータ） (2021-10-28T17:59:13Z)
• Towards an Interpretable Latent Space in Structured Models for Video Prediction [30.080907495461876]
  基礎となる物理力学が支配するビデオにおける将来のフレーム予測の課題に焦点をあてる。 我々は、オブジェクト中心のモデル、すなわち、オブジェクト表現を明示的に扱うモデルで作業し、潜在空間における損失を伝播する。
  論文  参考訳（メタデータ） (2021-07-16T05:37:16Z)
• Learning to Identify Physical Parameters from Video Using Differentiable Physics [2.15242029196761]
  本稿では,アクション条件付きビデオ表現ネットワーク内の物理エンジンを用いて物理潜在表現を学習する手法を提案する。 われわれのネットワークは、画像のエンコードと、ビデオやアクションシーケンスからの質量や摩擦などの物理的特性の同定を学習できることを実証する。
  論文  参考訳（メタデータ） (2020-09-17T13:36:57Z)
• Occlusion resistant learning of intuitive physics from videos [52.25308231683798]
  人工システムの鍵となる能力は、オブジェクト間の物理的相互作用を理解し、状況の将来的な結果を予測することである。 この能力は直感的な物理学と呼ばれ、近年注目されており、ビデオシーケンスからこれらの物理規則を学ぶためのいくつかの方法が提案されている。
  論文  参考訳（メタデータ） (2020-04-30T19:35:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。