論文の概要: RealSimLoop: Online Real-to-Sim Adaptation via Differentiable Reduced-Order Simulation with Vision Feedback
- arxiv url: http://arxiv.org/abs/2609.09828v2
- Date: Mon, 14 Sep 2026 02:23:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:04.765973
- Title: RealSimLoop: Online Real-to-Sim Adaptation via Differentiable Reduced-Order Simulation with Vision Feedback
- Title（参考訳）: RealSimLoop:視覚フィードバックを用いた微分還元次数シミュレーションによるオンラインリアルタイム適応
- Abstract要約: 視覚データを物理フィードバックとして利用するオンラインリアルタイム適応のための差別化可能なフレームワークであるRealSimLoopを提案する。
本手法は,低次ニューラル部分空間内で微分可能シミュレーションを行うことにより,準リアルタイム性能を実現する。
スライドウインドウの目的関数を利用することで、RealSimLoopは堅牢なオンライン適応を可能にする。
- 参考スコア（独自算出の注目度）: 20.409690218912512
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Real-world observations of deformable objects are often sparse or surface-level, while downstream tasks require hidden physical quantities such as internal deformation, stress fields, and interaction forces. Physics-based simulation can recover these quantities, but online real-to-sim adaptation remains challenging due to costly full-space optimization, limited feedback, and time-varying material properties. To address these challenges, we propose RealSimLoop, a differentiable framework for online real-to-sim adaptation using vision data as physical feedback. Our approach achieves quasi-real-time performance by executing differentiable simulation within a reduced-order neural subspace, drastically accelerating the optimization loop. We couple this efficient dynamics model with differentiable rendering, enabling direct gradient backpropagation that leverages high-fidelity pixel data to refine physical parameters such as material stiffness. Furthermore, by employing a sliding-window objective function, RealSimLoop enables robust online adaptation, allowing the system to track time-varying material properties and effectively bridge the real-to-sim gap arising from model reduction or unmodeled dynamics. Extensive experiments demonstrate that our method outperforms conventional offline methods, and we validate the framework's versatility in downstream applications, including external force prediction and 3D stress field reconstruction with novel view synthesis.
- Abstract（参考訳）: 変形可能な物体の現実世界での観測は、しばしばスパースまたは表面レベルで行われ、下流のタスクは内部変形、応力場、相互作用力などの隠れた物理的量を必要とする。
物理に基づくシミュレーションはこれらの量を取り戻すことができるが、高コストのフルスペース最適化、限られたフィードバック、時間変化のある材料特性のために、オンラインのリアルタイム適応は難しいままである。
これらの課題に対処するため、視覚データを物理フィードバックとして利用するオンラインリアルタイム適応のための差別化可能なフレームワークであるRealSimLoopを提案する。
提案手法は,低次ニューラル部分空間内で微分可能シミュレーションを実行し,最適化ループを大幅に高速化することにより,準リアルタイム性能を実現する。
我々は,高忠実度画素データを利用して材料剛性などの物理パラメータを洗練するための直接勾配逆伝播を可能にする,この効率的なダイナミックスモデルを微分可能レンダリングと組み合わせた。
さらに、スライドウインドウの目的関数を用いることで、RealSimLoopはロバストなオンライン適応を可能にし、時間変化のある材料特性をトラッキングし、モデル縮小や非モデル力学によるリアル-シムギャップを効果的に橋渡しすることができる。
大規模な実験により,本手法は従来のオフライン手法よりも優れており,外部力予測や新しい視点合成による3次元応力場再構成など,下流アプリケーションにおけるフレームワークの汎用性を検証する。
関連論文リスト
- Real2Sim: A Physics-driven and Editable Gaussian Splatting Framework for Autonomous Driving Scenes [4.759823735082845]
Real2Sim は 4D Gaussian Splatting (4DGS) と差別化可能なMaterial Point Method (MPM) を結合した統合フレームワークである。
Real2Simは動的駆動シーンを時間的に連続したガウスプリミティブとして明示的に再構築し、インスタンスレベルの編集をサポートし、現実的なオブジェクトとオブジェクトと環境の相互作用をシミュレートする。
Openデータセットの実験では、Real2Simのレンダリング、再構築、編集、物理シミュレーションの能力を検証するとともに、認識、追跡、軌道予測、エンドツーエンドポリシー学習といった下流タスクでデータを生成するためのスケーラブルなツールとしての可能性を示している。
論文 参考訳（メタデータ） (2026-05-13T14:26:25Z) - RAFL: Generalizable Sim-to-Real of Soft Robots with Residual Acceleration Field Learning [2.9644314918775962]
微分シミュレータは、材料パラメータ、制御、形態に対するソフトロボットの勾配に基づく最適化を可能にする。
本稿では,移動可能な要素レベルの補正力学場をベースシミュレータに拡張した残留加速度場学習フレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-23T14:40:02Z) - HSImul3R: Physics-in-the-Loop Reconstruction of Simulation-Ready Human-Scene Interactions [69.43316445143408]
HSImul3Rはヒトとシーンの相互作用をシミュレーション可能な3次元再構成のための統合フレームワークである。
既存の手法は知覚とシミュレーションのギャップに悩まされており、物理エンジンの不安定性と、具体化されたAIアプリケーションの失敗につながっている。
論文 参考訳（メタデータ） (2026-03-16T17:58:33Z) - Few-Shot Neural Differentiable Simulator: Real-to-Sim Rigid-Contact Modeling [9.084754731100311]
本稿では,解析的定式化とグラフニューラルネットワーク(GNN)に基づくモデルの表現能力を組み合わせた,数発のリアルタイム・シミュレーション手法を提案する。
本手法は,少数の実世界のデータのみを用いて解析シミュレータを校正し,多様な接触相互作用を捉えた大規模合成データセットを生成する。
実験により,本手法は実世界の軌道を再現する上で,学習ベースシミュレータの差分ベースラインよりも優れていることが示された。
論文 参考訳（メタデータ） (2026-03-06T12:32:56Z) - D-REX: Differentiable Real-to-Sim-to-Real Engine for Learning Dexterous Grasping [66.22412592525369]
本稿では,ガウスのSplat表現を生かした実--sim-to-realエンジンを導入し,実-sim-to-realエンジンについて述べる。
提案エンジンは, 各種物体の形状と質量値のマス識別において, 高精度かつロバストな性能を実現していることを示す。
これらの最適化された質量値は、力覚的なポリシー学習を促進し、オブジェクトの把握において優れた、高いパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-03-01T15:32:04Z) - DiffusionHarmonizer: Bridging Neural Reconstruction and Photorealistic Simulation with Online Diffusion Enhancer [62.18680935878919]
レンダリングを時間的に一貫した出力に変換するオンライン生成拡張フレームワークであるDiffusionHarmonizerを紹介した。
コアとなるのは、単一のGPU上でオンラインシミュレータで実行可能な、一段階の時間的条件付きエンハンサーである。
論文 参考訳（メタデータ） (2026-02-27T15:35:30Z) - Dynamic Manipulation of Deformable Objects in 3D: Simulation, Benchmark and Learning Strategy [88.8665000676562]
従来の手法は、しばしば問題を低速または2D設定に単純化し、現実の3Dタスクに適用性を制限する。
データ不足を軽減するため、新しいシミュレーションフレームワークと、低次ダイナミクスに基づくベンチマークを導入する。
本研究では,シミュレーション前トレーニングと物理インフォームドテスト時間適応を統合するフレームワークであるDynamics Informed Diffusion Policy (DIDP)を提案する。
論文 参考訳（メタデータ） (2025-05-23T03:28:25Z) - GausSim: Foreseeing Reality by Gaussian Simulator for Elastic Objects [55.02281855589641]
GausSimは、ガウスカーネルを通して表現される現実の弾性物体の動的挙動をキャプチャするために設計された、ニューラルネットワークベースの新しいシミュレータである。
我々は連続体力学を活用し、各カーネルを連続体を表すCenter of Mass System (CMS)として扱う。
さらに、ガウスシムは質量や運動量保存のような明示的な物理制約を取り入れ、解釈可能な結果と堅牢で物理的に妥当なシミュレーションを確実にする。
論文 参考訳（メタデータ） (2024-12-23T18:58:17Z) - DeepSimHO: Stable Pose Estimation for Hand-Object Interaction via
Physics Simulation [81.11585774044848]
我々は、前方物理シミュレーションと後方勾配近似とニューラルネットワークを組み合わせた新しいディープラーニングパイプラインであるDeepSimHOを紹介する。
提案手法は, 評価の安定性を著しく向上し, テスト時間最適化よりも優れた効率性を実現する。
論文 参考訳（メタデータ） (2023-10-11T05:34:36Z) - Near-realtime Facial Animation by Deep 3D Simulation Super-Resolution [7.14576106770047]
本稿では,低コストでリアルタイムな物理シミュレーションによって生み出す顔のパフォーマンスを効率よく,現実的に向上させるニューラルネットワークに基づくシミュレーションフレームワークを提案する。
顔のアニメーションをこのようなシミュレーション領域の例に用いて,2つのシミュレータで同じ筋の運動制御と骨格のポーズを単純にダイヤルすることで,この意味の一致を創り出すことができる。
提案するニューラルネットワーク超解像フレームワークは,このトレーニングセットから未確認表現を一般化し,リアルタイム変種における解像度の制限やコスト削減近似による2つのシミュレーション間の不一致をモデル化するための補償を行うとともに,意味記述子やパラメータを必要としない。
論文 参考訳（メタデータ） (2023-05-05T00:09:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。