論文の概要: Swim2Real: VLM-Guided System Identification for Sim-to-Real Transfer
- arxiv url: http://arxiv.org/abs/2603.20827v1
- Date: Sat, 21 Mar 2026 14:02:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-24 19:11:39.106
- Title: Swim2Real: VLM-Guided System Identification for Sim-to-Real Transfer
- Title（参考訳）: Swim2Real: VLM-Guided System Identification for Sim-to-Real Transfer
- Authors: Kevin Qiu, Kyle Walker, Mike Y. Michelis, Marek Cygan, Josie Hughes,
- Abstract要約: 本稿では、視覚言語モデル(VLM)フィードバックを用いて、水泳ビデオからロボット魚シミュレータを校正するパイプラインSwim2Realを提案する。
VLM誘導キャリブレーションはビデオから直接水生ロボットのシミュレーションとリアルのギャップを埋めることができることを示す。
- 参考スコア（独自算出の注目度）: 8.16769217296711
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present Swim2Real, a pipeline that calibrates a 16-parameter robotic fish simulator from swimming videos using vision-language model (VLM) feedback, requiring no hand-designed search stages. Calibrating soft aquatic robots is particularly challenging because nonlinear fluid-structure coupling makes the parameter landscape chaotic, simplified fluid models introduce a persistent sim-to-real gap, and controlled aquatic experiments are difficult to reproduce. Prior work on this platform required three manually tailored stages to handle this complexity. The VLM compares simulated and real videos and proposes parameter updates. A backtracking line search then validates each step size, tripling the accept rate from 14% to 42% by recovering proposals where the direction is correct but the magnitude is too large. Swim2Real calibrates all 16 parameters simultaneously, most closely matching real fish velocities across all motor frequencies (MAE = 7.4 mm/s, 43% lower than the next-best method), with zero outlier seeds across five runs. Motor commands from the trained policy transfer to the physical fish at 50 Hz, completing the pipeline from swimming video to real-world deployment. Downstream RL policies swim 12% farther than those from BayesOpt-calibrated simulators and 90% farther than CMA-ES. These results demonstrate that VLM-guided calibration can close the sim-to-real gap for aquatic robots directly from video, enabling zero-shot RL transfer to physical swimmers without manual system identification, a step toward automated, general-purpose simulator tuning for underwater robotics.
- Abstract（参考訳）: 我々は,視覚言語モデル(VLM)フィードバックを用いて,16パラメータのロボット魚シミュレータを水泳ビデオから校正するパイプラインSwim2Realを提案する。
非線形流体構造結合はパラメータランドスケープをカオス化し、単純化された流体モデルでは永続的なsim-to-realギャップを導入し、制御された水生実験は再現が難しいため、ソフト水生ロボットの校正は特に困難である。
このプラットフォームに関する以前の作業では、この複雑さを扱うために手動で調整されたステージが3つ必要だった。
VLMはシミュレーションビデオと実動画を比較し、パラメータ更新を提案する。
バックトラックライン探索は各ステップサイズを検証し、方向が正しいが大きさが大きすぎる提案を復元することで、受け入れ率を14%から42%に倍増する。
Swim2Realは16のパラメータを同時に校正し、全てのモーター周波数(MAE = 7.4 mm/s、次のベスト・メソッドより43%低い)の実際の魚の速度に最もよく一致する。
訓練されたポリシーからのモーターコマンドが50Hzで物理魚に転送され、スイミングビデオから実際の展開までのパイプラインが完了する。
下流のRLポリシーはBayesOpt校正シミュレータよりも12%遠く、CMA-ESより90%遠い。
以上の結果から,VLM誘導型キャリブレーションは水中ロボットのシミュレーション・ギャップをビデオから直接埋めることが可能であり,手動によるシステム識別が不要な物理スイマーへのゼロショットRL転送を可能にした。
関連論文リスト
- Learning to Track Any Points from Human Motion [55.831218129679144]
点追跡のための擬似ラベル付きトレーニングデータを生成する自動パイプラインを提案する。
AnthroTAPでトレーニングされた点追跡モデルは、TAP-Vidベンチマークで注釈付き最先端性能を達成する。
論文 参考訳（メタデータ） (2025-07-08T17:59:58Z) - Learn to Swim: Data-Driven LSTM Hydrodynamic Model for Quadruped Robot Gait Optimization [3.0610505741393057]
本稿では,水中四足歩行ロボットにおける非定常非線形流体力予測のためのネットワークベース流体実験データ駆動モデル(FED-LSTM)を提案する。
循環式水槽と曳航式水槽の両方で実施した脚力および体力試験からの実験データに基づいて訓練を行った。
このモデルは複雑な流体力学を捉える際に優れた精度と適応性を示す。
論文 参考訳（メタデータ） (2025-05-06T03:42:16Z) - MarineGym: A High-Performance Reinforcement Learning Platform for Underwater Robotics [9.015814050369107]
MarineGymは、水中ロボット工学に特化した高性能強化学習(RL)プラットフォームである。
MarineGymはIsaac SimをベースとしたGPUアクセラレーション型動的プラグインを統合している。
また、無人水中車両(UUV)の5つのモデル、複数の推進システム、事前定義された一連のタスクも提供する。
論文 参考訳（メタデータ） (2025-03-12T09:47:58Z) - m4: A Learned Flow-level Network Simulator [14.802940782072122]
フローレベルのシミュレータは、動的に割り当てられた送信速度を持つ連続フローとしてトラフィックを抽象化する。
機械学習を用いて関心のネットワークのダイナミクスを学習する,正確でスケーラブルなフローレベルシミュレータであるm4を提案する。
論文 参考訳（メタデータ） (2025-03-03T17:51:08Z) - An Open-source Sim2Real Approach for Sensor-independent Robot Navigation in a Grid [0.0]
シミュレーション環境で訓練されたエージェントと、同様の環境でロボットをナビゲートする実際の実装とのギャップを橋渡しする。
具体的には、Gymnasium Frozen Lakeにインスパイアされた現実世界のグリッドのような環境で四足歩行ロボットをナビゲートすることに焦点を当てる。
論文 参考訳（メタデータ） (2024-11-05T20:18:29Z) - Waymax: An Accelerated, Data-Driven Simulator for Large-Scale Autonomous
Driving Research [76.93956925360638]
Waymaxは、マルチエージェントシーンにおける自動運転のための新しいデータ駆動シミュレータである。
TPU/GPUなどのハードウェアアクセラレータで完全に動作し、トレーニング用のグラフ内シミュレーションをサポートする。
我々は、一般的な模倣と強化学習アルゴリズムのスイートをベンチマークし、異なる設計決定に関するアブレーション研究を行った。
論文 参考訳（メタデータ） (2023-10-12T20:49:15Z) - QuadSwarm: A Modular Multi-Quadrotor Simulator for Deep Reinforcement
Learning with Direct Thrust Control [14.293280676715353]
強化学習(Reinforcement Learning, RL)は、ロボティクスタスクの堅牢なポリシーを作成する上での約束である。
現代のRLアルゴリズムは、しばしば成功したポリシーをトレーニングするために何十億もの環境遷移を必要とする。
クアッドスワーム(QuadSwarm)は、クアッドロータ用のシングルロボットRLとマルチロボットRLの研究のための高速で信頼性の高いシミュレータである。
論文 参考訳（メタデータ） (2023-06-15T22:46:20Z) - DiSECt: A Differentiable Simulator for Parameter Inference and Control
in Robotic Cutting [71.50844437057555]
軟質材料を切断するための最初の微分可能シミュレータであるDiSECtについて述べる。
シミュレータは、符号付き距離場に基づく連続接触モデルにより有限要素法を増強する。
このシミュレータは, 最先端の商用解法を用いて, 結果の力やフィールドに適合するようにキャリブレーションできることを示す。
論文 参考訳（メタデータ） (2022-03-19T07:27:19Z) - Auto-Tuned Sim-to-Real Transfer [143.44593793640814]
シミュレーションで訓練されたポリシーは、しばしば現実世界に移されるときに失敗する。
ドメインのランダム化のようなこの問題に取り組む現在のアプローチには、事前の知識とエンジニアリングが必要である。
実世界に合わせてシミュレータシステムパラメータを自動的にチューニングする手法を提案する。
論文 参考訳（メタデータ） (2021-04-15T17:59:55Z) - TrafficSim: Learning to Simulate Realistic Multi-Agent Behaviors [74.67698916175614]
リアル交通シミュレーションのためのマルチエージェント行動モデルであるTrafficSimを提案する。
特に、暗黙の潜在変数モデルを利用して、共同アクターポリシーをパラメータ化する。
TrafficSimは、多様なベースラインと比較して、より現実的で多様なトラフィックシナリオを生成します。
論文 参考訳（メタデータ） (2021-01-17T00:29:30Z) - Sim-to-Real Transfer for Vision-and-Language Navigation [70.86250473583354]
本研究では,従来は目に見えなかった環境下でロボットを解放し,制約のない自然言語ナビゲーション指示に従うという課題について検討する。
VLN(Vision-and-Language Navigation)の課題に関する最近の研究は、シミュレーションにおいて大きな進歩を遂げている。
ロボット工学における本研究の意義を評価するため,シミュレーションで訓練されたVLNエージェントを物理ロボットに転送する。
論文 参考訳（メタデータ） (2020-11-07T16:49:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。