論文の概要: Video2SwimFish: An Automated Pipeline for Reconstructing Controllable Fish Models and Biological Locomotion from Real Fish Videos

• arxiv url: http://arxiv.org/abs/2609.38966v1
• Date: Wed, 30 Sep 2026 04:35:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.186157
• Title: Video2SwimFish: An Automated Pipeline for Reconstructing Controllable Fish Models and Biological Locomotion from Real Fish Videos
• Title（参考訳）: Video2SwimFish:本物の魚のビデオから制御可能な魚のモデルと生物の移動を再構築する自動化パイプライン
• Abstract要約: Video2SwimFishは水中AIのための実魚ビデオから制御可能な魚の資産を構築するための自動パイプラインとベンチマークである。 6種にまたがる120種の魚と、それに由来する制御可能な資産と個別の水泳ポリシーを同期したトップ・ビューとフロント・ビューの2つのデータセットをリリースする。
• 参考スコア（独自算出の注目度）: 2.1398473341482593
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Video2SwimFish, an automated pipeline and benchmark for building controllable fish assets from real-fish videos for underwater embodied AI. Given synchronized multi-view videos of an individual fish, the pipeline reconstructs a metrically scaled deformable mesh from a VLM-selected canonical frame, generates internal articulation adapted to that individual's morphology through a VLM actor-critic loop, and extracts a Biological Locomotion Manifold (BLM) from the fish's observed midline curvature. The BLM provides a low-dimensional action space bounded by real-fish motion, enabling an individual swimming policy to be learned for each reconstructed fish. We release two paired datasets: synchronized top- and front-view recordings of 120 individual fish across 6 species, and the controllable assets and individual swimming policies derived from them. Because every asset is tied to the animal it came from, the dataset supports a benchmark that evaluates locomotion learning not only on task success but on fidelity to that individual in trajectory shape, body curvature, and tail-beat frequency, across trajectory following, reward-free swimming behavior transfer from video, and a downstream case study in which a simulated BlueROV underwater robot captures one of the assets. We find that task success and locomotion fidelity do not necessarily improve together: the method achieving the highest task completion is not the method achieving the highest locomotion fidelity, and we identify faithful reproduction of individual animal locomotion as an open challenge for the community. Project website: https://hangongchen.github.io/video2swimfish-web/.
• Abstract（参考訳）: 我々は、水中のエンボディAIのための実魚ビデオから制御可能な魚の資産を構築するための自動パイプラインとベンチマークであるVideo2SwimFishを紹介した。 個々の魚の同時マルチビュービデオが与えられた後、パイプラインは、VLM選択された標準フレームからメートルスケールの変形可能なメッシュを再構成し、VLMアクター・クリティック・ループを介して、その個体の形状に適合した内部関節を生成し、魚の観察された中線曲率から生物学的移動マニフォールド(BLM)を抽出する。 BLMは、実際の魚の動きによって拘束された低次元の行動空間を提供し、再構成された魚ごとに個別の水泳ポリシーを学ぶことができる。 6種にまたがる120種の個体群と120種の個体群を同期したトップビューとフロントビューの2つのデータセットと、それらから派生した制御可能な資産と個別の水泳ポリシーを公表した。 全ての資産が動物と結びついているため、データセットは、タスクの成功だけでなく、軌道の形状、体曲、尾の拍動の周波数の個人に対する移動学習の忠実度を評価するベンチマークをサポートし、ビデオからの報酬のない水泳行動の転送、シミュレーションされたBlueROV水中ロボットが資産の1つをキャプチャする下流ケーススタディをサポートしている。 作業成功率と移動忠実度は必ずしも向上しないことがわかった。最も高い作業完了率を達成する方法は、最も高い移動忠実度を達成する方法ではなく、個々の動物の移動の忠実な再現を、コミュニティにとってオープンな課題とみなす。 プロジェクトウェブサイト: https://hangongchen.github.io/video2swimfish-web/

関連論文リスト

• SimWAM: A Simple World Action Model for End-to-End Autonomous Driving [66.93548079427477]
  我々は、将来の映像予測を訓練時間監視信号として活用する、シンプルで効果的なWAMであるSimWAMを提案する。 孤立した注意マスクは、将来のフレームとは独立して行動予測を保持し、推論時に明示的な将来のフレーム生成なしに軌道予測を可能にする。 我々のSimWAMは、NAVSIM上の91.5 PDMSを達成し、最先端のWAMベースのプランナをはるかに低レイテンシで超越し、ゼロショットをnuScenesに転送する。
  論文  参考訳（メタデータ） (2026-08-07T17:59:09Z)
• Unleashing Infinite Motion: Scaling Expressive Quadrupedal Motion via Generative Video Priors [16.885943699439377]
  私たちは、アクロバティックな動作とパフォーマンス的な動作にまたがる7,488個の四足歩行のオープンソースデータセットであるQuad-Imaginariumをリリースした。 生成問題として対応するデータをフレーミングすることで、動物をループから除去する、完全に自動化されたパイプラインであるUni-Moをリリースする。 実Unitree Go2上の392個のランダムサンプリング動作を96.7%の成功率で検証し,97.6%の成功率で補完した。
  論文  参考訳（メタデータ） (2026-06-26T16:23:40Z)
• TopoCap: Learning Topology-Agnostic Motion Priors for Monocular Video-to-Animation [44.79819257609757]
  TopoCapはモノクロビデオから動きを抽出し、任意の骨格トポロジで文字に書き込むことができる最初の統合フレームワークである。 我々の重要な洞察は、骨格構造は離散的であるが、運動の基盤となる物理学は連続的で低次元の多様体を占有しているということである。 この洞察を、2段階の生成パイプラインを通じて実現します。
  論文  参考訳（メタデータ） (2026-06-10T14:41:19Z)
• Robots that learn to evaluate models of collective behavior [7.979981463085327]
  本稿では,生物模倣ロボットフィッシュ(RoboFish)を用いて,クローズドループ相互作用による生魚の行動の計算モデルを評価する。 我々は,4つの異なる魚モデル – 単純な定位置ベースライン,2つのルールベースモデル,生物学的基盤を持つ畳み込みニューラルネットワークモデル – を用いて,シミュレーションのポリシを訓練し,これらのポリシを実際のRoboFishセットアップに転送した。 我々は、目標到達性能、個人間距離、壁相互作用などの行動指標のシミュレーションと実際の分布の間のワッサーシュタイン距離として定義されるシム・トゥ・リアルギャップを定量化し、魚モデルを評価する。
  論文  参考訳（メタデータ） (2026-04-08T17:11:29Z)
• UniMo: Unifying 2D Video and 3D Human Motion with an Autoregressive Framework [54.337290937468175]
  統合された枠組み内での2次元映像と3次元映像の協調モデリングのための自己回帰モデルUniMoを提案する。 本手法は,正確なモーションキャプチャを行いながら,対応する映像と動きを同時に生成することを示す。
  論文  参考訳（メタデータ） (2025-12-03T16:03:18Z)
• Learning to Track Any Points from Human Motion [55.831218129679144]
  点追跡のための擬似ラベル付きトレーニングデータを生成する自動パイプラインを提案する。 AnthroTAPでトレーニングされた点追跡モデルは、TAP-Vidベンチマークで注釈付き最先端性能を達成する。
  論文  参考訳（メタデータ） (2025-07-08T17:59:58Z)
• CBIL: Collective Behavior Imitation Learning for Fish from Real Videos [58.81930297206828]
  魚の学習行動を直接ビデオから学習するためのスケーラブルなアプローチCBIL(Collective Behavior Imitation Learning)を提案する。 MVAEは2次元の観察を、模倣学習段階に従うためにコンパクトで表現力のある暗黙の状態に効果的にマッピングする。 CBILは、学習された集合的な動きの前の様々なアニメーションタスクに使用することができる。
  論文  参考訳（メタデータ） (2025-03-31T21:15:00Z)
• Puppet-Master: Scaling Interactive Video Generation as a Motion Prior for Part-Level Dynamics [79.4785166021062]
  本稿では,対話型ビデオジェネレータPuppet-Masterを紹介した。 Puppet-Masterは、他のモーションコンディショニングビデオジェネレータとは異なり、パートレベルのモーションを生成することを学習している。 Puppet-Masterはドメイン外の実際のイメージを一般化し、実世界のベンチマークで既存のメソッドよりも優れています。
  論文  参考訳（メタデータ） (2024-08-08T17:59:38Z)
• WildVidFit: Video Virtual Try-On in the Wild via Image-Based Controlled Diffusion Models [132.77237314239025]
  ビデオ仮想トライオンは、衣料品のアイデンティティを維持し、ソースビデオにおける人のポーズと身体の形に適応する現実的なシーケンスを生成することを目的としている。 従来の画像ベースの手法は、ワープとブレンディングに依存しており、複雑な人間の動きや閉塞に苦しむ。 衣料品の説明や人間の動きを条件とした映像生成のプロセスとして,映像試行を再認識する。 私たちのソリューションであるWildVidFitは、画像ベースで制御された拡散モデルを用いて、一段階の合理化を図っている。
  論文  参考訳（メタデータ） (2024-07-15T11:21:03Z)
• Overcoming Annotation Bottlenecks in Underwater Fish Segmentation: A Robust Self-Supervised Learning Approach [3.0516727053033392]
  本稿では,Deep Learning を用いた魚のセグメンテーションのための自己教師型学習手法を提案する。 手動のアノテーションを使わずにトレーニングされた我々のモデルは、拡張ビューにまたがる特徴を整列することで、堅牢で一般化可能な表現を学習する。 DeepFish、Seagrass、YouTube-VOSの3つの挑戦的な水中ビデオデータセットでその効果を実証する。
  論文  参考訳（メタデータ） (2022-06-11T01:20:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。