論文の概要: SUMO: Segment and Track Any Motion with Nonlinear State Space Models
- arxiv url: http://arxiv.org/abs/2606.29861v1
- Date: Mon, 29 Jun 2026 06:55:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:16.087351
- Title: SUMO: Segment and Track Any Motion with Nonlinear State Space Models
- Title(参考訳): SUMO: 非線形状態空間モデルによる任意の動作のセグメンテーションと追跡
- Abstract要約: Visual Object Tracking (VOT) とMotion Object (MOS) はコンピュータビジョンにおける2つの基本的なタスクである。
我々は、非線形ダイナミクスと視覚に基づくセグメンテーションを統合した、ゼロショット、トレーニング不要、統一的なフレームワークSUMOを提案する。
具体的には,ロボットの原理にインスパイアされた非線形状態空間モデル(SSM)を開発し,複雑な物体のダイナミクスを捉える。
- 参考スコア(独自算出の注目度): 20.136630716718383
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visual Object Tracking (VOT) and Moving Object Segmentation (MOS) are two fundamental tasks in computer vision that involve both spatial and temporal object dynamics. Existing methods rely predominantly on visual cues and thus often falter in real-world scenarios where object motions are inherently complex and nonlinear. To address this limitation, we propose SUMO, a zero-shot, training-free, unified framework integrating nonlinear dynamics with vision-based segmentation for accurate and consistent VOT and MOS. Specifically, we develop a nonlinear State Space Model (SSM) inspired by robotics principles to capture the complex object dynamics. Building on this model, we propose a Selective Unscented Filter (SUF) for accurate state estimation, which features a joint scoring mechanism and dynamically fuses multi-source predictions to identify the most plausible object state over time. Furthermore, we apply a memory selection mechanism to evaluate the reliability of memory frames. Our extensive experimental results show that SUMO achieves state-of-the-art performance on both VOT and MOS tasks.
- Abstract(参考訳): Visual Object Tracking (VOT) とMotion Object Segmentation (MOS) は、空間的および時間的オブジェクトのダイナミクスを含むコンピュータビジョンにおける2つの基本的なタスクである。
既存の手法は視覚的手がかりに大きく依存しているため、物体の動きが本質的に複雑で非線形な現実のシナリオではしばしば失敗する。
この制限に対処するために,非線形ダイナミクスと視覚に基づくセグメンテーションを統合した,ゼロショットでトレーニング不要な統一フレームワークSUMOを提案する。
具体的には,ロボットの原理にインスパイアされた非線形状態空間モデル(SSM)を開発し,複雑な物体のダイナミクスを捉える。
このモデルに基づいて,精度の高い状態推定のための選択的アンセントフィルタ (SUF) を提案する。
さらに,メモリフレームの信頼性を評価するために,メモリ選択機構を適用した。
我々の実験結果から,SUMO は VOT と MOS の両タスクで最先端の性能を達成できることが示唆された。
関連論文リスト
- Towards Generalizable Visually Grounded Exploration of Household Devices [74.66117923766632]
汎用的な自律的実施エージェントを実現する上でのボトルネックは、Generalizable Visually Grounded Explorationにある。
VGEBenchは、視覚言語モデルの一般化可能な視野探索能力を評価するために設計されたベンチマークである。
静的なデータセットとは異なり、我々はLogic-Driven State Machineフレームワークを構築している。このフレームワークは多ターンインタラクションループをシミュレートし、アクティブな視覚知覚とフィードバック駆動の修正によって目標を達成するエージェントを説得する。
論文 参考訳(メタデータ) (2026-09-01T07:42:45Z) - DyG$^2$T: Modeling Object Dynamics with 3D Gaussian Temporal-Spatial Particle Graph Transformer [86.4618122245946]
DyG$2$Tは動的モデリングフレームワークで、キーポイント表現を空間的に完了し、時間的に識別することでオブジェクトの運動軌跡を推定する。
合成データセットと実世界のデータセットの両方の実験は、DyG$2$Tが正確な動的モデリングと推論を実現することを示した。
論文 参考訳(メタデータ) (2026-08-19T03:44:28Z) - Self in Space: Benchmarking Self-Awareness and Spatial Cognition in UAV Embodied Intelligence [23.612425637328553]
SIS-Benchは、UAVシナリオにおけるエンボディド空間インテリジェンスを評価するためのベンチマークである。
SIS-Benchは、空間と自己の2つの相補的な次元と、知覚、記憶、推論の3レベル階層に沿って評価を編成する。
実験結果から,モデリングエージェントの動作は知覚と記憶性能を一貫して改善することが示された。
論文 参考訳(メタデータ) (2026-07-14T08:04:31Z) - Segment Anything with Motion, Geometry, and Semantic Adaptation for Complex Nonlinear Visual Object Tracking [81.34609950921023]
近年のビジョン基礎モデルはSAM 2で実証されている。
本稿では, SAM 2 を複雑な VOT シナリオに適用する新たなトラッキングフレームワーク SAMOSA を提案する。
論文 参考訳(メタデータ) (2026-05-21T14:25:28Z) - Kinematics-Aware Latent World Models for Data-Efficient Autonomous Driving [8.391716372682316]
車両キネマティック情報は観測エンコーダに組み込まれ、物理的に意味のある運動力学における潜伏遷移を基底とする。
ジオメトリ・アウェアの監督は、RSSM潜時状態を規則化し、ピクセル再構成を超えてタスク関連空間構造をキャプチャする。
論文 参考訳(メタデータ) (2026-03-07T15:47:54Z) - DSI-Bench: A Benchmark for Dynamic Spatial Intelligence [41.83862115769156]
動的空間関係に関する推論は、オブザーバーとオブジェクトが同時に移動することが多いため、不可欠である。
ダイナミック・スペース・インテリジェンスを導入し,1000近いダイナミックビデオと1,700以上の手作業による注釈付き質問を用いたベンチマークであるDSI-Benchを提案する。
論文 参考訳(メタデータ) (2025-10-21T17:59:36Z) - From Sight to Insight: Unleashing Eye-Tracking in Weakly Supervised Video Salient Object Detection [60.11169426478452]
本稿では,弱い監督下での健全な物体の検出を支援するために,固定情報を導入することを目的とする。
特徴学習過程における位置と意味のガイダンスを提供するために,位置と意味の埋め込み (PSE) モジュールを提案する。
Intra-Inter Mixed Contrastive (MCII)モデルは、弱い監督下での時間的モデリング能力を改善する。
論文 参考訳(メタデータ) (2025-06-30T05:01:40Z) - GENMO: A GENeralist Model for Human MOtion [64.16188966024542]
本稿では,1つのフレームワークで動作推定と生成を橋渡しする汎用人体運動モデル GENMO を提案する。
我々の重要な洞察は、出力運動が観測された条件信号を正確に満たさなければならないような制約された動き生成として運動推定を再構成することである。
我々の新しいアーキテクチャは、可変長動きと混合マルチモーダル条件(テキスト、オーディオ、ビデオ)を異なる時間間隔で処理し、柔軟な制御を提供する。
論文 参考訳(メタデータ) (2025-05-02T17:59:55Z) - UniQuadric: A SLAM Backend for Unknown Rigid Object 3D Tracking and
Light-Weight Modeling [7.626461564400769]
本稿では,エゴモーショントラッキング,剛体オブジェクトモーショントラッキング,モデリングを統一するSLAMバックエンドを提案する。
本システムは,複雑な動的シーンにおける物体知覚の潜在的な応用を実証する。
論文 参考訳(メタデータ) (2023-09-29T07:50:09Z) - MotionTrack: Learning Motion Predictor for Multiple Object Tracking [68.68339102749358]
本研究では,学習可能なモーション予測器を中心に,新しいモーショントラッカーであるMotionTrackを紹介する。
実験結果から、MotionTrackはDancetrackやSportsMOTといったデータセット上での最先端のパフォーマンスを示す。
論文 参考訳(メタデータ) (2023-06-05T04:24:11Z) - Attentive and Contrastive Learning for Joint Depth and Motion Field
Estimation [76.58256020932312]
単眼視システムからシーンの3次元構造とともにカメラの動きを推定することは複雑な作業である。
モノクロ映像からの3次元物体運動場推定のための自己教師付き学習フレームワークを提案する。
論文 参考訳(メタデータ) (2021-10-13T16:45:01Z) - Learning Monocular Depth in Dynamic Scenes via Instance-Aware Projection
Consistency [114.02182755620784]
本稿では,複数の動的物体の6-DoF動作,エゴモーション,深度を,監督なしで一眼レフカメラで明示的にモデル化する,エンドツーエンドのジョイントトレーニングフレームワークを提案する。
筆者らのフレームワークは,最先端の深度・動き推定法より優れていた。
論文 参考訳(メタデータ) (2021-02-04T14:26:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。