論文の概要: Object Concepts Emerge from Motion

• arxiv url: http://arxiv.org/abs/2505.21635v1
• Date: Tue, 27 May 2025 18:09:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.217656
• Title: Object Concepts Emerge from Motion
• Title（参考訳）: 物体の概念は動きから創出される
• Authors: Haoqian Liang, Xiaohui Wang, Zhichao Li, Ya Yang, Naiyan Wang,
• Abstract要約: 教師なしの方法でオブジェクト中心の視覚表現を学習するための生物学的にインスパイアされたフレームワークを提案する。 我々の重要な洞察は、運動境界がオブジェクトレベルのグルーピングの強いシグナルとなることである。 我々のフレームワークは完全にラベルフリーで、カメラキャリブレーションに頼らず、大規模な非構造化ビデオデータにスケーラブルである。
• 参考スコア（独自算出の注目度）: 24.73461163778215
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Object concepts play a foundational role in human visual cognition, enabling perception, memory, and interaction in the physical world. Inspired by findings in developmental neuroscience - where infants are shown to acquire object understanding through observation of motion - we propose a biologically inspired framework for learning object-centric visual representations in an unsupervised manner. Our key insight is that motion boundary serves as a strong signal for object-level grouping, which can be used to derive pseudo instance supervision from raw videos. Concretely, we generate motion-based instance masks using off-the-shelf optical flow and clustering algorithms, and use them to train visual encoders via contrastive learning. Our framework is fully label-free and does not rely on camera calibration, making it scalable to large-scale unstructured video data. We evaluate our approach on three downstream tasks spanning both low-level (monocular depth estimation) and high-level (3D object detection and occupancy prediction) vision. Our models outperform previous supervised and self-supervised baselines and demonstrate strong generalization to unseen scenes. These results suggest that motion-induced object representations offer a compelling alternative to existing vision foundation models, capturing a crucial but overlooked level of abstraction: the visual instance. The corresponding code will be released upon paper acceptance.
• Abstract（参考訳）: 物体の概念は人間の視覚的認知において基礎的な役割を担い、物理的世界における知覚、記憶、相互作用を可能にする。 発達神経科学の発見から着想を得た幼児は、運動の観察を通して対象の理解を得ることができ、非教師なしの方法で対象中心の視覚表現を学習するための生物学的にインスピレーションを受けた枠組みを提案する。 私たちの重要な洞察は、モーションバウンダリがオブジェクトレベルのグルーピングの強力なシグナルとして機能し、生のビデオから擬似インスタンスの監視を導出できるということです。 具体的には、オフザシェルフ光フローとクラスタリングアルゴリズムを用いてモーションベースのインスタンスマスクを生成し、それを用いて、コントラスト学習による視覚エンコーダのトレーニングを行う。 我々のフレームワークは完全にラベルフリーで、カメラキャリブレーションに頼らず、大規模な非構造化ビデオデータにスケーラブルである。 我々は、低レベル(眼深度推定)と高レベル(3次元物体検出と占有予測)の両方にまたがる3つの下流タスクに対するアプローチを評価した。 我々のモデルは以前の監督的・自己監督的ベースラインを上回り、目に見えないシーンに強力な一般化を示す。 これらの結果は、動きによって引き起こされるオブジェクト表現が、既存の視覚基盤モデルに代わる魅力的な代替手段を提供し、重要な抽象レベルである視覚的インスタンスを捉えていることを示唆している。 対応するコードは、論文の受理時に公開される。

関連論文リスト

• Zero-Shot Object-Centric Representation Learning [72.43369950684057]
  ゼロショット一般化のレンズによる現在の対象中心法について検討する。 8つの異なる合成および実世界のデータセットからなるベンチマークを導入する。 多様な実世界の画像のトレーニングにより、見えないシナリオへの転送性が向上することがわかった。
  論文  参考訳（メタデータ） (2024-08-17T10:37:07Z)
• Seeing Objects in a Cluttered World: Computational Objectness from Motion in Video [0.0]
  物体が重なり合う物体と物理的に異なるものとして、世界の視覚的に不連続な表面を認識することは、視覚的知覚の基礎となる。 対象モデルを持たない現象学から客観性を推定するための,単純だが新しい手法を提案する。 ぼやけやカメラの震えがあっても、個々の被写体をぼやけたシーンでしっかりと認識できることを示す。
  論文  参考訳（メタデータ） (2024-02-02T03:57:11Z)
• Object-Centric Scene Representations using Active Inference [4.298360054690217]
  シーンとその成分オブジェクトを生の知覚データから表現することは、ロボットが環境と対話できるコア機能である。 本稿では,エージェントがオブジェクトカテゴリを推論できる階層型オブジェクト中心生成モデルを活用する,シーン理解のための新しいアプローチを提案する。 また,アクティブな視覚エージェントの動作を評価するために,対象対象の視点を考慮し,最適な視点を見出す必要がある新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-02-07T06:45:19Z)
• Stochastic Coherence Over Attention Trajectory For Continuous Learning In Video Streams [64.82800502603138]
  本稿では,映像ストリーム中のピクセルワイズ表現を段階的かつ自律的に開発するための,ニューラルネットワークに基づく新しいアプローチを提案する。 提案手法は, 参加者の入場地を観察することで, エージェントが学習できる, 人間の様の注意機構に基づく。 実験では,3次元仮想環境を利用して,映像ストリームを観察することで,エージェントが物体の識別を学べることを示す。
  論文  参考訳（メタデータ） (2022-04-26T09:52:31Z)
• Attentive and Contrastive Learning for Joint Depth and Motion Field Estimation [76.58256020932312]
  単眼視システムからシーンの3次元構造とともにカメラの動きを推定することは複雑な作業である。 モノクロ映像からの3次元物体運動場推定のための自己教師付き学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-13T16:45:01Z)
• Capturing the objects of vision with neural networks [0.0]
  人間の視覚知覚はその物理的関節でシーンを彫り、世界をオブジェクトに分解する。 対照的に、視覚物体認識のディープニューラルネットワーク(DNN)モデルは、主に感覚入力と結びついている。 両分野の関連研究をレビューし、これらの分野が相互にどのように役立つかを検討する。
  論文  参考訳（メタデータ） (2021-09-07T21:49:53Z)
• Self-supervised Video Object Segmentation by Motion Grouping [79.13206959575228]
  動きの手がかりを利用して物体をセグメンテーションできるコンピュータビジョンシステムを開発した。 本稿では,光フローフレームを一次オブジェクトと背景に分割するトランスフォーマーの簡単なバリエーションを紹介する。 提案したアーキテクチャを公開ベンチマーク(DAVIS2016, SegTrackv2, FBMS59)で評価する。
  論文  参考訳（メタデータ） (2021-04-15T17:59:32Z)
• Self-Supervision by Prediction for Object Discovery in Videos [62.87145010885044]
  本稿では,この予測タスクを自己監督として利用し,画像シーケンス表現のための新しいオブジェクト中心モデルを構築する。 私たちのフレームワークは、手動アノテーションや事前トレーニングされたネットワークを使わずにトレーニングできます。 最初の実験では、提案されたパイプラインがオブジェクト中心のビデオ予測への有望なステップであることを確認した。
  論文  参考訳（メタデータ） (2021-03-09T19:14:33Z)
• Learning Monocular Depth in Dynamic Scenes via Instance-Aware Projection Consistency [114.02182755620784]
  本稿では,複数の動的物体の6-DoF動作,エゴモーション,深度を,監督なしで一眼レフカメラで明示的にモデル化する,エンドツーエンドのジョイントトレーニングフレームワークを提案する。 筆者らのフレームワークは,最先端の深度・動き推定法より優れていた。
  論文  参考訳（メタデータ） (2021-02-04T14:26:42Z)
• Multi-Modal Learning of Keypoint Predictive Models for Visual Object Manipulation [6.853826783413853]
  人間は、新しい環境で物体を操作するという点において、素晴らしい一般化能力を持っている。 ロボットのためのこのようなボディスキーマの学習方法は、まだ未解決の問題である。 本研究では,視覚的潜在表現から物体を把握する際に,ロボットの運動モデルを拡張する自己教師型アプローチを開発する。
  論文  参考訳（メタデータ） (2020-11-08T01:04:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。