論文の概要: Object-Centric Representation Learning with Generative Spatial-Temporal
Factorization
- arxiv url: http://arxiv.org/abs/2111.05393v1
- Date: Tue, 9 Nov 2021 20:04:16 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-11 14:27:18.179518
- Title: Object-Centric Representation Learning with Generative Spatial-Temporal
Factorization
- Title(参考訳): 生成的空間時間因子化を用いたオブジェクト中心表現学習
- Authors: Li Nanbo, Muhammad Ahmed Raza, Hu Wenbin, Zhaole Sun, Robert B. Fisher
- Abstract要約: DyMON(Dynamics-Aware Multi-Object Network)は,動的シーンへの多視点オブジェクト中心表現学習の範囲を広げる手法である。
そこで我々は,DyMONが観測者の動きとシーンオブジェクトの運動の絡み合った影響を,一連の観測結果から分解することを学習していることを示す。
また,要因化されたシーン表現は,空間と時間で独立して単一のオブジェクトを問合せできることを示す。
- 参考スコア(独自算出の注目度): 5.403549896734018
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Learning object-centric scene representations is essential for attaining
structural understanding and abstraction of complex scenes. Yet, as current
approaches for unsupervised object-centric representation learning are built
upon either a stationary observer assumption or a static scene assumption, they
often: i) suffer single-view spatial ambiguities, or ii) infer incorrectly or
inaccurately object representations from dynamic scenes. To address this, we
propose Dynamics-aware Multi-Object Network (DyMON), a method that broadens the
scope of multi-view object-centric representation learning to dynamic scenes.
We train DyMON on multi-view-dynamic-scene data and show that DyMON learns --
without supervision -- to factorize the entangled effects of observer motions
and scene object dynamics from a sequence of observations, and constructs scene
object spatial representations suitable for rendering at arbitrary times
(querying across time) and from arbitrary viewpoints (querying across space).
We also show that the factorized scene representations (w.r.t. objects) support
querying about a single object by space and time independently.
- Abstract(参考訳): 複雑なシーンの構造的理解と抽象化を実現するためには,オブジェクト中心のシーン表現の学習が不可欠である。
しかし、教師なしオブジェクト中心表現学習の現在のアプローチは、定常オブザーバ仮定か静的シーン仮定のいずれかに基づいて構築されているため、しばしばそうである。
一 単視点空間の曖昧さに苦しむこと、又は
二 動シーンから不正又は不正確な対象表現を推定すること。
そこで本研究では,多視点オブジェクト中心表現学習のスコープをダイナミックシーンに拡大するdymon(dynamics-aware multi-object network)を提案する。
マルチビュー・ダイナミック・シーンデータを用いてDyMONを訓練し、観察者の動きとシーンオブジェクトのダイナミックスの絡み合った影響を、観察列から分解し、任意の時間(時間的クエリ)および任意の視点(空間的クエリ)でレンダリングに適したシーンオブジェクト空間表現を構築する。
また,因子化されたシーン表現(w.r.t. object)が,空間と時間によって独立したクエリをサポートすることを示した。
関連論文リスト
- Variational Inference for Scalable 3D Object-centric Learning [19.445804699433353]
我々は3Dシーンにおける拡張性のないオブジェクト中心表現学習の課題に取り組む。
オブジェクト中心表現学習への既存のアプローチは、より大きなシーンに一般化する際の限界を示している。
局所オブジェクト座標系におけるビュー不変3次元オブジェクト表現の学習を提案する。
論文 参考訳(メタデータ) (2023-09-25T10:23:40Z) - Hyperbolic Contrastive Learning for Visual Representations beyond
Objects [30.618032825306187]
我々は,それらの間の構造を保ったオブジェクトやシーンの表現を学習することに集中する。
視覚的に類似した物体が表現空間に近接しているという観察に触発された私たちは、シーンとオブジェクトは代わりに階層構造に従うべきだと論じる。
論文 参考訳(メタデータ) (2022-12-01T16:58:57Z) - Compositional Scene Modeling with Global Object-Centric Representations [44.43366905943199]
人間は、メモリ内の標準画像に基づいて閉塞された部分を完了させることで、たとえ閉塞物が存在するとしても、同じ物体を容易に識別することができる。
本稿では,オブジェクトの標準画像のグローバルな表現を,監督なしに推測する合成シーンモデリング手法を提案する。
論文 参考訳(メタデータ) (2022-11-21T14:36:36Z) - Robust and Controllable Object-Centric Learning through Energy-based
Models [95.68748828339059]
我々の研究は概念的にシンプルで一般的なアプローチであり、エネルギーベースモデルを通してオブジェクト中心の表現を学習する。
既存のアーキテクチャに容易に統合でき、高品質なオブジェクト中心表現を効果的に抽出できることを示す。
論文 参考訳(メタデータ) (2022-10-11T15:11:15Z) - On the robustness of self-supervised representations for multi-view
object classification [0.0]
インスタンス識別の目的に基づく自己教師型表現は、オブジェクトの視点や視点の変化に対してより堅牢なオブジェクトの表現に繋がることを示す。
自己監督型表現は、オブジェクトの視点に対してより堅牢であり、新しい視点からオブジェクトの認識を促進するオブジェクトに関するより関連する情報をエンコードしているように見える。
論文 参考訳(メタデータ) (2022-07-27T17:24:55Z) - Discovering Objects that Can Move [55.743225595012966]
手動ラベルなしでオブジェクトを背景から分離する、オブジェクト発見の問題について検討する。
既存のアプローチでは、色、テクスチャ、位置などの外観の手がかりを使用して、ピクセルをオブジェクトのような領域に分類する。
私たちは、動的オブジェクト -- 世界で独立して動くエンティティ -- にフォーカスすることを選びます。
論文 参考訳(メタデータ) (2022-03-18T21:13:56Z) - Learning Object-Centric Representations of Multi-Object Scenes from
Multiple Views [9.556376932449187]
マルチビュー・マルチオブジェクトネットワーク(マルチビュー・マルチオブジェクトネットワーク、MulMON)は、複数のビューを活用することで、複数のオブジェクトシーンの正確なオブジェクト中心表現を学習する手法である。
我々は,MulMONが単一視点法よりも空間的曖昧性をよく解いていることを示す。
論文 参考訳(メタデータ) (2021-11-13T13:54:28Z) - SIMONe: View-Invariant, Temporally-Abstracted Object Representations via
Unsupervised Video Decomposition [69.90530987240899]
この問題に対して教師なしの変分法を提案する。
我々のモデルは、RGBビデオ入力のみから2組の潜在表現を推論することを学ぶ。
これは、視点に依存しないアロセントリックな方法でオブジェクト属性を表現する。
論文 参考訳(メタデータ) (2021-06-07T17:59:23Z) - Self-Supervised Representation Learning from Flow Equivariance [97.13056332559526]
本稿では,複雑なシーンの映像ストリームに直接展開可能な,自己教師型学習表現フレームワークを提案する。
高分解能rawビデオから学んだ我々の表現は、静的画像の下流タスクに簡単に使用できます。
論文 参考訳(メタデータ) (2021-01-16T23:44:09Z) - Benchmarking Unsupervised Object Representations for Video Sequences [111.81492107649889]
ViMON, OP3, TBA, SCALORの4つのオブジェクト中心アプローチの知覚能力を比較した。
この結果から,制約のない潜在表現を持つアーキテクチャは,オブジェクト検出やセグメンテーション,トラッキングといった観点から,より強力な表現を学習できる可能性が示唆された。
我々のベンチマークは、より堅牢なオブジェクト中心のビデオ表現を学習するための実りあるガイダンスを提供するかもしれない。
論文 参考訳(メタデータ) (2020-06-12T09:37:24Z) - Look-into-Object: Self-supervised Structure Modeling for Object
Recognition [71.68524003173219]
我々は,自己スーパービジョンを取り入れた「対象」(具体的かつ内在的に対象構造をモデル化する)を提案する。
認識バックボーンは、より堅牢な表現学習のために大幅に拡張可能であることを示す。
提案手法は汎用オブジェクト認識(ImageNet)や細粒度オブジェクト認識タスク(CUB, Cars, Aircraft)など,多数のベンチマークにおいて大きなパフォーマンス向上を実現している。
論文 参考訳(メタデータ) (2020-03-31T12:22:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。