論文の概要: Unsupervised Object-Based Transition Models for 3D Partially Observable
Environments
- arxiv url: http://arxiv.org/abs/2103.04693v1
- Date: Mon, 8 Mar 2021 12:10:02 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-09 16:02:15.282696
- Title: Unsupervised Object-Based Transition Models for 3D Partially Observable
Environments
- Title(参考訳): 3次元部分観測可能な環境に対する教師なしオブジェクトベース遷移モデル
- Authors: Antonia Creswell, Rishabh Kabra, Chris Burgess, Murray Shanahan
- Abstract要約: このモデルは、ピクセルではなくオブジェクト構造表現のレベルでの損失を使用して、監視なしでエンドツーエンドでトレーニングされる。
時間とともにオブジェクトレベルの損失と正しいオブジェクトアライメントの組み合わせは、モデルが最先端のベースラインを上回ることを可能にします。
- 参考スコア(独自算出の注目度): 13.598250346370467
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a slot-wise, object-based transition model that decomposes a scene
into objects, aligns them (with respect to a slot-wise object memory) to
maintain a consistent order across time, and predicts how those objects evolve
over successive frames. The model is trained end-to-end without supervision
using losses at the level of the object-structured representation rather than
pixels. Thanks to its alignment module, the model deals properly with two
issues that are not handled satisfactorily by other transition models, namely
object persistence and object identity. We show that the combination of an
object-level loss and correct object alignment over time enables the model to
outperform a state-of-the-art baseline, and allows it to deal well with object
occlusion and re-appearance in partially observable environments.
- Abstract(参考訳): 本稿では,シーンをオブジェクトに分解し,(スロットワイドオブジェクトメモリに関して)時間的に一貫した順序を維持するために整列し,それらのオブジェクトが連続するフレーム上でどのように進化するかを予測するスロットワイズオブジェクトベース遷移モデルを提案する。
このモデルは、ピクセルではなくオブジェクト構造表現のレベルでの損失を使用して、監視なしでエンドツーエンドでトレーニングされる。
アライメントモジュールのおかげで、モデルは他のトランジションモデル、すなわちオブジェクト永続化とオブジェクトアイデンティティによって十分に処理されない2つの問題に適切に対処します。
オブジェクトレベルの損失と正しいオブジェクトアライメントを時間とともに組み合わせることで、モデルが最先端のベースラインを上回り、部分的に観測可能な環境でオブジェクトの隠蔽と再出現にうまく対応できることを示す。
関連論文リスト
- Object-Centric Multiple Object Tracking [124.30650395969126]
本稿では,多目的追跡パイプラインのためのビデオオブジェクト中心モデルを提案する。
オブジェクト中心のスロットを検出出力に適応するインデックスマージモジュールと、オブジェクトメモリモジュールで構成される。
オブジェクト中心学習に特化して、オブジェクトのローカライゼーションと機能バインディングのためのスパース検出ラベルしか必要としない。
論文 参考訳(メタデータ) (2023-09-01T03:34:12Z) - ROAM: Robust and Object-Aware Motion Generation Using Neural Pose
Descriptors [73.26004792375556]
本稿では,3次元オブジェクト認識キャラクタ合成における新しいシーンオブジェクトへのロバストさと一般化が,参照オブジェクトを1つも持たないモーションモデルをトレーニングすることで実現可能であることを示す。
我々は、オブジェクト専用のデータセットに基づいて訓練された暗黙的な特徴表現を活用し、オブジェクトの周りのSE(3)-同変記述体フィールドをエンコードする。
本研究では,3次元仮想キャラクタの動作と相互作用の質,および未知のオブジェクトを持つシナリオに対するロバスト性を大幅に向上することを示す。
論文 参考訳(メタデータ) (2023-08-24T17:59:51Z) - Boosting Object Representation Learning via Motion and Object Continuity [22.512380611375846]
物体の動きと連続性、すなわち、物体が存在の内外に現れないことを活用することを提案する。
結果のMotion and Object Continuityスキームは、任意のベースラインオブジェクト検出モデルを使用してインスタンス化することができる。
その結果,オブジェクト発見,収束速度,全般的な潜在オブジェクト表現の観点から,SOTAモデルの性能に大きな改善が見られた。
論文 参考訳(メタデータ) (2022-11-16T09:36:41Z) - SOS! Self-supervised Learning Over Sets Of Handled Objects In Egocentric
Action Recognition [35.4163266882568]
本稿では,SOS(Self-Supervised Learning Over Sets)を導入し,OIC(ジェネリック・オブジェクト・イン・コンタクト)表現モデルを事前学習する。
OICは複数の最先端ビデオ分類モデルの性能を大幅に向上させる。
論文 参考訳(メタデータ) (2022-04-10T23:27:19Z) - Complex-Valued Autoencoders for Object Discovery [62.26260974933819]
本稿では,オブジェクト中心表現に対する分散アプローチとして,複合オートエンコーダを提案する。
このシンプルで効率的なアプローチは、単純なマルチオブジェクトデータセット上の等価な実数値オートエンコーダよりも、より良い再構成性能を実現することを示す。
また、2つのデータセット上のSlotAttentionモデルと競合しないオブジェクト発見性能を実現し、SlotAttentionが失敗する第3のデータセットでオブジェクトをアンタングルする。
論文 参考訳(メタデータ) (2022-04-05T09:25:28Z) - SIMONe: View-Invariant, Temporally-Abstracted Object Representations via
Unsupervised Video Decomposition [69.90530987240899]
この問題に対して教師なしの変分法を提案する。
我々のモデルは、RGBビデオ入力のみから2組の潜在表現を推論することを学ぶ。
これは、視点に依存しないアロセントリックな方法でオブジェクト属性を表現する。
論文 参考訳(メタデータ) (2021-06-07T17:59:23Z) - Leveraging Photometric Consistency over Time for Sparsely Supervised
Hand-Object Reconstruction [118.21363599332493]
本稿では,ビデオ中のフレームの粗いサブセットに対してのみアノテーションが利用できる場合に,時間とともに光度整合性を活用する手法を提案する。
本モデルでは,ポーズを推定することにより,手や物体を3Dで共同で再構成するカラーイメージをエンドツーエンドに訓練する。
提案手法は,3次元手動画像再構成の精度向上に有効であることを示す。
論文 参考訳(メタデータ) (2020-04-28T12:03:14Z) - Object-Centric Image Generation from Layouts [93.10217725729468]
複数のオブジェクトを持つ複雑なシーンを生成するレイアウト・ツー・イメージ生成法を開発した。
本手法は,シーン内のオブジェクト間の空間的関係の表現を学習し,レイアウトの忠実度の向上につながる。
本稿では,Fr'echet Inception Distanceのオブジェクト中心適応であるSceneFIDを紹介する。
論文 参考訳(メタデータ) (2020-03-16T21:40:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。