Fugu-MT 論文翻訳(概要): Reasoning-Enhanced Object-Centric Learning for Videos

論文の概要: Reasoning-Enhanced Object-Centric Learning for Videos

arxiv url: http://arxiv.org/abs/2403.15245v1
Date: Fri, 22 Mar 2024 14:41:55 GMT
ステータス: 処理完了
システム内更新日: 2024-03-25 17:09:34.187067
Title: Reasoning-Enhanced Object-Centric Learning for Videos
Title（参考訳）: ビデオのための推論強化型オブジェクト中心学習
Authors: Jian Li, Pu Ren, Yang Liu, Hao Sun,
Abstract要約: 複雑なシーンにおけるモデルの知覚能力を高めるため,Slot ベースの Memory buffer (STATM) を用いた Time-Space Transformer を開発した。実験の結果,STATMはスロットベースビデオモデルのオブジェクト中心学習能力を著しく向上させることができることがわかった。
参考スコア（独自算出の注目度）: 15.554898985821302
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Object-centric learning aims to break down complex visual scenes into more manageable object representations, enhancing the understanding and reasoning abilities of machine learning systems toward the physical world. Recently, slot-based video models have demonstrated remarkable proficiency in segmenting and tracking objects, but they overlook the importance of the effective reasoning module. In the real world, reasoning and predictive abilities play a crucial role in human perception and object tracking; in particular, these abilities are closely related to human intuitive physics. Inspired by this, we designed a novel reasoning module called the Slot-based Time-Space Transformer with Memory buffer (STATM) to enhance the model's perception ability in complex scenes. The memory buffer primarily serves as storage for slot information from upstream modules, the Slot-based Time-Space Transformer makes predictions through slot-based spatiotemporal attention computations and fusion. Our experiment results on various datasets show that STATM can significantly enhance object-centric learning capabilities of slot-based video models.
Abstract（参考訳）: オブジェクト中心学習は、複雑な視覚シーンをより管理可能なオブジェクト表現に分解し、物理的な世界に向けて機械学習システムの理解と推論能力を強化することを目的としている。近年,スロットベースビデオモデルでは,オブジェクトのセグメンテーションや追跡に顕著な習熟度が示されているが,効果的な推論モジュールの重要性は無視されている。現実世界では、推論と予測能力は人間の知覚や物体追跡において重要な役割を担っている。そこで我々は,Slotベースの Time-Space Transformer with Memory buffer (STATM) と呼ばれる新しい推論モジュールを設計し,複雑なシーンにおけるモデルの知覚能力を向上した。メモリバッファは、主に上流モジュールからのスロット情報のストレージとして機能し、スロットベースの時空間変換器はスロットベースの時空間注意計算と融合によって予測を行う。実験の結果,STATMはスロットベースビデオモデルのオブジェクト中心学習能力を著しく向上させることができることがわかった。

関連論文リスト

SOLD: Slot Object-Centric Latent Dynamics Models for Relational Manipulation Learning from Pixels [16.020835290802548]
Slot-Attention for Object-centric Latent Dynamicsは、新しいモデルに基づく強化学習アルゴリズムである。画素入力から教師なしの方法でオブジェクト中心のダイナミックスモデルを学習する。構造化潜在空間は、モデル解釈可能性を改善するだけでなく、振る舞いモデルが推論する価値のある入力空間も提供することを実証する。
論文参考訳（メタデータ） (2024-10-11T14:03:31Z)
E-Motion: Future Motion Simulation via Event Sequence Diffusion [86.80533612211502]
イベントベースのセンサーは、これまで達成できなかった詳細と精度で将来の動きを予測するユニークな機会を提供する可能性がある。本稿では,映像拡散モデルの強力な学習能力とイベントカメラのリッチな動作情報とを,モーションシミュレーションフレームワークとして統合することを提案する。本研究は,コンピュータビジョンシステムの解釈能力と予測精度の向上に向けた今後の研究の方向性を示唆するものである。
論文参考訳（メタデータ） (2024-10-11T09:19:23Z)
SlotGNN: Unsupervised Discovery of Multi-Object Representations and Visual Dynamics [15.705023986053575]
本稿では,教師なし手法を用いて視覚データから多目的ダイナミクスを学習するための新しいフレームワークを提案する。 2つの新しいアーキテクチャ: RGBイメージからオブジェクト表現を発見するSlotTransportと、RGBイメージとロボットインタラクションからの集合的ダイナミクスを予測するSlotGNNである。最小限の追加データだけで、われわれのフレームワークは現実世界の制御タスクにおけるスロットとその対応するダイナミクスをしっかりと予測する。
論文参考訳（メタデータ） (2023-10-06T22:37:34Z)
How Physics and Background Attributes Impact Video Transformers in Robotic Manipulation: A Case Study on Planar Pushing [8.435401907462245]
本稿では,物理特性と背景特性が映像変換器の性能に与える影響について検討する。提案するCloudGripper-Push-1Kは,大規模なビジョンベースロボットのプッシュデータセットである。また,ビデオ・オクルージョン・トランスフォーマ (VOT) を提案する。
論文参考訳（メタデータ） (2023-10-03T13:35:49Z)
Helping Hands: An Object-Aware Ego-Centric Video Recognition Model [60.350851196619296]
オブジェクト認識デコーダを導入し、エゴ中心の動画におけるエゴ中心の表現の性能を向上させる。このモデルは,エゴ認識ビデオモデルの代替として機能し,視覚テキストのグラウンド化による性能向上を図っている。
論文参考訳（メタデータ） (2023-08-15T17:58:11Z)
SlotDiffusion: Object-Centric Generative Modeling with Diffusion Models [47.986381326169166]
SlotDiffusion - 画像データとビデオデータの両方に設計されたオブジェクト中心の潜在拡散モデル(LDM)を紹介する。 LDMの強力なモデリング能力のおかげで、SlotDiffusionは教師なしオブジェクトセグメンテーションと視覚生成において、以前のスロットモデルを上回っている。学習対象の特徴は、既存のオブジェクト中心のダイナミックスモデルによって利用することができ、ビデオ予測品質と下流時間推論タスクを改善することができる。
論文参考訳（メタデータ） (2023-05-18T19:56:20Z)
Solving Reasoning Tasks with a Slot Transformer [7.966351917016229]
本稿では、スロットアテンション、トランスフォーマー、およびビデオシーンデータに対する反復的変動推論を利用して表現を推論するアーキテクチャであるSlot Transformerを提案する。アーキテクチャの主要なコンポーネントの有効性,モデルの表現能力,不完全な入力から予測できる能力について評価する。
論文参考訳（メタデータ） (2022-10-20T16:40:30Z)
SIM-Trans: Structure Information Modeling Transformer for Fine-grained Visual Categorization [59.732036564862796]
本稿では,オブジェクト構造情報を変換器に組み込んだSIM-Trans(Structure Information Modeling Transformer)を提案する。提案した2つのモジュールは軽量化されており、任意のトランスフォーマーネットワークにプラグインでき、エンドツーエンドで容易に訓練できる。実験と解析により,提案したSIM-Transが細粒度視覚分類ベンチマークの最先端性能を達成することを示した。
論文参考訳（メタデータ） (2022-08-31T03:00:07Z)
Learning Multi-Object Dynamics with Compositional Neural Radiance Fields [63.424469458529906]
本稿では,暗黙的オブジェクトエンコーダ,ニューラルレージアンスフィールド(NeRF),グラフニューラルネットワークに基づく画像観測から構成予測モデルを学習する手法を提案する。 NeRFは3D以前の強みから、シーンを表現するための一般的な選択肢となっている。提案手法では,学習した潜時空間にRTを応用し,そのモデルと暗黙のオブジェクトエンコーダを用いて潜時空間を情報的かつ効率的にサンプリングする。
論文参考訳（メタデータ） (2022-02-24T01:31:29Z)
Multi-Object Tracking with Deep Learning Ensemble for Unmanned Aerial System Applications [0.0]
多目的追跡(MOT)は、軍事防衛分野における状況認識の重要な構成要素である。本稿では,リアルタイムな状況下での騒音に対応するために,頑健なオブジェクト追跡アーキテクチャを提案する。本稿では,遅延空間における実体軌道の予測にシーケンス・ツー・シーケンス・アーキテクチャを用いる,Deep Extended Kalman Filter (DeepEKF) と呼ばれるキネマティックな予測モデルを提案する。
論文参考訳（メタデータ） (2021-10-05T13:50:38Z)
Physics-Integrated Variational Autoencoders for Robust and Interpretable Generative Modeling [86.9726984929758]
我々は、不完全物理モデルの深部生成モデルへの統合に焦点を当てる。本稿では,潜在空間の一部が物理によって基底づけられたVAEアーキテクチャを提案する。合成および実世界のデータセットの集合に対して生成的性能改善を示す。
論文参考訳（メタデータ） (2021-02-25T20:28:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。