論文の概要: Learning Object-Centric Video Models by Contrasting Sets
- arxiv url: http://arxiv.org/abs/2011.10287v1
- Date: Fri, 20 Nov 2020 09:13:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-23 05:22:16.262309
- Title: Learning Object-Centric Video Models by Contrasting Sets
- Title(参考訳): コントラスト集合によるオブジェクト中心映像モデルの学習
- Authors: Sindy L\"owe, Klaus Greff, Rico Jonschkowski, Alexey Dosovitskiy,
Thomas Kipf
- Abstract要約: オブジェクト表現の学習には,グローバルなセットベースのコントラスト損失を導入する。
個々のスロット表現を互いに対比する代わりに、表現を集約し、結合した集合を互いに対比する。
2つの合成ビデオデータセットの結果から,本手法が従来のコントラスト法と好適に比較できることが示唆された。
- 参考スコア(独自算出の注目度): 20.413840192270563
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Contrastive, self-supervised learning of object representations recently
emerged as an attractive alternative to reconstruction-based training. Prior
approaches focus on contrasting individual object representations (slots)
against one another. However, a fundamental problem with this approach is that
the overall contrastive loss is the same for (i) representing a different
object in each slot, as it is for (ii) (re-)representing the same object in all
slots. Thus, this objective does not inherently push towards the emergence of
object-centric representations in the slots. We address this problem by
introducing a global, set-based contrastive loss: instead of contrasting
individual slot representations against one another, we aggregate the
representations and contrast the joined sets against one another. Additionally,
we introduce attention-based encoders to this contrastive setup which
simplifies training and provides interpretable object masks. Our results on two
synthetic video datasets suggest that this approach compares favorably against
previous contrastive methods in terms of reconstruction, future prediction and
object separation performance.
- Abstract(参考訳): オブジェクト表現の自己教師型学習は、最近、再構成ベースのトレーニングの魅力的な代替手段として登場した。
以前のアプローチでは、個々のオブジェクト表現(slot)を互いに対比することに重点を置いている。
しかし、このアプローチの根本的な問題は、全体的なコントラスト損失が同じであることだ。
(i)各スロット内の別のオブジェクトを表すもの
(ii) (re-)すべてのスロットで同じオブジェクトを表現する。
したがって、この目的は本質的にはスロット内のオブジェクト中心表現の出現に向かわない。
我々は、グローバルな集合ベースのコントラスト損失を導入することでこの問題に対処する:個々のスロット表現を互いに対比するのではなく、表現を集約し、結合された集合を互いに対比する。
さらに,このコントラスト設定に注意に基づくエンコーダを導入することで,トレーニングを簡素化し,解釈可能なオブジェクトマスクを提供する。
2つの合成ビデオデータセットの結果から, 従来のコントラスト法と比較し, 再現性, 将来予測, オブジェクト分離性能について比較した。
関連論文リスト
- Separating common from salient patterns with Contrastive Representation
Learning [2.250968907999846]
コントラスト分析は、2つのデータセット間の変動の共通要因を分離することを目的としている。
変分オートエンコーダに基づく現在のモデルは意味表現の学習において性能が劣っている。
コントラスト分析に適合した意味表現表現を学習するためのコントラスト学習の活用を提案する。
論文 参考訳(メタデータ) (2024-02-19T08:17:13Z) - Contrasting quadratic assignments for set-based representation learning [5.142415132534397]
コントラスト学習の標準的なアプローチは、データの異なるビュー間の合意を最大化することです。
本研究では、個々のペアを考えるアプローチは、セット内およびセット間類似性の両方を考慮できないことに留意する。
我々は、オブジェクトを集合として対比することに焦点をあてて、個々のオブジェクトの対を対比する以上のことを提案する。
論文 参考訳(メタデータ) (2022-05-31T14:14:36Z) - Self-Supervised Visual Representation Learning with Semantic Grouping [50.14703605659837]
我々は、未ラベルのシーン中心のデータから視覚表現を学習する問題に取り組む。
本研究では,データ駆動型セマンティックスロット,すなわちSlotConによる協調型セマンティックグルーピングと表現学習のためのコントラスト学習を提案する。
論文 参考訳(メタデータ) (2022-05-30T17:50:59Z) - Complex-Valued Autoencoders for Object Discovery [62.26260974933819]
本稿では,オブジェクト中心表現に対する分散アプローチとして,複合オートエンコーダを提案する。
このシンプルで効率的なアプローチは、単純なマルチオブジェクトデータセット上の等価な実数値オートエンコーダよりも、より良い再構成性能を実現することを示す。
また、2つのデータセット上のSlotAttentionモデルと競合しないオブジェクト発見性能を実現し、SlotAttentionが失敗する第3のデータセットでオブジェクトをアンタングルする。
論文 参考訳(メタデータ) (2022-04-05T09:25:28Z) - Towards Self-Supervised Learning of Global and Object-Centric
Representations [4.36572039512405]
自己スーパービジョンを用いた構造化対象中心表現の学習における重要な側面について論じる。
CLEVRデータセットに関するいくつかの実験を通じて、私たちの洞察を検証します。
論文 参考訳(メタデータ) (2022-03-11T15:18:47Z) - Object-aware Contrastive Learning for Debiased Scene Representation [74.30741492814327]
オブジェクトを自己教師型でローカライズする,オブジェクト認識型コントラスト学習フレームワークを開発した。
また、コントラCAM、オブジェクト認識型乱作、背景混合に基づく2つのデータ拡張を導入し、コントラスト型自己教師型学習における文脈バイアスと背景バイアスを低減した。
論文 参考訳(メタデータ) (2021-07-30T19:24:07Z) - Instance-Level Relative Saliency Ranking with Graph Reasoning [126.09138829920627]
そこで本研究では,有意な事例を分割し,相対的有意な有意なランク順序を推定するための統一モデルを提案する。
また、サラレンシーランキングブランチを効果的にトレーニングするために、新しい損失関数も提案されている。
実験の結果,提案手法は従来の手法よりも有効であることがわかった。
論文 参考訳(メタデータ) (2021-07-08T13:10:42Z) - Slot Contrastive Networks: A Contrastive Approach for Representing
Objects [15.54136919933527]
ラベルのないオブジェクトを表現するための既存のアプローチでは、静的なイメージを持つ構造化生成モデルが使用されている。
静止画像が提供する制限信号に対する画素空間の損失と過度信頼を回避する新しい手法を提案する。
本手法は,スロット表現の空間における識別的・時間的損失を学習することにより,物体の動きを利用する。
論文 参考訳(メタデータ) (2020-07-18T01:01:39Z) - Understanding Adversarial Examples from the Mutual Influence of Images
and Perturbations [83.60161052867534]
クリーンな画像と敵の摂動を遠ざけることで敵の例を分析し,その相互への影響を分析した。
以上の結果から,画像と普遍摂動の関係に対する新たな視点が示唆された。
我々は、オリジナルトレーニングデータを活用することなく、目標とするユニバーサルアタックの挑戦的なタスクを最初に達成した人物です。
論文 参考訳(メタデータ) (2020-07-13T05:00:09Z) - Disassembling Object Representations without Labels [75.2215716328001]
本研究では,オブジェクト表現を分解する新しい表現学習タスクについて検討する。
分解は、学習した表現におけるカテゴリ固有のモジュラリティを可能にする。
我々は、非教師なし分解オブジェクト表現(UDOR)という、非教師なしの非教師なしアプローチを提案する。
論文 参考訳(メタデータ) (2020-04-03T08:23:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。