論文の概要: Neural Slot Interpreters: Grounding Object Semantics in Emergent Slot Representations

• arxiv url: http://arxiv.org/abs/2403.07887v1
• Date: Fri, 2 Feb 2024 12:37:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-25 08:27:08.975844
• Title: Neural Slot Interpreters: Grounding Object Semantics in Emergent Slot Representations
• Title（参考訳）: ニューラルスロット解釈:創発的スロット表現における接地対象セマンティック
• Authors: Bhishma Dedhia, Niraj K. Jha,
• Abstract要約: 本稿では,NSI(Neural Slot Interpreter)を提案する。 NSIはXMLに似たプログラミング言語で、単純な構文規則を使ってシーンのオブジェクトの意味をオブジェクト中心のプログラムプリミティブに整理する。
• 参考スコア（独自算出の注目度）: 4.807052027638089
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Object-centric methods have seen significant progress in unsupervised decomposition of raw perception into rich object-like abstractions. However, limited ability to ground object semantics of the real world into the learned abstractions has hindered their adoption in downstream understanding applications. We present the Neural Slot Interpreter (NSI) that learns to ground and generate object semantics via slot representations. At the core of NSI is an XML-like programming language that uses simple syntax rules to organize the object semantics of a scene into object-centric program primitives. Then, an alignment model learns to ground program primitives into slots through a bi-level contrastive learning objective over a shared embedding space. Finally, we formulate the NSI program generator model to use the dense associations inferred from the alignment model to generate object-centric programs from slots. Experiments on bi-modal retrieval tasks demonstrate the efficacy of the learned alignments, surpassing set-matching-based predictors by a significant margin. Moreover, learning the program generator from grounded associations enhances the predictive power of slots. NSI generated programs demonstrate improved performance of object-centric learners on property prediction and object detection, and scale with real-world scene complexity.
• Abstract（参考訳）: オブジェクト中心の手法は、教師なしの生の知覚をリッチなオブジェクトのような抽象化に分解する過程で大きな進歩を遂げている。 しかし、現実世界のオブジェクトのセマンティクスを学習抽象化に基礎付ける能力に制限があるため、下流の理解アプリケーションでは採用が妨げられている。 本稿では,NSI(Neural Slot Interpreter)を提案する。 NSIの中核はXMLライクなプログラミング言語で、単純な構文ルールを使ってシーンのオブジェクトセマンティクスをオブジェクト中心のプログラムプリミティブに整理します。 そして、アライメントモデルは、プログラムプリミティブを、共有埋め込み空間上の双方向のコントラスト学習目標を介してスロットに接地することを学習する。 最後に、NSIプログラム生成モデルを定式化し、アライメントモデルから推定される高密度な関連を利用してスロットからオブジェクト中心のプログラムを生成する。 バイモーダル検索タスクの実験では、学習されたアライメントの有効性が示され、セットマッチングに基づく予測をかなりの差で上回っている。 さらに、接地されたアソシエーションからプログラムジェネレータを学習することで、スロットの予測能力を高める。 NSI生成プログラムは、プロパティ予測とオブジェクト検出におけるオブジェクト中心学習者の性能向上と、実世界のシーンの複雑さによるスケール性を示す。

関連論文リスト

• What Makes a Maze Look Like a Maze? [92.80800000328277]
  本稿では,Deep Grounding(DSG)という,視覚的抽象化の明示的な構造化表現を活用してグラウンド化と推論を行うフレームワークを紹介する。 DSGの中核はスキーマ-依存性グラフによる抽象概念の記述で、より原始的なシンボルに分解される。 DSGは視覚言語モデルの抽象的視覚的推論性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-09-12T16:41:47Z)
• In Defense of Lazy Visual Grounding for Open-Vocabulary Semantic Segmentation [50.79940712523551]
  我々は,非教師対象マスク発見の2段階的アプローチである遅延視覚接地を行い,それに続いて物体接地を行う。 私たちのモデルは、追加のトレーニングは必要ありませんが、5つの公開データセットで優れたパフォーマンスを示します。
  論文  参考訳（メタデータ） (2024-08-09T09:28:35Z)
• ZoomNeXt: A Unified Collaborative Pyramid Network for Camouflaged Object Detection [70.11264880907652]
  最近のオブジェクト(COD)は、現実のシナリオでは極めて複雑で難しい、視覚的にブレンドされたオブジェクトを周囲に分割しようと試みている。 本研究では,不明瞭な画像を観察したり,ズームインしたりアウトしたりする際の人間の行動を模倣する,効果的な統合協調ピラミッドネットワークを提案する。 我々のフレームワークは、画像とビデオのCODベンチマークにおいて、既存の最先端の手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2023-10-31T06:11:23Z)
• Spotlight Attention: Robust Object-Centric Learning With a Spatial Locality Prior [88.9319150230121]
  オブジェクト中心のビジョンは、シーン内のオブジェクトの明示的な表現を構築することを目的としています。 我々は、空間的局所性を最先端のオブジェクト中心視覚モデルに組み込む。 合成および実世界の両方のデータセットにおけるセグメンテーションオブジェクトの大幅な改善が得られた。
  論文  参考訳（メタデータ） (2023-05-31T04:35:50Z)
• Hyperbolic Contrastive Learning for Visual Representations beyond Objects [30.618032825306187]
  我々は,それらの間の構造を保ったオブジェクトやシーンの表現を学習することに集中する。 視覚的に類似した物体が表現空間に近接しているという観察に触発された私たちは、シーンとオブジェクトは代わりに階層構造に従うべきだと論じる。
  論文  参考訳（メタデータ） (2022-12-01T16:58:57Z)
• Visual Superordinate Abstraction for Robust Concept Learning [80.15940996821541]
  概念学習は言語意味論と結びついた視覚表現を構成する。 視覚概念の本質的な意味的階層を探索する失敗のボトルネックについて説明する。 本稿では,意味認識型視覚サブ空間を明示的にモデル化するビジュアル・スーパーオーディネート・抽象化・フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-28T14:27:38Z)
• Sim-To-Real Transfer of Visual Grounding for Human-Aided Ambiguity Resolution [0.0]
  視覚的接地という課題について考察し, エージェントは, 混み合ったシーンからオブジェクトを抽出し, 自然言語で記述する。 視覚的接地に対する現代の全体論的アプローチは、言語構造を無視し、ジェネリックドメインをカバーするのに苦労する。 実体,属性,空間関係の合成視覚的グラウンド化のための,完全に分離されたモジュラー・フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-24T14:12:32Z)
• Constellation: Learning relational abstractions over objects for compositional imagination [64.99658940906917]
  静的な視覚シーンのリレーショナル抽象化を学習するネットワークであるConstellationを紹介する。 この研究は、視覚的関係を明確に表現し、それらを複雑な認知手続きに使用するための第一歩である。
  論文  参考訳（メタデータ） (2021-07-23T11:59:40Z)
• Object-Centric Learning with Slot Attention [43.684193749891506]
  我々は、知覚表現と相互作用するアーキテクチャコンポーネントであるSlot Attentionモジュールを提示する。 Slot Attentionは、スロットと呼ばれるタスク依存の抽象表現を生成します。 Slot Attentionがオブジェクト中心の表現を抽出し、未知の合成を一般化できることを実証的に実証する。
  論文  参考訳（メタデータ） (2020-06-26T15:31:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。