論文の概要: Grounded Situation Recognition
- arxiv url: http://arxiv.org/abs/2003.12058v1
- Date: Thu, 26 Mar 2020 17:57:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-19 21:58:51.868255
- Title: Grounded Situation Recognition
- Title(参考訳): 接地状況認識
- Authors: Sarah Pratt, Mark Yatskar, Luca Weihs, Ali Farhadi, Aniruddha Kembhavi
- Abstract要約: 画像の構造的要約を生成することを必要とする課題であるグラウンドドコンディション認識(GSR)を導入する。
GSRはセマンティック・サリエンシの識別、大規模で多様なエンティティの分類とローカライズという重要な技術的課題を提示している。
我々は,条件付きクエリ,視覚連鎖,接地型セマンティック・アウェアネス・イメージ検索の3つのモデルによって実現される3つの将来方向について,最初の知見を示す。
- 参考スコア(独自算出の注目度): 56.18102368133022
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce Grounded Situation Recognition (GSR), a task that requires
producing structured semantic summaries of images describing: the primary
activity, entities engaged in the activity with their roles (e.g. agent, tool),
and bounding-box groundings of entities. GSR presents important technical
challenges: identifying semantic saliency, categorizing and localizing a large
and diverse set of entities, overcoming semantic sparsity, and disambiguating
roles. Moreover, unlike in captioning, GSR is straightforward to evaluate. To
study this new task we create the Situations With Groundings (SWiG) dataset
which adds 278,336 bounding-box groundings to the 11,538 entity classes in the
imsitu dataset. We propose a Joint Situation Localizer and find that jointly
predicting situations and groundings with end-to-end training handily
outperforms independent training on the entire grounding metric suite with
relative gains between 8% and 32%. Finally, we show initial findings on three
exciting future directions enabled by our models: conditional querying, visual
chaining, and grounded semantic aware image retrieval. Code and data available
at https://prior.allenai.org/projects/gsr.
- Abstract(参考訳): 基本活動,その役割(エージェント,ツール),エンティティのバウンディングボックスグラウンドといった,イメージの構造化された意味的要約を生成するタスクである,接地状況認識(grounded situation recognition,gsr)を紹介する。
GSRは、セマンティック・サリエンシの識別、大規模で多様なエンティティの分類とローカライズ、セマンティック・スペシャリティの克服、役割の曖昧化といった重要な技術的課題を提示している。
さらに、字幕化とは異なり、GSRは容易に評価できる。
この新たなタスクを研究するために、Imsituデータセットの11,538のエンティティクラスに278,336のバウンディングボックスグラウンドを追加して、SWiGデータセットを作成しました。
本研究は,共同状況ローカライザを提案し,エンド・ツー・エンドのトレーニングによる状況予測と接地が,8%から32%の相対的な利得で,単独のトレーニングよりも良好であることを示す。
最後に,条件付き問合せ,視覚連鎖,接地した意味認識画像検索という3つのエキサイティングな将来的方向性について最初の知見を示す。
コードとデータはhttps://prior.allenai.org/projects/gsrで入手できる。
関連論文リスト
- Leveraging sparse and shared feature activations for disentangled
representation learning [112.22699167017471]
本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。
我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
論文 参考訳(メタデータ) (2023-04-17T01:33:24Z) - INoD: Injected Noise Discriminator for Self-Supervised Representation
Learning in Agricultural Fields [6.891600948991265]
Injected Noise Discriminator (INoD) を提案する。
INoDは、畳み込みエンコーディング中に2つの非結合データセットからフィーチャーマップをインターリーブし、結果のフィーチャーマップのデータセットアフィリエイトをプレテキストタスクとして予測する。
提案手法により、ネットワークは、あるデータセットで見られるオブジェクトの無意味な表現を学習し、解離したデータセットの類似した特徴と合わせて観察することができる。
論文 参考訳(メタデータ) (2023-03-31T14:46:31Z) - A Threefold Review on Deep Semantic Segmentation: Efficiency-oriented,
Temporal and Depth-aware design [77.34726150561087]
我々は、自動運転車のビジョンの文脈において、Deep Semanticの最も関連性があり最近の進歩について調査を行う。
私たちの主な目的は、それぞれの視点で直面している主要な方法、利点、制限、結果、課題に関する包括的な議論を提供することです。
論文 参考訳(メタデータ) (2023-03-08T01:29:55Z) - Navya3DSeg -- Navya 3D Semantic Segmentation Dataset & split generation
for autonomous vehicles [63.20765930558542]
3Dセマンティックデータは、障害物検出やエゴ-車両の局所化といった中核的な認識タスクに有用である。
そこで我々は,大規模生産段階の運用領域に対応する多様なラベル空間を持つ新しいデータセットであるNavala 3D(Navya3DSeg)を提案する。
ラベルのない23のラベル付きシーケンスと25の補足シーケンスが含まれており、ポイントクラウド上の自己教師付きおよび半教師付きセマンティックセマンティックセグメンテーションベンチマークを探索するために設計された。
論文 参考訳(メタデータ) (2023-02-16T13:41:19Z) - Location-Aware Self-Supervised Transformers [74.76585889813207]
画像部品の相対的な位置を予測し,セマンティックセグメンテーションのためのネットワークを事前訓練する。
参照パッチのサブセットを問合せのサブセットにマスキングすることで,タスクの難しさを制御します。
実験により,この位置認識事前学習が,いくつかの難解なセマンティックセグメンテーションベンチマークに競合する表現をもたらすことが示された。
論文 参考訳(メタデータ) (2022-12-05T16:24:29Z) - Conditioning Covert Geo-Location (CGL) Detection on Semantic Class
Information [5.660207256468971]
サハらによってCCGL(Covert Geo-Location)検出と呼ばれる潜在的な隠蔽物を特定するタスクが提案された。
セマンティッククラス情報を利用する試みは行われなかった。
本稿では,2つの目標を達成するためのマルチタスク学習に基づくアプローチを提案する。i) 意味クラス情報を持つ特徴の抽出;i) 共通エンコーダの堅牢なトレーニング。
論文 参考訳(メタデータ) (2022-11-27T07:21:59Z) - Self-supervised Pre-training for Semantic Segmentation in an Indoor
Scene [8.357801312689622]
本稿ではセグメンテーションモデルの自己教師型事前学習手法であるRegConsistを提案する。
我々は,対象環境におけるRGBビューからのセマンティックセグメンテーションを予測するために,コントラスト学習の変種を用いてDCNNモデルを訓練する。
提案手法は、ImageNetで事前訓練されたモデルよりも優れており、全く同じタスクでトレーニングされたモデルと異なるデータセットでトレーニングされたモデルを使用する場合の競合性能を実現する。
論文 参考訳(メタデータ) (2022-10-04T20:10:14Z) - Knowing Earlier what Right Means to You: A Comprehensive VQA Dataset for
Grounding Relative Directions via Multi-Task Learning [16.538887534958555]
GRiD-A-3Dは,抽象オブジェクトに基づく新しい視覚的質問応答データセットである。
我々のデータセットは、相対的な方向へのエンド・ツー・エンドのVQAモデルの機能を詳細に分析することを可能にする。
幾つかのエポックにおいて、相対方向を判断するために必要なサブタスクが、相対方向を直感的に処理する順序で学習されることを実証する。
論文 参考訳(メタデータ) (2022-07-06T12:31:49Z) - PGL: Prior-Guided Local Self-supervised Learning for 3D Medical Image
Segmentation [87.50205728818601]
本稿では,潜在特徴空間における局所的一貫性を学習するPGL(PresideedGuided Local)自己教師モデルを提案する。
我々のPGLモデルは、局所領域の特異な表現を学習し、したがって構造情報を保持できる。
論文 参考訳(メタデータ) (2020-11-25T11:03:11Z) - Taskology: Utilizing Task Relations at Scale [28.09712466727001]
共同で訓練することで,タスクの集合間の固有の関係を活用できることが示される。
タスク間の関係を明確に活用することで、パフォーマンスが向上し、ラベル付きデータの必要性が劇的に低減される。
本稿では, 深度と正規予測, セマンティックセグメンテーション, 3次元運動とエゴモーション推定, および点雲における物体追跡と3次元検出という, タスクのサブセットについて示す。
論文 参考訳(メタデータ) (2020-05-14T22:53:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。