論文の概要: Zero-Shot Human-Object Interaction Recognition via Affordance Graphs
- arxiv url: http://arxiv.org/abs/2009.01039v1
- Date: Wed, 2 Sep 2020 13:14:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-22 19:29:16.372656
- Title: Zero-Shot Human-Object Interaction Recognition via Affordance Graphs
- Title（参考訳）: Affordance Graphsを用いたゼロショットヒューマンオブジェクトインタラクション認識
- Authors: Alessio Sarullo, Tingting Mu
- Abstract要約: ゼロショットヒューマンオブジェクトインタラクション認識のための新しいアプローチを提案する。
提案手法では,画像コンテンツ以外の知識をグラフ形式で活用する。
提案手法をいくつかのデータセットで評価し,現状よりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 3.867143522757309
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a new approach for Zero-Shot Human-Object Interaction Recognition
in the challenging setting that involves interactions with unseen actions (as
opposed to just unseen combinations of seen actions and objects). Our approach
makes use of knowledge external to the image content in the form of a graph
that models affordance relations between actions and objects, i.e., whether an
action can be performed on the given object or not. We propose a loss function
with the aim of distilling the knowledge contained in the graph into the model,
while also using the graph to regularise learnt representations by imposing a
local structure on the latent space. We evaluate our approach on several
datasets (including the popular HICO and HICO-DET) and show that it outperforms
the current state of the art.
- Abstract（参考訳）: 本研究では,ゼロショットの人間-物体間相互作用認識のための新しい手法を提案する(見知らぬ動作とオブジェクトの見つからない組み合わせとは対照的に)。
提案手法では,画像コンテンツの外部の知識を,アクションとオブジェクト間のアフォーマンス関係,すなわち与えられたオブジェクトに対してアクションが実行可能か否かをモデル化するグラフとして利用する。
本稿では,グラフに含まれる知識をモデルに蒸留することを目的とした損失関数を提案するとともに,学習表現を正規化するために潜伏空間に局所構造を付与する手法を提案する。
いくつかのデータセット(HICOやHICO-DETなど)に対するアプローチを評価し,現状よりも優れていることを示す。
関連論文リスト
- Visual-Geometric Collaborative Guidance for Affordance Learning [63.038406948791454]
本稿では,視覚的・幾何学的手がかりを取り入れた視覚・幾何学的協調学習ネットワークを提案する。
本手法は,客観的指標と視覚的品質の代表的なモデルより優れている。
論文 参考訳（メタデータ） (2024-10-15T07:35:51Z) - Knowledge Guided Bidirectional Attention Network for Human-Object
Interaction Detection [3.0915392100355192]
HOIにおけるボトムアップ構文解析戦略の独立的利用は直感に反し、注意の拡散につながる可能性があると論じる。
HOIに新たな知識誘導型トップダウンアテンションを導入し、関係解析を「ルックアンドサーチ」プロセスとしてモデル化することを提案する。
一つのエンコーダ-デコーダモデルでボトムアップとトップダウンの注意を統一することで、プロセスを実装します。
論文 参考訳（メタデータ） (2022-07-16T16:42:49Z) - Skeleton-Based Mutually Assisted Interacted Object Localization and
Human Action Recognition [111.87412719773889]
本研究では,骨格データに基づく「相互作用対象の局所化」と「人間の行動認識」のための共同学習フレームワークを提案する。
本手法は,人間の行動認識のための最先端の手法を用いて,最高の,あるいは競争的な性能を実現する。
論文 参考訳（メタデータ） (2021-10-28T10:09:34Z) - Exploiting Scene Graphs for Human-Object Interaction Detection [81.49184987430333]
ヒューマン・オブジェクト・インタラクション(Human-Object Interaction,HOI)検出は、人間とオブジェクト間のインタラクションのローカライズと認識を目的とした、基本的な視覚的タスクである。
そこで本研究では,シーングラフを用いたヒューマン・オブジェクト・インタラクション(SG2HOI)検出タスクのための新しい手法を提案する。
SG2HOIはSG情報を2つの方法で組み込む:(1)シーングラフを世界的文脈の手がかりに埋め込み、シーン固有の環境コンテキストとして機能し、(2)オブジェクトの近傍から関係を収集し、それらを対話に転送するリレーショナル・アウェア・メッセージ・パッシング・モジュールを構築する。
論文 参考訳（メタデータ） (2021-08-19T09:40:50Z) - Mutual Graph Learning for Camouflaged Object Detection [31.422775969808434]
主な課題は、前景の物体と背景の環境との固有の類似性によって、深いモデルによって抽出された特徴が区別できないことである。
我々は,正規格子からグラフ領域への従来の相互学習の考え方を一般化する,新しい相互グラフ学習モデルを設計する。
すべてのタスク間インタラクションをモデリングするために共有関数を使用するほとんどの相互学習アプローチとは対照的に、mglは異なる補完関係を扱うための型付き関数を備えている。
論文 参考訳（メタデータ） (2021-04-03T10:14:39Z) - DRG: Dual Relation Graph for Human-Object Interaction Detection [65.50707710054141]
人-物間相互作用(HOI)検出の課題に対処する。
既存の方法は、人間と物体の対の相互作用を独立に認識するか、複雑な外観に基づく共同推論を行う。
本稿では,抽象的空間意味表現を活用して,各対象対を記述し,二重関係グラフを用いてシーンの文脈情報を集約する。
論文 参考訳（メタデータ） (2020-08-26T17:59:40Z) - ConsNet: Learning Consistency Graph for Zero-Shot Human-Object
Interaction Detection [101.56529337489417]
画像中のHuman, Action, Object>の形のHOIインスタンスを検出・認識することを目的としたHuman-Object Interaction (HOI) Detectionの問題点を考察する。
我々は、オブジェクト、アクション、インタラクション間の多レベルコンパレンシーは、稀な、あるいは以前には見られなかったHOIのセマンティック表現を生成するための強力な手がかりであると主張している。
提案モデルでは,人-対象のペアの視覚的特徴とHOIラベルの単語埋め込みを入力とし,それらを視覚-意味的関節埋め込み空間にマッピングし,類似度を計測して検出結果を得る。
論文 参考訳（メタデータ） (2020-08-14T09:11:18Z) - A Graph-based Interactive Reasoning for Human-Object Interaction
Detection [71.50535113279551]
本稿では,HOIを推論するインタラクティブグラフ(Interactive Graph, in-Graph)という,グラフに基づくインタラクティブ推論モデルを提案する。
In-GraphNet と呼ばれる HOI を検出するための新しいフレームワークを構築した。
私たちのフレームワークはエンドツーエンドのトレーニングが可能で、人間のポーズのような高価なアノテーションはありません。
論文 参考訳（メタデータ） (2020-07-14T09:29:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。