論文の概要: Discovering Human-Object Interaction Concepts via Self-Compositional Learning

• arxiv url: http://arxiv.org/abs/2203.14272v1
• Date: Sun, 27 Mar 2022 10:31:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-29 14:59:11.016149
• Title: Discovering Human-Object Interaction Concepts via Self-Compositional Learning
• Title（参考訳）: 自己結合学習によるヒューマン・オブジェクトインタラクション概念の発見
• Authors: Zhi Hou, Baosheng Yu, Dacheng Tao
• Abstract要約: 本稿では,HOI概念発見(HOI Concept Discovery)と呼ばれる包括的HOI理解のための,新しい課題を紹介する。 HOI概念発見のための自己構成学習フレームワーク(SCL)を考案する。 提案手法の有効性を実証するために,いくつかの一般的なHOIデータセットについて広範な実験を行った。
• 参考スコア（独自算出の注目度）: 93.38239238988719
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A comprehensive understanding of human-object interaction (HOI) requires detecting not only a small portion of predefined HOI concepts (or categories) but also other reasonable HOI concepts, while current approaches usually fail to explore a huge portion of unknown HOI concepts (i.e., unknown but reasonable combinations of verbs and objects). In this paper, 1) we introduce a novel and challenging task for a comprehensive HOI understanding, which is termed as HOI Concept Discovery; and 2) we devise a self-compositional learning framework (or SCL) for HOI concept discovery. Specifically, we maintain an online updated concept confidence matrix during training: 1) we assign pseudo-labels for all composite HOI instances according to the concept confidence matrix for self-training; and 2) we update the concept confidence matrix using the predictions of all composite HOI instances. Therefore, the proposed method enables the learning on both known and unknown HOI concepts. We perform extensive experiments on several popular HOI datasets to demonstrate the effectiveness of the proposed method for HOI concept discovery, object affordance recognition and HOI detection. For example, the proposed self-compositional learning framework significantly improves the performance of 1) HOI concept discovery by over 10% on HICO-DET and over 3% on V-COCO, respectively; 2) object affordance recognition by over 9% mAP on MS-COCO and HICO-DET; and 3) rare-first and non-rare-first unknown HOI detection relatively over 30% and 20%, respectively. Code and models will be made publicly available at https://github.com/zhihou7/HOI-CL.
• Abstract（参考訳）: ヒューマン・オブジェクト間インタラクション(hoi)の包括的理解は、事前定義されたhoi概念(あるいはカテゴリ)のごく一部だけでなく、他の合理的なhoi概念も検出する必要があるが、現在のアプローチでは、未知のhoi概念(例えば、未知であるが、動詞とオブジェクトの合理的な組み合わせ)の膨大な部分を探索することができない。 この論文では 1) HOI概念発見と呼ばれる包括的HOI理解のための新規かつ挑戦的な課題を導入する。 2) HOI概念発見のための自己構成学習フレームワーク(SCL)を考案した。 具体的には、トレーニング中にオンライン更新された概念信頼マトリックスを維持します。 1) 自己学習のための概念信頼行列に従って, すべての複合HOIインスタンスに擬似ラベルを割り当てる。 2)すべての複合HOIインスタンスの予測を用いて,概念信頼度行列を更新する。 そこで,提案手法では,既知概念と未知概念の両方を学習できる。 提案手法の有効性を実証するために,いくつかの一般的なHOIデータセットを用いた広範囲な実験を行った。 例えば、提案する自己構成学習フレームワークは、性能を著しく向上させる。 1)HOI概念の発見はHICO-DETで10%以上,V-COCOで3%以上であった。 2) ms-coco と hico-det 上の9% 以上のマップによるオブジェクトアプライアンス認識 3) レアファーストおよび非レアファースト未発見HOI検出は, それぞれ30%以上, 20%以上であった。 コードとモデルはhttps://github.com/zhihou7/HOI-CLで公開される。

関連論文リスト

• Discover-then-Name: Task-Agnostic Concept Bottlenecks via Automated Concept Discovery [52.498055901649025]
  ディープニューラルネットワークの「ブラックボックス」問題に対処するために、概念ボトルネックモデル(CBM)が提案されている。 本稿では,典型的なパラダイムを逆転させる新しいCBMアプローチであるDiscover-then-Name-CBM(DN-CBM)を提案する。 我々の概念抽出戦略は、下流のタスクに非依存であり、既にそのモデルに知られている概念を使用するため、効率的である。
  論文  参考訳（メタデータ） (2024-07-19T17:50:11Z)
• COPEN: Probing Conceptual Knowledge in Pre-trained Language Models [60.10147136876669]
  概念的知識は人間の認知と知識基盤の基本である。 既存の知識探索作業は、事前訓練された言語モデル(PLM)の事実知識のみに焦点を当て、概念知識を無視する。 PLMが概念的類似性によってエンティティを編成し、概念的特性を学習し、コンテキスト内でエンティティを概念化するかどうかを調査する3つのタスクを設計する。 タスクのために、393のコンセプトをカバーする24kのデータインスタンスを収集、注釈付けします。
  論文  参考訳（メタデータ） (2022-11-08T08:18:06Z)
• H-SAUR: Hypothesize, Simulate, Act, Update, and Repeat for Understanding Object Articulations from Interactions [62.510951695174604]
  The Hypothesize, Simulate, Act, Update, and Repeat (H-SAUR) is a probabilistic generative framework that generated hypotheses about objects articulate given input observed。 提案手法は,現在最先端のオブジェクト操作フレームワークよりも優れていることを示す。 我々は、学習に基づく視覚モデルから学習前の学習を統合することにより、H-SAURのテスト時間効率をさらに向上する。
  論文  参考訳（メタデータ） (2022-10-22T18:39:33Z)
• When are Post-hoc Conceptual Explanations Identifiable? [18.85180188353977]
  人間の概念ラベルが利用できない場合、概念発見手法は解釈可能な概念のための訓練された埋め込み空間を探索する。 我々は、概念発見は特定可能であり、多くの既知の概念を確実に回収し、説明の信頼性を保証するべきであると論じている。 本結果は,人間ラベルのない信頼性の高い概念発見を保証できる厳密な条件を強調した。
  論文  参考訳（メタデータ） (2022-06-28T10:21:17Z)
• End-to-End Zero-Shot HOI Detection via Vision and Language Knowledge Distillation [86.41437210485932]
  我々は、ゼロショットHOI検出を前進させ、同時に見えないHOIと見えないHOIの両方を検出することを目指している。 本稿では,視覚言語による知識蒸留によるエンドツーエンドのゼロショットHOI検出フレームワークを提案する。 本手法は, 従来のSOTAを8.92%, 全体の10.18%で上回っている。
  論文  参考訳（メタデータ） (2022-04-01T07:27:19Z)
• Discovering Concepts in Learned Representations using Statistical Inference and Interactive Visualization [0.76146285961466]
  概念発見は、深層学習の専門家とモデルエンドユーザーの間のギャップを埋めるために重要である。 現在のアプローチには、手作りの概念データセットと、それを潜在空間方向に変換することが含まれる。 本研究では,複数の仮説テストに基づく意味ある概念のユーザ発見と,インタラクティブな可視化に関する2つのアプローチを提案する。
  論文  参考訳（メタデータ） (2022-02-09T22:29:48Z)
• A Minimalist Dataset for Systematic Generalization of Perception, Syntax, and Semantics [131.93113552146195]
  我々は,機械が一般化可能な概念を学習する能力を調べるため,新しいデータセットであるHINT(Hand written arithmetic with INTegers)を提案する。 HINTでは、イメージなどの生信号から概念がどのように認識されるかを学ぶことが機械のタスクである。 我々は、RNN、Transformer、GPT-3など、様々なシーケンス・ツー・シーケンスモデルで広範囲に実験を行った。
  論文  参考訳（メタデータ） (2021-03-02T01:32:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。