論文の概要: Active Object Detection with Knowledge Aggregation and Distillation from Large Models
- arxiv url: http://arxiv.org/abs/2405.12509v1
- Date: Tue, 21 May 2024 05:39:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-22 14:18:37.211790
- Title: Active Object Detection with Knowledge Aggregation and Distillation from Large Models
- Title（参考訳）: 大規模モデルからの知識集約と蒸留による能動物体検出
- Authors: Dejie Yang, Yang Liu,
- Abstract要約: 状態変化中のアクティブオブジェクトを正確に検出することは、人間のインタラクションを理解し、意思決定を容易にするために不可欠である。
既存のアクティブオブジェクト検出法(AOD)は主に、サイズ、形状、手との関係など、入力内のオブジェクトの視覚的外観に依存する。
状態変化は、しばしばオブジェクト上で実行される相互作用の結果であり、AODに対してより信頼性の高い手がかりを提供するために、オブジェクトに関連する可視的相互作用に関する情報的事前利用を提案する。
提案するフレームワークは,Ego4D,Epic-Kitchens,MECCANOの4つのデータセット上での最先端性能を実現する。
- 参考スコア（独自算出の注目度）: 5.669106489320257
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Accurately detecting active objects undergoing state changes is essential for comprehending human interactions and facilitating decision-making. The existing methods for active object detection (AOD) primarily rely on visual appearance of the objects within input, such as changes in size, shape and relationship with hands. However, these visual changes can be subtle, posing challenges, particularly in scenarios with multiple distracting no-change instances of the same category. We observe that the state changes are often the result of an interaction being performed upon the object, thus propose to use informed priors about object related plausible interactions (including semantics and visual appearance) to provide more reliable cues for AOD. Specifically, we propose a knowledge aggregation procedure to integrate the aforementioned informed priors into oracle queries within the teacher decoder, offering more object affordance commonsense to locate the active object. To streamline the inference process and reduce extra knowledge inputs, we propose a knowledge distillation approach that encourages the student decoder to mimic the detection capabilities of the teacher decoder using the oracle query by replicating its predictions and attention. Our proposed framework achieves state-of-the-art performance on four datasets, namely Ego4D, Epic-Kitchens, MECCANO, and 100DOH, which demonstrates the effectiveness of our approach in improving AOD.
- Abstract（参考訳）: 状態変化中のアクティブオブジェクトを正確に検出することは、人間のインタラクションを理解し、意思決定を容易にするために不可欠である。
既存のアクティブオブジェクト検出法(AOD)は主に、サイズ、形状、手との関係など、入力内のオブジェクトの視覚的外観に依存する。
しかしながら、これらの視覚的変化は微妙なものであり、特に同じカテゴリの複数の非変更インスタンスを気を散らすシナリオにおいて、課題を提起する可能性がある。
状態変化は、しばしばオブジェクト上で実行される相互作用の結果であり、AODのためのより信頼性の高い手がかりを提供するために、オブジェクトに関連する可視的相互作用(セマンティクスや視覚的外観を含む)についての情報的事前利用を提案する。
具体的には,先述した情報を教師デコーダ内のオラクルクエリに統合する知識集約手法を提案する。
推論プロセスの合理化と余分な知識入力の削減を目的として,学生デコーダの学習者による学習者検出能力の模倣を促す知識蒸留手法を提案する。
提案するフレームワークは,Ego4D,Epic-Kitchens,MECCANO,100DOHという4つのデータセット上での最先端性能を実現し,AODの改善におけるアプローチの有効性を実証する。
関連論文リスト
- Augmented Commonsense Knowledge for Remote Object Grounding [67.30864498454805]
エージェントナビゲーションを改善するための時間的知識グラフとして,コモンセンス情報を活用するための拡張コモンセンス知識モデル(ACK)を提案する。
ACKは知識グラフ対応のクロスモーダルとコンセプトアグリゲーションモジュールで構成され、視覚的表現と視覚的テキストデータアライメントを強化する。
我々は、より正確な局所的な行動予測につながるコモンセンスに基づく意思決定プロセスのための新しいパイプラインを追加します。
論文 参考訳（メタデータ） (2024-06-03T12:12:33Z) - Learning Background Prompts to Discover Implicit Knowledge for Open Vocabulary Object Detection [101.15777242546649]
Open vocabulary Object Detection (OVD) は、ベースと新規の両方のカテゴリからオブジェクトを認識できる最適なオブジェクト検出器を求めることを目的としている。
近年の進歩は、知識蒸留を利用して、事前訓練された大規模視覚言語モデルからオブジェクト検出のタスクに洞察力のある知識を伝達している。
本稿では,暗黙的背景知識を活用するための学習バックグラウンドプロンプトを提案するため,LBPと呼ばれる新しいOVDフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-01T17:32:26Z) - Simultaneous Detection and Interaction Reasoning for Object-Centric Action Recognition [21.655278000690686]
エンドツーエンドのオブジェクト中心のアクション認識フレームワークを提案する。
同時に1つのステージで検出と相互作用の推論を行う。
我々はSomes-ElseとIkea-Assemblyという2つのデータセットで実験を行う。
論文 参考訳（メタデータ） (2024-04-18T05:06:12Z) - Towards Zero-shot Human-Object Interaction Detection via Vision-Language
Integration [14.678931157058363]
本稿では,ゼロショットHOI検出を改善するために,視覚言語モデルの知識を効果的に統合する新しいフレームワーク「KI2HOI」を提案する。
より包括的な視覚表現を生成するための効果的な付加的自己認識機構を開発する。
我々のモデルは、様々なゼロショットおよびフル教師付き設定において、以前の手法よりも優れています。
論文 参考訳（メタデータ） (2024-03-12T02:07:23Z) - Localizing Active Objects from Egocentric Vision with Symbolic World
Knowledge [62.981429762309226]
タスクの指示をエゴセントリックな視点から積極的に下す能力は、AIエージェントがタスクを達成したり、人間をバーチャルに支援する上で不可欠である。
本稿では,現在進行中のオブジェクトの役割を学習し,指示から正確に抽出することで,アクティブなオブジェクトをローカライズするフレーズグラウンドモデルの性能を向上させることを提案する。
Ego4DおよびEpic-Kitchensデータセットに関するフレームワークの評価を行った。
論文 参考訳（メタデータ） (2023-10-23T16:14:05Z) - Exploring Predicate Visual Context in Detecting Human-Object
Interactions [44.937383506126274]
クロスアテンションによる画像特徴の再導入について検討する。
PViCはHICO-DETおよびV-COCOベンチマークにおいて最先端の手法より優れている。
論文 参考訳（メタデータ） (2023-08-11T15:57:45Z) - Cycle Consistency Driven Object Discovery [75.60399804639403]
本研究では,シーンの各オブジェクトが異なるスロットに関連付けられなければならない制約を明示的に最適化する手法を提案する。
これらの一貫性目標を既存のスロットベースのオブジェクト中心手法に統合することにより、オブジェクト発見性能を大幅に改善することを示す。
提案手法は,オブジェクト発見を改善するだけでなく,下流タスクのよりリッチな機能も提供することを示唆している。
論文 参考訳（メタデータ） (2023-06-03T21:49:06Z) - SOS! Self-supervised Learning Over Sets Of Handled Objects In Egocentric
Action Recognition [35.4163266882568]
本稿では,SOS(Self-Supervised Learning Over Sets)を導入し,OIC(ジェネリック・オブジェクト・イン・コンタクト)表現モデルを事前学習する。
OICは複数の最先端ビデオ分類モデルの性能を大幅に向上させる。
論文 参考訳（メタデータ） (2022-04-10T23:27:19Z) - Skeleton-Based Mutually Assisted Interacted Object Localization and
Human Action Recognition [111.87412719773889]
本研究では,骨格データに基づく「相互作用対象の局所化」と「人間の行動認識」のための共同学習フレームワークを提案する。
本手法は,人間の行動認識のための最先端の手法を用いて,最高の,あるいは競争的な性能を実現する。
論文 参考訳（メタデータ） (2021-10-28T10:09:34Z) - Visual Relationship Detection with Visual-Linguistic Knowledge from
Multimodal Representations [103.00383924074585]
視覚的関係検出は、画像内の有能なオブジェクト間の関係を推論することを目的としている。
変換器からの視覚言語表現(RVL-BERT)という新しい手法を提案する。
RVL-BERTは、自己教師付き事前学習を通じて学習した視覚的・言語的常識知識を用いて空間推論を行う。
論文 参考訳（メタデータ） (2020-09-10T16:15:09Z) - Distilling Knowledge from Refinement in Multiple Instance Detection
Networks [0.0]
弱教師付きオブジェクト検出(WSOD)は、ラベル付き画像カテゴリのみを監督として、オブジェクト検出の問題に取り組むことを目的としている。
そこで本研究では,各改良モジュールの監督期間中に,基幹クラス,背景,あるいは無視されるボックスの選択基準を動的に変更する適応型監視アグリゲーション機能を提案する。
論文 参考訳（メタデータ） (2020-04-23T02:49:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。