論文の概要: Egocentric Action Recognition with Objects and Vision-Language Affordances
- arxiv url: http://arxiv.org/abs/2611.07673v1
- Date: Thu, 05 Nov 2026 09:02:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.61089
- Title: Egocentric Action Recognition with Objects and Vision-Language Affordances
- Title（参考訳）: エゴセントリックな行動認識
- Abstract要約: エゴセントリックな行動認識は コンピュータビジョンの中核的なタスクです
近年の手法は、RGBビデオや深度といった視覚的モダリティに依存している。
本稿では,SlowFastビデオエキスパートと注目に基づくオブジェクトエキスパートを後期融合により組み合わせた手法を提案する。
- 参考スコア（独自算出の注目度）: 0.9332987715848716
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Action recognition, and more specifically egocentric action recognition, is a core task in computer vision, with applications such as monitoring the daily life activities of elderly people and task assistance. Recent methods rely on visual modalities such as RGB video or depth. However, in egocentric video, an action is largely defined by its objects, which these methods rarely model. We propose a method that combines a frozen SlowFast video expert with an attention-based object expert by late fusion. Each object is represented with its affordances, that is, what can be done with it, generated zero-shot by a vision-language model. Since datasets such as MECCANO annotate only the objects involved in each action, evaluating with these boxes tells the model which objects are active. We therefore train on annotated boxes and evaluate the method with detections from the official active-object detector, and with annotated boxes as an upper bound. Without affordances, our fusion reaches 68.4% Top-1 with annotated boxes but 49.0% with detections. About half of this drop comes from non-active detections. To remove them, the same vision-language model generates an interaction affordance that decides whether a hand is manipulating each detected object. On MECCANO, objects raise the Top-1 of the video expert from 44.9% to 49.0%, and the two affordances raise it to 49.9%, above SlowFast and object-aware RGB baselines. Code will be released upon acceptance.
- Abstract（参考訳）: 行動認識、特に自我中心の行動認識はコンピュータビジョンにおける中核的なタスクであり、高齢者の日常生活活動のモニタリングやタスクアシストなどの応用がある。
近年の手法は、RGBビデオや深度といった視覚的モダリティに依存している。
しかしながら、エゴセントリックなビデオでは、アクションはオブジェクトによって大半が定義され、これらのメソッドはめったにモデル化されない。
本稿では,凍結したSlowFastビデオエキスパートと注目に基づくオブジェクトエキスパートを後期融合により組み合わせる手法を提案する。
各オブジェクトは、その余裕、すなわち、視覚言語モデルによって生成されたゼロショットで表現される。
MECCANOのようなデータセットは、各アクションに関連するオブジェクトのみに注釈を付けるので、これらのボックスでの評価は、どのオブジェクトがアクティブであるかモデルに伝える。
そこで我々は,アノテートボックスをトレーニングし,オフィシャルアクティブオブジェクト検出器から検出し,アノテートボックスを上界として評価する。
我々の核融合は、アノテートされたボックスで68.4%のTop-1に達するが、検出で49.0%に達する。
この減少の約半分は、非アクティブな検出によるものだ。
それらを取り除くために、同じ視覚言語モデルが、検出された各オブジェクトを手動で操作しているかどうかを判断する相互作用余裕を生成する。
MECCANOでは、オブジェクトはビデオ専門家のTop-1を44.9%から49.0%に引き上げ、SlowFastとオブジェクト対応RGBベースラインの49.9%まで引き上げている。
コードは受理時にリリースされる。
関連論文リスト
- iTACO: Interactable Digital Twins of Articulated Objects from Casually Captured RGBD Videos [52.398752421673144]
本研究では,手持ちカメラで撮影したカジュアルなRGBD映像から,物体の動作解析と部分レベルセグメンテーションに焦点を当てた。
スマートフォンを用いて手軽に手軽に手軽に手軽に手に入ることができる。
動的RGBDビデオからオブジェクトの関節パラメータとセグメントを推論する粗粒度フレームワークiTACOを紹介する。
論文 参考訳（メタデータ） (2025-06-10T01:41:46Z) - Interacted Object Grounding in Spatio-Temporal Human-Object Interactions [70.8859442754261]
我々は、新しいオープンワールドベンチマーク: Grounding Interacted Objects (GIO)を導入する。
オブジェクトの接地作業は視覚システムが相互作用するオブジェクトを発見することを期待するものである。
多様なビデオから対話オブジェクトを検出するための4D質問応答フレームワーク(4D-QA)を提案する。
論文 参考訳（メタデータ） (2024-12-27T09:08:46Z) - Retrieval Robust to Object Motion Blur [54.34823913494456]
本研究では,動きのぼやけの影響を受けやすい画像のオブジェクト検索手法を提案する。
ぼやけたオブジェクト検索のための最初の大規模データセットを提示する。
提案手法は,新しいぼやけた検索データセット上で,最先端の検索手法より優れている。
論文 参考訳（メタデータ） (2024-04-27T23:22:39Z) - Simultaneous Detection and Interaction Reasoning for Object-Centric Action Recognition [21.655278000690686]
エンドツーエンドのオブジェクト中心のアクション認識フレームワークを提案する。
同時に1つのステージで検出と相互作用の推論を行う。
我々はSomes-ElseとIkea-Assemblyという2つのデータセットで実験を行う。
論文 参考訳（メタデータ） (2024-04-18T05:06:12Z) - Localizing Active Objects from Egocentric Vision with Symbolic World
Knowledge [62.981429762309226]
タスクの指示をエゴセントリックな視点から積極的に下す能力は、AIエージェントがタスクを達成したり、人間をバーチャルに支援する上で不可欠である。
本稿では,現在進行中のオブジェクトの役割を学習し,指示から正確に抽出することで,アクティブなオブジェクトをローカライズするフレーズグラウンドモデルの性能を向上させることを提案する。
Ego4DおよびEpic-Kitchensデータセットに関するフレームワークの評価を行った。
論文 参考訳（メタデータ） (2023-10-23T16:14:05Z) - H-SAUR: Hypothesize, Simulate, Act, Update, and Repeat for Understanding
Object Articulations from Interactions [62.510951695174604]
The Hypothesize, Simulate, Act, Update, and Repeat (H-SAUR) is a probabilistic generative framework that generated hypotheses about objects articulate given input observed。
提案手法は,現在最先端のオブジェクト操作フレームワークよりも優れていることを示す。
我々は、学習に基づく視覚モデルから学習前の学習を統合することにより、H-SAURのテスト時間効率をさらに向上する。
論文 参考訳（メタデータ） (2022-10-22T18:39:33Z) - SOS! Self-supervised Learning Over Sets Of Handled Objects In Egocentric
Action Recognition [35.4163266882568]
本稿では,SOS(Self-Supervised Learning Over Sets)を導入し,OIC(ジェネリック・オブジェクト・イン・コンタクト)表現モデルを事前学習する。
OICは複数の最先端ビデオ分類モデルの性能を大幅に向上させる。
論文 参考訳（メタデータ） (2022-04-10T23:27:19Z) - Sequential Decision-Making for Active Object Detection from Hand [43.839322860501596]
手動オブジェクトの相互作用を理解する重要な要素は、アクティブオブジェクトを識別する能力である。
我々は,手の位置と外観を条件とした逐次的意思決定プロセスとして,能動物体検出手法を構築した。
このアプローチの主な革新は、Box Fieldと呼ばれる内部表現を使用するアクティブオブジェクト検出ポリシーの設計です。
論文 参考訳（メタデータ） (2021-10-21T23:40:45Z) - Learning to Track Object Position through Occlusion [32.458623495840904]
オクルージョンは、物体検出器やトラッカーが直面する最も重要な課題の1つである。
本稿では,領域ベースビデオオブジェクト検出装置の成功に基づくトラッキング・バイ・検出手法を提案する。
提案手法は,インターネットから収集した家具組立ビデオのデータセットにおいて,優れた結果が得られる。
論文 参考訳（メタデータ） (2021-06-20T22:29:46Z) - A Transfer Learning Approach to Cross-Modal Object Recognition: From
Visual Observation to Robotic Haptic Exploration [13.482253411041292]
本稿では,ロボットによる能動探査によるクロスモーダルビジュオ触覚物体認識の問題点について紹介する。
そこで我々は,ビジュオ触覚の共通表現の発見,適切な特徴セットの定義,ドメイン間の特徴の移動,オブジェクトの分類という4つのステップからなるアプローチを提案する。
提案手法は94.7%の精度を達成しており、これはモノモーダルケースの精度に匹敵するものである。
論文 参考訳（メタデータ） (2020-01-18T14:47:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。