論文の概要: Sub-actions in Action: Text-Guided Hand-Role Alignment for Sub-Action Recognition
- arxiv url: http://arxiv.org/abs/2611.16056v1
- Date: Wed, 11 Nov 2026 22:12:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.280307
- Title: Sub-actions in Action: Text-Guided Hand-Role Alignment for Sub-Action Recognition
- Title(参考訳): 動作中のサブアクション:サブアクション認識のためのテキストガイドハンドロールアライメント
- Abstract要約: BiScopeNetは、ビジョンエンコーダや言語モデルを変更することなく、既存のビデオLLMを拡張するフレームワークである。
サブアクション検出を監督するために,既存のエゴセントリックなデータセットから算出した大規模ビデオレベルデータセットであるBiScopeCap-100Kを導入する。
- 参考スコア(独自算出の注目度): 13.861267592257983
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Our objective is to enhance VLMs ability to distinguish the roles of the left and right hands in egocentric actions. We introduce sub-action detection, a task that requires models to explicitly recognise the left- and right-hand roles and their manipulated objects within an ongoing high-level action. To address this challenge, we propose BiScopeNet, a framework that augments existing video-LLMs without modifying their vision encoders or language models. BiScopeNet incorporates two components: FocusAlign, a gated text-guided attention-based module that selectively aligns video features with textual context to emphasise action-relevant cues, and MetaLoss, a masked, object-weighted loss that prioritises visually grounded terms. To supervise sub-action detection, we introduce BiScopeCap-100K, a large-scale video-level dataset curated from existing egocentric datasets, providing dense captions that jointly describe high-level actions, left/right-hand roles, and manipulated objects, enriched with spatial metadata for grounding. Across the evaluated Video-LLM backbones, BiScopeNet improves action, hand-role, and object recognition over the corresponding supervised baselines, achieving the strongest aggregate performance among the evaluated configurations on BiScopeCap.
- Abstract(参考訳): 我々の目標は、自我中心行動における左右手の役割を識別するVLM能力を強化することである。
サブアクション検出(sub-action detection)は、モデルが現在進行中のハイレベルアクションにおいて、左右の役割とその操作対象を明示的に認識することを要求するタスクである。
この課題に対処するために,既存のビデオLLMを視覚エンコーダや言語モデルを変更することなく拡張するフレームワークであるBiScopeNetを提案する。
BiScopeNetには2つのコンポーネントが組み込まれている。FocusAlignは、ビデオ機能とアクション関連キューを強調するテキストコンテキストを選択的に整列するゲート付きテキスト誘導アテンションベースのモジュールである。
サブアクション検出を監督するために,既存のエゴセントリックなデータセットから算出した大規模ビデオレベルのデータセットであるBiScopeCap-100Kを導入する。
評価されたビデオ-LLMバックボーン全体にわたって、BiScopeNetは、対応する教師付きベースライン上でのアクション、ハンドロール、オブジェクト認識を改善し、評価されたBiScopeCapの構成の中で最強の集約性能を達成する。
関連論文リスト
- Compositional Context Fine-Tuning Vision-Language Model for Complex Assembly Action Understanding from Videos [11.617428552650027]
我々は、構成文脈ファインチューニング(CCFT)を用いて、視覚言語モデル(VLM)をこの困難な領域に適用する。
CCFTは、アセンブリアクションをセマンティック要素(Verb、Object、Tool)と微調整のVLMに分解して、テンプレート化された質問応答ペアを使用して各アクション要素を認識する。
既存のアセンブリビデオデータセットからHA-ViD-VQAとIKEA-ASM-VQAデータセットを作成する。
論文 参考訳(メタデータ) (2026-07-12T15:09:33Z) - RefAtomNet++: Advancing Referring Atomic Video Action Recognition using Semantic Retrieval based Multi-Trajectory Mamba [86.47790050206306]
RefAVA++は290万フレームと75.1kの注釈付き人で構成される。
RefAtomNet++は、多階層的なセマンティックアラインなクロスアテンションメカニズムを通じて、クロスモーダルトークンアグリゲーションを前進させる。
実験によると、RefAtomNet++は新しい最先端の結果を確立している。
論文 参考訳(メタデータ) (2025-10-18T10:41:19Z) - SOVC: Subject-Oriented Video Captioning [59.04029220586337]
本稿では,ビデオキャプションタスクであるSOVC(Subject-Oriented Video Captioning)を提案する。
この課題を支援するために、広く使われている2つのビデオキャプションデータセットに基づいて、2つの主観的ビデオキャプションデータセットを構築した。
論文 参考訳(メタデータ) (2023-12-20T17:44:32Z) - MeViS: A Large-scale Benchmark for Video Segmentation with Motion
Expressions [93.35942025232943]
複雑な環境下で対象物を示すために,多数の動作表現を含む大規模データセットMeViSを提案する。
本ベンチマークの目的は,効率的な言語誘導ビデオセグメンテーションアルゴリズムの開発を可能にするプラットフォームを提供することである。
論文 参考訳(メタデータ) (2023-08-16T17:58:34Z) - RefSAM: Efficiently Adapting Segmenting Anything Model for Referring Video Object Segmentation [53.4319652364256]
本稿では,ビデオオブジェクトのセグメンテーションを参照するためのSAMの可能性を探るRefSAMモデルを提案する。
提案手法は,Cross-RValModalを用いることで,モダリティ学習を向上させるためにオリジナルのSAMモデルに適応する。
我々は、言語と視覚の特徴を効果的に調整し、融合させるために、パラメータ効率のチューニング戦略を採用している。
論文 参考訳(メタデータ) (2023-07-03T13:21:58Z) - Guided Slot Attention for Unsupervised Video Object Segmentation [16.69412563413671]
本研究では,空間構造情報を強化し,より優れた前景分離を実現するためのガイド付きスロットアテンションネットワークを提案する。
提案モデルは,2つの一般的なデータセット上での最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2023-03-15T02:08:20Z) - Position-Aware Contrastive Alignment for Referring Image Segmentation [65.16214741785633]
マルチモーダル特徴のアライメントを強化するために,位置認識型コントラストアライメントネットワーク(PCAN)を提案する。
1)自然言語記述に関連するすべてのオブジェクトの位置情報を提供する位置認識モジュール(PAM)と,2)マルチモーダルアライメントを強化するコントラスト言語理解モジュール(CLUM)の2つのモジュールで構成されている。
論文 参考訳(メタデータ) (2022-12-27T09:13:19Z) - Learning to Recognize Actions on Objects in Egocentric Video with
Attention Dictionaries [51.48859591280838]
ビデオアクション認識のためのディープニューラルアーキテクチャであるEgoACOを紹介する。
フレームレベルの機能からアクションコンテキストオブジェクト記述子をプールする。
Capは学習可能な重みの辞書を使って、最も関連性の高い特徴領域からプールする。
論文 参考訳(メタデータ) (2021-02-16T10:26:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。