論文の概要: Video-Skill-CoT: Skill-based Chain-of-Thoughts for Domain-Adaptive Video Reasoning
- arxiv url: http://arxiv.org/abs/2506.03525v1
- Date: Wed, 04 Jun 2025 03:18:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-05 21:20:14.128357
- Title: Video-Skill-CoT: Skill-based Chain-of-Thoughts for Domain-Adaptive Video Reasoning
- Title（参考訳）: ビデオスキルCoT:ドメイン適応型ビデオ推論のためのスキルベースのチェーン
- Authors: Daeun Lee, Jaehong Yoon, Jaemin Cho, Mohit Bansal,
- Abstract要約: Video-Skill-CoT (別名 Video-SKoT) は、ドメイン適応型ビデオ推論のためのスキル対応CoT監視を自動構築し活用するフレームワークである。
まず、スキルベースのCoTアノテーションを構築し、それらを共有スキル分類に分類し、トレーニング用に各ビデオ検索ペアに合わせて、詳細なマルチステップのCoT論理を作成する。
第二に、スキル固有のエキスパート学習フレームワークを導入し、各エキスパートモジュールは推論スキルのサブセットを専門とし、軽量なアダプタで訓練する。
- 参考スコア（独自算出の注目度）: 63.4357918830628
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in Chain-of-Thought (CoT) reasoning have improved complex video understanding, but existing methods often struggle to adapt to domain-specific skills (e.g., event detection, spatial relation understanding, emotion understanding) over various video content. To address this, we propose Video-Skill-CoT (a.k.a. Video-SKoT), a framework that automatically constructs and leverages skill-aware CoT supervisions for domain-adaptive video reasoning. First, we construct skill-based CoT annotations: we extract domain-relevant reasoning skills from training questions, cluster them into a shared skill taxonomy, and create detailed multi-step CoT rationale tailored to each video-question pair for training. Second, we introduce a skill-specific expert learning framework. Each expert module specializes in a subset of reasoning skills and is trained with lightweight adapters using the collected CoT supervision. We demonstrate the effectiveness of the proposed approach on three video understanding benchmarks, where Video-SKoT consistently outperforms strong baselines. We also provide in-depth analyses on comparing different CoT annotation pipelines and learned skills over multiple video domains.
- Abstract（参考訳）: 近年のChain-of-Thought(CoT)推論の進歩は複雑なビデオ理解を改善しているが、既存の手法は様々なビデオコンテンツに対してドメイン固有のスキル(イベント検出、空間的関係理解、感情理解など)に適応するのに苦労することが多い。
これを解決するために、ドメイン適応型ビデオ推論のためのスキル認識型CoT監視を自動構築し活用するフレームワークであるVideo-Skill-CoT(Video-SKoT)を提案する。
まず、スキルベースのCoTアノテーションを構築し、トレーニング質問からドメイン関連推論スキルを抽出し、それらを共有スキル分類に分類し、トレーニング用に各ビデオ検索ペアに合わせて、詳細なマルチステップのCoT論理を作成する。
第2に,スキル固有のエキスパート学習フレームワークを導入する。
各エキスパートモジュールは推論スキルのサブセットを専門とし、収集されたCoT監視を使用して軽量アダプタでトレーニングされる。
提案手法の有効性を3つのビデオ理解ベンチマークで示す。
また、複数のビデオドメイン上で異なるCoTアノテーションパイプラインと学習スキルを比較し、詳細な分析を行う。
関連論文リスト
- Enhancing Multi-Modal Video Sentiment Classification Through Semi-Supervised Clustering [0.0]
本研究の目的は,映像そのもの,付随するテキスト,音響的特徴の2つの重要な側面に着目し,映像の感情分類を改善することである。
我々は,クラスタリングに基づく半教師付き事前学習を利用して,データから意味のある表現を抽出する手法を開発した。
論文 参考訳（メタデータ） (2025-01-11T08:04:39Z) - STEP: Enhancing Video-LLMs' Compositional Reasoning by Spatio-Temporal Graph-guided Self-Training [87.58996020705258]
Video Large Language Models (Video-LLMs) は近年,ビデオ理解タスクに強い派生性を示している。
ビデオLLMは、多段階の明示的時間的推論を必要とする構成的推論と、オブジェクトの関係、相互作用、イベントに苦労する。
本稿では,ビデオLLMが生ビデオから推論に富んだ微調整データを生成し,自己改善を実現するための,グラフ誘導型自己学習手法STEPを提案する。
論文 参考訳（メタデータ） (2024-11-29T11:54:55Z) - VideoEspresso: A Large-Scale Chain-of-Thought Dataset for Fine-Grained Video Reasoning via Core Frame Selection [61.54044967253421]
空間的詳細と時間的コヒーレンスを保持するビデオQAペアを特徴とする,新しいデータセットであるVideoEspressoを紹介する。
GPT-4o を用いた QA ペア生成にあたり, 冗長性を抑えるためにセマンティック・アウェア法を用いて構成パイプラインを構築した。
フレームセレクタと2段階の命令微調整推論LVLMを備えたハイブリッドLVLM協調フレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-22T08:33:36Z) - Prompting Video-Language Foundation Models with Domain-specific Fine-grained Heuristics for Video Question Answering [71.62961521518731]
HeurVidQAは、ドメイン固有のエンティティアクションを利用して、事前訓練されたビデオ言語基盤モデルを洗練するフレームワークである。
我々のアプローチでは、これらのモデルを暗黙の知識エンジンとして扱い、ドメイン固有のエンティティアクションプロンサを使用して、推論を強化する正確な手がかりにモデルを焦点を向けます。
論文 参考訳（メタデータ） (2024-10-12T06:22:23Z) - Needle In A Video Haystack: A Scalable Synthetic Evaluator for Video MLLMs [20.168429351519055]
ビデオ理解はマルチモーダル大言語モデル(LMLM)にとって重要な次のステップである
合成ビデオ生成によるベンチマーク構築フレームワークであるVideoNIAH(Video Needle In A Haystack)を提案する。
我々は、プロプライエタリモデルとオープンソースモデルの両方を包括的に評価し、ビデオ理解能力の重大な違いを明らかにする。
論文 参考訳（メタデータ） (2024-06-13T17:50:05Z) - Learning from Untrimmed Videos: Self-Supervised Video Representation
Learning with Hierarchical Consistency [60.756222188023635]
教師なしビデオにおいて,より豊富な情報を活用することで表現の学習を提案する。
HiCoは、トリミングされていないビデオのより強力な表現を生成するだけでなく、トリミングされたビデオに適用した場合の表現品質も向上する。
論文 参考訳（メタデータ） (2022-04-06T18:04:54Z) - Boundary-aware Self-supervised Learning for Video Scene Segmentation [20.713635723315527]
シーンセグメンテーション(英: Video scene segmentation)は、ビデオ内のシーン境界を時間的に局所化するタスクである。
本稿では,3つの境界対応プレテキストタスク,ショットシーンマッチング,コンテキストグループマッチング,擬似境界予測を紹介する。
我々はMovieNet-SSegベンチマークの最先端性を実現する。
論文 参考訳（メタデータ） (2022-01-14T02:14:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。