論文の概要: Knowledge Prompting for Few-shot Action Recognition

• arxiv url: http://arxiv.org/abs/2211.12030v1
• Date: Tue, 22 Nov 2022 06:05:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 18:03:49.961658
• Title: Knowledge Prompting for Few-shot Action Recognition
• Title（参考訳）: ファウショット行動認識のための知識プロンプト
• Authors: Yuheng Shi, Xinxiao Wu, Hanxi Lin
• Abstract要約: 本稿では,知識プロンプトと呼ばれるシンプルで効果的な手法を提案し,数発の分類のための強力な視覚言語モデルを提案する。 まず、アクションの大規模言語記述をテキスト提案として定義し、アクション知識ベースを構築する。 我々は、これらのテキスト提案をビデオフレームと共に事前学習された視覚言語モデルに入力し、各フレームに対する提案の一致するスコアを生成する。 6つのベンチマークデータセットに対する大規模な実験により、我々の手法は一般に最先端の性能を達成し、訓練のオーバーヘッドを0.001に減らした。
• 参考スコア（独自算出の注目度）: 20.973999078271483
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Few-shot action recognition in videos is challenging for its lack of supervision and difficulty in generalizing to unseen actions. To address this task, we propose a simple yet effective method, called knowledge prompting, which leverages commonsense knowledge of actions from external resources to prompt a powerful pre-trained vision-language model for few-shot classification. We first collect large-scale language descriptions of actions, defined as text proposals, to build an action knowledge base. The collection of text proposals is done by filling in handcraft sentence templates with external action-related corpus or by extracting action-related phrases from captions of Web instruction videos.Then we feed these text proposals into the pre-trained vision-language model along with video frames to generate matching scores of the proposals to each frame, and the scores can be treated as action semantics with strong generalization. Finally, we design a lightweight temporal modeling network to capture the temporal evolution of action semantics for classification.Extensive experiments on six benchmark datasets demonstrate that our method generally achieves the state-of-the-art performance while reducing the training overhead to 0.001 of existing methods.
• Abstract（参考訳）: ビデオにおけるアクション認識は、監視の欠如と、目に見えないアクションを一般化することの難しさのために困難である。 この課題に対処するために,外部資源からの行動の常識知識を活用し,少数ショット分類のための強力な事前学習された視覚言語モデルを促す,知識プロンシングという,単純かつ効果的な手法を提案する。 まず、アクションの大規模言語記述をテキスト提案として定義し、アクション知識ベースを構築する。 テキスト提案の収集は,手作業文テンプレートに外部行動関連コーパスを埋め込んだり,Web指導ビデオのキャプションからアクション関連フレーズを抽出して行い,これらのテキスト提案をビデオフレームとともに事前学習された視覚言語モデルにフィードすることで,各フレームに対する提案の一致スコアを生成し,そのスコアを強力な一般化を伴うアクションセマンティクスとして扱うことができる。 最後に,分類のための行動意味論の時間的進化を捉える軽量な時間的モデリングネットワークを設計し,既存の手法の0.001までトレーニングのオーバーヘッドを減らしながら,提案手法が一般に最先端の性能を達成することを示す。

関連論文リスト

• Spatio-Temporal Context Prompting for Zero-Shot Action Detection [13.22912547389941]
  本稿では,視覚言語モデルの豊富な知識を効果的に活用し,対人インタラクションを実現する手法を提案する。 同時に複数の人物による異なる行動を認識するという課題に対処するために,興味あるトークンスポッティング機構を設計する。 提案手法は,従来の手法に比べて優れた結果を得ることができ,さらにマルチアクションビデオに拡張することができる。
  論文  参考訳（メタデータ） (2024-08-28T17:59:05Z)
• Less is More: A Closer Look at Semantic-based Few-Shot Learning [11.724194320966959]
  Few-shot Learningは、利用可能な画像の数が非常に限られている新しいカテゴリを学習し、区別することを目的としている。 本稿では,テキスト情報と言語モデルを活用することを目的とした,数ショットの学習タスクのための,シンプルだが効果的なフレームワークを提案する。 広範に使われている4つのショットデータセットで実施した実験は、我々の単純なフレームワークが印象的な結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2024-01-10T08:56:02Z)
• Generating Action-conditioned Prompts for Open-vocabulary Video Action Recognition [63.95111791861103]
  既存の方法は、訓練済みの画像テキストモデルをビデオ領域に適応させるのが一般的である。 我々は、人間の事前知識によるテキスト埋め込みの強化が、オープン語彙のビデオ行動認識の鍵となると論じている。 提案手法は,新たなSOTA性能を設定できるだけでなく,解釈性にも優れる。
  論文  参考訳（メタデータ） (2023-12-04T02:31:38Z)
• Few-shot Action Recognition with Captioning Foundation Models [61.40271046233581]
  CapFSARは、テキストを手動でアノテートすることなく、マルチモーダルモデルの知識を利用するフレームワークである。 Transformerをベースとしたビジュアルテキストアグリゲーションモジュールはさらに、モーダル時間間の補完情報を組み込むように設計されている。 複数の標準的な数ショットベンチマークの実験では、提案したCapFSARが既存の手法に対して好適に動作することを示した。
  論文  参考訳（メタデータ） (2023-10-16T07:08:39Z)
• Multi-modal Prompting for Low-Shot Temporal Action Localization [95.19505874963751]
  低ショット(ゼロショット・少数ショット)シナリオ下での時間的行動局所化の問題点を考察する。 クラスに依存しない2段階のアクションローカライズアーキテクチャをTransformerに導入し,その後にオープン語彙分類を行った。
  論文  参考訳（メタデータ） (2023-03-21T10:40:13Z)
• Prompting Visual-Language Models for Efficient Video Understanding [28.754997650215486]
  本稿では,事前学習した1つの視覚言語モデルを,最小限のトレーニングで新しいタスクに効果的に適応させる方法を提案する。 静的画像とビデオのギャップを埋めるために、フレームワイドの視覚的特徴の上に軽量なトランスフォーマーを積み重ねたテンポラリな情報をエンコードする。
  論文  参考訳（メタデータ） (2021-12-08T18:58:16Z)
• Skill Induction and Planning with Latent Language [94.55783888325165]
  我々は、ゴールがハイレベルなサブタスク記述のシーケンスを生成するアクションシーケンスの生成モデルを定式化する。 本稿では、このモデルを、主に注釈のないデモを用いて、名前付きハイレベルなサブタスクのシーケンスに解析する方法について述べる。 訓練されたモデルでは、自然言語コマンドの空間はスキルのライブラリを索引付けする;エージェントはこれらのスキルを使って、新しい目標に適した高いレベルの命令シーケンスを生成する。
  論文  参考訳（メタデータ） (2021-10-04T15:36:32Z)
• Intra- and Inter-Action Understanding via Temporal Action Parsing [118.32912239230272]
  本研究では,スポーツビデオにサブアクションの手動アノテーションを付加した新しいデータセットを構築し,その上に時間的行動解析を行う。 スポーツ活動は通常、複数のサブアクションから構成されており、このような時間構造に対する意識は、行動認識に有益であることを示す。 また,時間的解析手法を多数検討し,そのラベルを知らずにトレーニングデータからサブアクションをマイニングできる改良手法を考案した。
  論文  参考訳（メタデータ） (2020-05-20T17:45:18Z)
• A Benchmark for Structured Procedural Knowledge Extraction from Cooking Videos [126.66212285239624]
  本稿では,調理ビデオから抽出した構造化手続き的知識のベンチマークを提案する。 手動で注釈付けしたオープン語彙リソースには、356の指導的調理ビデオと15,523のビデオクリップ/文レベルのアノテーションが含まれています。
  論文  参考訳（メタデータ） (2020-05-02T05:15:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。