論文の概要: Revisiting Natural Language Prompts from Large Language Models for Open-Vocabulary Video Recognition

• arxiv url: http://arxiv.org/abs/2610.16666v1
• Date: Mon, 12 Oct 2026 12:15:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 21:57:51.870641
• Title: Revisiting Natural Language Prompts from Large Language Models for Open-Vocabulary Video Recognition
• Title（参考訳）: オープン語彙ビデオ認識のための大規模言語モデルからの自然言語プロンプトの再検討
• Abstract要約: 本稿では,P2CLIP(Prompt-Guided CLIP)を提案する。 この問題に対処するために,LLMを用いたジェネリック・ディスクリミネーティブ・プロンプトを設計し,リッチなセマンティック情報を用いた識別カテゴリー埋め込みを実現する。
• 参考スコア（独自算出の注目度）: 7.5102565206093175
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models (VLMs) like CLIP have shown great success in image tasks, however, applying CLIP to open-vocabulary video recognition poses challenges. Due to the limited text information, directly fine-tuning CLIP on video recognition datasets may lead to overfitting and hinder its generalizability. A prevalent method is to enrich text information by generating prompts using Large Language Models (LLMs). However, limited efforts have been made to explore how to generate higher-quality prompts that can contribute to classify unseen categories, and how to further enhance vision-text alignment based on these prompts. In this paper, we propose P2CLIP (Prompt-guided CLIP), which aims to bridge this gap by exploring the impact of prompts across three aspects: category, video, and frame. At the category level, we argue that LLM-generated prompts under simple instructions may suffer from semantic overgeneralization, which can blur the category boundaries and hinder the performance of the model. To address this issue, we design Generic-Discriminative Prompt using LLMs to obtain discriminative category embeddings with rich semantic information. At the video and frame levels, we first use VLM and LLM to generate frame and video descriptions for enhancing vision-text alignment. Then we propose a Knowledge-Guided Temporal Aggregation mechanism, which leverages the expert knowledge derived from LLMs to guide the temporal modeling of videos and encourage a better construction of the joint visual-textual feature space. Extensive experiments across various benchmarks, including zero-shot and few-shot settings, demonstrate the effectiveness of our method.
• Abstract（参考訳）: CLIPのような視覚言語モデル(VLM)は、画像タスクにおいて大きな成功を収めている。 テキスト情報が限られているため、ビデオ認識データセットを直接微調整するCLIPは、過度に適合し、その一般化性を阻害する可能性がある。 一般的な方法は、Large Language Models (LLMs) を用いてプロンプトを生成することで、テキスト情報を豊かにすることである。 しかし、未確認カテゴリの分類に寄与する高品質なプロンプトの生成方法や、これらのプロンプトに基づいて視覚テキストアライメントをさらに強化する方法については、限られた努力がなされている。 本稿では,P2CLIP(Prompt-Guided CLIP)を提案する。 カテゴリレベルでは、単純な命令下でのLCM生成プロンプトは、カテゴリ境界を曖昧にし、モデルの性能を阻害するセマンティックオーバージェネリゼーションに悩まされる可能性があると論じる。 この問題に対処するために,LLMを用いたジェネリック・ディスクリミネーティブ・プロンプトを設計し,リッチなセマンティック情報を用いた識別カテゴリー埋め込みを実現する。 ビデオとフレームレベルでは、まずVLMとLLMを使用して、視覚テキストのアライメントを向上させるためのフレームとビデオ記述を生成する。 次に,LLMから派生した専門知識を活用し,映像の時間的モデリングを指導し,共同視覚・テクスチュアルな特徴空間の構築を促進する知識誘導型時間集約機構を提案する。 ゼロショット設定や少数ショット設定など,様々なベンチマークによる大規模な実験により,本手法の有効性が示された。

関連論文リスト

• Video Summarization with Large Language Models [41.51242348081083]
  本稿では,近年のLarge Language Models (LLM) の機能を活用したビデオ要約フレームワークを提案する。 LLM-based Video Summarization (LLMVS) と呼ばれる我々の手法は、ビデオフレームをMulti-Modal Large Language Model (MLLM) を用いて一連のキャプションに変換する。 実験の結果,提案手法は標準ベンチマークにおける既存手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2025-04-15T13:56:14Z)
• LLM2CLIP: Powerful Language Model Unlocks Richer Visual Representation [72.02635550088546]
  この研究は、大規模言語モデル(LLM)がCLIPの機能をどのように強化するか、特により長く複雑なイメージキャプションを処理するために検討する。 キャプション・トゥ・キャプション・トゥ・キャプション・トゥ・コントラスト・ファインチューニング・フレームワークを導入し,LLM出力の識別品質を大幅に向上させた。 提案手法はLoRA法よりも優れ,より優れた性能で4倍近い高速トレーニングを実現している。
  論文  参考訳（メタデータ） (2024-11-07T18:59:16Z)
• Open Vocabulary Multi-Label Video Classification [52.40942805153809]
  この問題をオープン語彙多ラベルビデオ分類として定式化し、CLIPなどの事前学習VLMを適用してこの問題を解決する方法を提案する。 本稿では,LLMにCLIPテキストエンコーダのソフト属性を生成して,新しいクラスを認識できるようにする,エンドツーエンドのトレーニング可能なアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-07-12T07:53:54Z)
• Rethinking Visual Prompting for Multimodal Large Language Models with External Knowledge [76.45868419402265]
  マルチモーダルな大言語モデル(MLLM)は、膨大な高品質の画像テキストデータセットをトレーニングすることで、大きな進歩を遂げている。 しかし、マスクのような細粒度や空間的に密集した情報をテキストで明示的に伝達することの難しさは、MLLMにとって困難である。 本稿では、特殊な視覚モデルから派生した細粒度の外部知識をMLLMに統合する新しい視覚的プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:43:30Z)
• CLAMP: Contrastive LAnguage Model Prompt-tuning [89.96914454453791]
  このように適応すれば,大規模な言語モデルでも優れた画像分類性能が得られることを示す。 我々のアプローチは最先端のmLLMを13%上回り、カスタムテキストモデルによる対照的な学習をわずかに上回ります。
  論文  参考訳（メタデータ） (2023-12-04T05:13:59Z)
• VidCoM: Fast Video Comprehension through Large Language Models with Multimodal Tools [44.78291853329394]
  textbfVidCoMは、Large Language Models (LLM)を活用して、軽量なビジュアルツールを使用して動画を推論する高速適応フレームワークである。 InsOVERアルゴリズムは、言語命令の分解とビデオイベントの間の効率的なハンガリー語マッチングに基づいて、対応するビデオイベントを特定する。
  論文  参考訳（メタデータ） (2023-10-16T17:05:56Z)
• Context-Aware Prompt Tuning for Vision-Language Model with Dual-Alignment [15.180715595425864]
  我々は、事前学習された大言語モデル(LLM)を組み込むことで、視覚言語モデルの迅速な学習を改善する新しい手法を提案する。 DuAl-PTでは、明示的および暗黙的両方のコンテキストモデリングの恩恵を受けながら、よりコンテキスト対応のプロンプトを学習することを提案する。 実証的には、DuAl-PTは、数ショットの認識とベース・ツー・ニューな一般化で、11のダウンストリームデータセット上で優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-09-08T06:51:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。