論文の概要: Domain Adaptation of VLM for Soccer Video Understanding

• arxiv url: http://arxiv.org/abs/2505.13860v1
• Date: Tue, 20 May 2025 03:12:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:52.64683
• Title: Domain Adaptation of VLM for Soccer Video Understanding
• Title（参考訳）: サッカー映像理解のためのVLMのドメイン適応
• Authors: Tiancheng Jiang, Henry Wang, Md Sirajus Salekin, Parmida Atighehchian, Shinan Zhang,
• Abstract要約: 視覚言語モデル(VLM)は、視覚的およびテキスト的表現を効果的に整合させることにより、マルチモーダルタスクにおいて強力な性能を示す。 本研究は,オープンソースVLMの特定の領域への適応性について検討し,最初の事例研究としてサッカーに注目した。 最終適応モデルは、20kビデオクリップのキュレートされたデータセットを使用してトレーニングされ、ベースモデルと比較してサッカー特有のタスクが大幅に改善されている。
• 参考スコア（独自算出の注目度）: 2.665101029255188
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Vision Language Models (VLMs) have demonstrated strong performance in multi-modal tasks by effectively aligning visual and textual representations. However, most video understanding VLM research has been domain-agnostic, leaving the understanding of their transfer learning capability to specialized domains under-explored. In this work, we address this by exploring the adaptability of open-source VLMs to specific domains, and focusing on soccer as an initial case study. Our approach uses large-scale soccer datasets and LLM to create instruction-following data, and use them to iteratively fine-tune the general-domain VLM in a curriculum learning fashion (first teaching the model key soccer concepts to then question answering tasks). The final adapted model, trained using a curated dataset of 20k video clips, exhibits significant improvement in soccer-specific tasks compared to the base model, with a 37.5% relative improvement for the visual question-answering task and an accuracy improvement from 11.8% to 63.5% for the downstream soccer action classification task.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、視覚的およびテキスト的表現を効果的に整合させることにより、マルチモーダルタスクにおいて強力な性能を示す。 しかしながら、ビデオ理解VLM研究の大部分はドメインに依存しておらず、その移行学習能力の理解は未調査の専門領域に委ねられている。 本研究では,オープンソースVLMの特定の領域への適応性を探求し,最初の事例研究としてサッカーに焦点を当てることにより,この問題に対処する。 提案手法では,大規模サッカーデータセットとLLMを用いて命令追従データを作成し,一般領域のVLMをカリキュラム学習方式で反復的に微調整する(まず,モデルのキーとなるサッカー概念を指導し,回答タスクに疑問を投げかける)。 20kビデオクリップのキュレートされたデータセットを用いてトレーニングされた最終適応モデルは、ベースモデルと比較してサッカー固有のタスクが大幅に改善され、視覚的質問応答タスクが37.5%、ダウンストリームサッカーアクション分類タスクが11.8%から63.5%に改善された。

関連論文リスト

• Vision-Language Modeling Meets Remote Sensing: Models, Datasets and Perspectives [36.297745473653166]
  視覚言語モデリング(VLM)は、画像と自然言語の間の情報ギャップを埋めることを目的としている。 大規模な画像テキストペアを事前学習し、タスク固有のデータを微調整するという新しいパラダイムの下で、リモートセンシング領域のVLMは大きな進歩を遂げた。
  論文  参考訳（メタデータ） (2025-05-20T13:47:40Z)
• MAmmoTH-VL: Eliciting Multimodal Reasoning with Instruction Tuning at Scale [66.73529246309033]
  MLLM(Multimodal large language model)は、多モーダルタスクにおいて大きな可能性を秘めている。 既存の命令チューニングデータセットは、中間的合理性のないフレーズレベルの答えのみを提供する。 そこで本研究では,大規模マルチモーダル・インストラクション・チューニング・データセットを構築するためのスケーラブルで費用対効果の高い手法を提案する。
  論文  参考訳（メタデータ） (2024-12-06T18:14:24Z)
• EZ-HOI: VLM Adaptation via Guided Prompt Learning for Zero-Shot HOI Detection [21.091101582856183]
  本稿では,効率的なゼロショットHOI検出(EZ-HOI)のための新しい学習フレームワークを提案する。 まず、学習可能なプロンプトに対してLarge Language Model(LLM)とVLMガイダンスを導入し、詳細なHOI記述と視覚的セマンティクスを統合して、VLMをHOIタスクに適用する。 我々は,既存の手法と比較して,トレーニング可能なパラメータの10.35%から33.95%しか持たない,さまざまなゼロショット設定における最先端性能を実現していることを示す。
  論文  参考訳（メタデータ） (2024-10-31T13:06:29Z)
• Rethinking VLMs and LLMs for Image Classification [6.550471260627169]
  大きな言語モデル(LLM)は、新しい機能を実現するために、Visual Language Models(VLM)と統合されつつある。 オブジェクト認識やシーン認識では,LLMを使わないVLMの方が,VLMよりも優れた性能が得られることを示す。 本稿では,視覚的タスクをタスクに適したモデルに効率的にルーティングする,比較的小さなLCMを含む軽量な修正法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T23:40:21Z)
• NVLM: Open Frontier-Class Multimodal LLMs [64.00053046838225]
  NVLM 1.0は、フロンティアクラスのマルチモーダル言語モデル(LLM)のファミリーであり、視覚言語タスクの最先端結果を実現する。 トレーニング効率とマルチモーダル推論能力を両立させる新しいアーキテクチャを提案する。 我々は、NVLM-1.0モデルのための生産級マルチモーダリティを開発し、視覚言語タスクに優れる。
  論文  参考訳（メタデータ） (2024-09-17T17:59:06Z)
• VeCAF: Vision-language Collaborative Active Finetuning with Training Objective Awareness [56.87603097348203]
  VeCAFはラベルと自然言語アノテーションを使用して、PVMの微調整のためのパラメトリックデータ選択を行う。 VeCAFは微調整の目的を取り入れて重要なデータポイントを選択し、PVMをより高速な収束に向けて効果的に導く。 ImageNetでは、VeCAFは最大3.3倍のトレーニングバッチを使用して、完全な微調整に比べて目標のパフォーマンスに到達する。
  論文  参考訳（メタデータ） (2024-01-15T17:28:37Z)
• VILA: On Pre-training for Visual Language Models [74.08039416548209]
  ステップ・バイ・ステップ制御可能な比較によるVLM事前学習の設計オプションについて検討した。 私たちは、最先端のモデルよりも一貫して優れたVisual LanguageモデルファミリであるVILAを構築します。
  論文  参考訳（メタデータ） (2023-12-12T18:58:18Z)
• LAMM: Language-Assisted Multi-Modal Instruction-Tuning Dataset, Framework, and Benchmark [81.42376626294812]
  本稿では,Language-Assisted Multi-Modalインストラクションチューニングデータセット,フレームワーク,ベンチマークを提案する。 我々の目標は、MLLMのトレーニングと評価のための成長するエコシステムとしてLAMMを確立することです。 本稿では,2次元および3次元視覚のための広範囲な視覚タスクをカバーする包括的データセットとベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-06-11T14:01:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。