論文の概要: Video-Language Entailment for Video Similarity Estimation

• arxiv url: http://arxiv.org/abs/2610.24786v1
• Date: Sat, 17 Oct 2026 17:24:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-22 16:18:40.810013
• Title: Video-Language Entailment for Video Similarity Estimation
• Title（参考訳）: 映像類似度推定のためのビデオ言語エンターメント
• Abstract要約: ビデオ類似度推定(VICE)のためのビデオ・キャプション・エンターメントを導入する。 VICEは1つのビデオともう1つのキャプションを処理し、ビデオ言語によって特定の概念のアライメントを測定する。 ConViS-BenchとStepDiffの実験によると、VICEは両方のビデオを同時に処理するモデルよりも優れている。
• 参考スコア（独自算出の注目度）: 20.731489057175537
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Comparing videos to assess their semantic similarity remains a challenging task for current Large Multimodal Models (LMMs), which are primarily trained with single-video objectives. While most prior works have focused on computing global similarity, recent studies have introduced the more challenging problem of concept-based similarity, which measures how similar two videos are with respect to specific concepts (e.g., activity, location). However, no dedicated approaches have yet leveraged LMMs to explicitly address this task. In this paper, we aim to fill this gap introducing Video Caption Entailment for video similarity estimation (VICE): a dual-branch design that leverages LMMs for cross-video reasoning. Each branch jointly processes one video and the caption of the other, measuring their alignment for a specific concept via video-language entailment. The outputs from both branches are fused to produce a final similarity score, along with a textual explanation of the model reasoning. This approach leverages the model's native single-video understanding while enabling fine-grained comparative reasoning between video and text. Experiments on ConViS-Bench and StepDiff show that VICE outperforms models that process both videos simultaneously, highlighting the promise of single-video reasoning for concept-based similarity estimation.
• Abstract（参考訳）: 彼らのセマンティックな類似性を評価するためにビデオを比較することは、主に単一ビデオの目的を訓練した現在のLMM(Large Multimodal Models)にとって、依然として難しい課題である。 これまでのほとんどの研究は、グローバルな類似性の計算に重点を置いてきたが、近年の研究は、2つのビデオが特定の概念(例えば、活動、位置)に関してどのように類似しているかを測定する、概念ベースの類似性のより困難な問題を提起している。 しかし、このタスクに明示的に対処するためにLMMを利用する専用のアプローチはまだない。 本稿では,ビデオ類似度推定のためのビデオキャプション・エンターメント(VICE: Video Caption Entailment)を導入するギャップを埋めることを目的としている。 それぞれのブランチは1つのビデオともう1つのキャプションを共同で処理し、ビデオ言語によって特定の概念のアライメントを測定する。 両方のブランチからの出力を融合して最終的な類似度スコアを生成し、モデル推論のテキストによる説明を行う。 このアプローチは、ビデオとテキスト間の詳細な比較推論を可能にしながら、モデルのネイティブなシングルビデオ理解を活用する。 ConViS-BenchとStepDiffの実験では、VICEは両方の動画を同時に処理するモデルよりも優れており、コンセプトベースの類似度推定のためのシングルビデオ推論の可能性を強調している。

関連論文リスト

• ConViS-Bench: Estimating Video Similarity Through Semantic Concepts [57.40476559895395]
  概念に基づくビデオ類似度推定(ConViS)を導入する。 ConViSは、事前に定義されたキーセマンティック概念のセット間で解釈可能な類似度スコアを計算することで、ビデオのペアを比較する。 また、複数のドメインにまたがるビデオペアを慎重に注釈付けした新しいベンチマークであるConViS-Benchについても紹介する。
  論文  参考訳（メタデータ） (2025-09-23T17:06:11Z)
• The 1st Solution for 4th PVUW MeViS Challenge: Unleashing the Potential of Large Multimodal Models for Referring Video Segmentation [31.44879457190659]
  本稿では,ビデオセグメンテーションにおけるLMMの可能性を完全に解き放つための,シンプルで効果的な推論最適化手法を提案する。 我々のソリューションはMeViSテストセットで61.98%のJ&Fを達成し、CVPR 2025で第4回PVUWチャレンジMeViSトラックで1位となった。
  論文  参考訳（メタデータ） (2025-04-07T15:24:54Z)
• TC-MGC: Text-Conditioned Multi-Grained Contrastive Learning for Text-Video Retrieval [1.8434042562191815]
  本稿では,TC-MGC と呼ばれるテキスト記述型マルチグラインドコントラストフレームワークを提案する。 本モデルでは,単語の重み付けとテキストの重み付けに係わる集約されたフレームとビデオ表現を生成するために,言語ビデオのアテンションブロックを用いる。 実証的に、TC-MGCは複数のテキストビデオ検索ベンチマークで競合する結果を得る。
  論文  参考訳（メタデータ） (2025-04-07T03:33:14Z)
• Needle In A Video Haystack: A Scalable Synthetic Evaluator for Video MLLMs [20.168429351519055]
  ビデオ理解はマルチモーダル大言語モデル(LMLM)にとって重要な次のステップである 合成ビデオ生成によるベンチマーク構築フレームワークであるVideoNIAH(Video Needle In A Haystack)を提案する。 我々は、プロプライエタリモデルとオープンソースモデルの両方を包括的に評価し、ビデオ理解能力の重大な違いを明らかにする。
  論文  参考訳（メタデータ） (2024-06-13T17:50:05Z)
• InternVideo2: Scaling Foundation Models for Multimodal Video Understanding [51.129913789991924]
  InternVideo2は、ビデオファウンデーションモデル(FM)の新たなファミリーで、ビデオ認識、ビデオ音声タスク、ビデオ中心タスクの最先端の結果を達成する。 私たちのコアデザインは、マスク付きビデオモデリング、クロスコントラスト学習、予測トークンを統合し、最大6Bビデオサイズまでスケールアップするプログレッシブトレーニングアプローチです。
  論文  参考訳（メタデータ） (2024-03-22T17:57:42Z)
• Video Joint Modelling Based on Hierarchical Transformer for Co-summarization [0.0]
  ビデオ要約は、ビデオの要約(ストーリーボードまたはビデオスキム)を自動的に生成することを目的としており、大規模なビデオ検索とブラウジングを容易にする。 既存の手法の多くは、類似したビデオ間の相関を無視する個々のビデオに対して、動画要約を行う。 階層変換器(VJMHT)を併用したビデオジョイントモデリングを提案する。
  論文  参考訳（メタデータ） (2021-12-27T01:54:35Z)
• Video Corpus Moment Retrieval with Contrastive Learning [56.249924768243375]
  ビデオコーパスモーメント検索(VCMR)は、与えられたテキストクエリに意味的に対応する時間モーメントを取得することです。 VCMRのためのコントラシブラーニング(ReLoCLNet)を用いた検索・ローカリゼーションネットワークを提案する。 実験の結果、ReLoCLNetは効率のためにテキストとビデオを個別にエンコードし、その検索精度はクロスモーダル相互作用学習を採用するベースラインと匹敵する。
  論文  参考訳（メタデータ） (2021-05-13T12:54:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。