論文の概要: SALI: Shot-Aware Late Interaction for Cross-Shot Relation Matching in Text-to-Video Retrieval using Film-Grammar Knowledge

• arxiv url: http://arxiv.org/abs/2609.29721v1
• Date: Thu, 24 Sep 2026 12:39:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.93048
• Title: SALI: Shot-Aware Late Interaction for Cross-Shot Relation Matching in Text-to-Video Retrieval using Film-Grammar Knowledge
• Title（参考訳）: SALI:フィルム・グラマー知識を用いたテキスト・ビデオ検索におけるショット・アウェア・レイトインタラクション
• Abstract要約: SALI(Shot-Aware Late Interaction)は、単一文クエリから対象と対象を抽出する。 クエリ、主題、オブジェクトテキストの埋め込みと、ビデオクリップのそれぞれのビジュアルショットの埋め込みとを一致させる。 CLIP4Clip-meanP上に構築されたSALIは、Condensed MoviesとActivityNetを同等にリコールする。
• 参考スコア（独自算出の注目度）: 22.266669661515134
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-to-video retrieval usually represents a video clip by a single embedding. This embedding often loses important relations between people. E.g., an interaction "Anna confronts Mark" is regularly filmed as alternating shot and reverse shot of both (Fig. 1a). No single shot or averaged embedding over clip shots captures this relation. Thus, we propose SALI (Shot-Aware Late Interaction). It extracts the subject and object from a single-sentence query, and matches the query, its subject and object text embeddings against each visual shot embedding of a video clip. The matching operator is greedy max or optimal transport. A film-grammar penalty in fine-tuning adds a small, consistent shift. Built on CLIP4Clip-meanP, SALI keeps overall recall on par on Condensed Movies and ActivityNet while raising R@1 on multi-shot relation queries by 3 and 12 points, the most among all compared methods, and improves such queries on MSR-VTT at a cost of 1.4 R@1 overall.
• Abstract（参考訳）: テキスト・ツー・ビデオ検索は通常、ビデオクリップを単一の埋め込みで表現する。 この埋め込みはしばしば人間の重要な関係を失う。 例えば、「Anna confronts Mark」という対話は、両者の交互ショットと逆ショットとして定期的に撮影される(図1a)。 単一のショットや平均的な埋め込みは、この関係を捉えていない。 そこで我々は,SALI(Shot-Aware Late Interaction)を提案する。 単文クエリから被写体とオブジェクトを抽出し、クエリ、被写体、オブジェクトテキストの埋め込みとビデオクリップの各ビジュアルショット埋め込みとをマッチングする。 整合作用素は、グレディマックスまたは最適輸送である。 微調整におけるフィルム・グラマーのペナルティは、小さく、一貫した変化をもたらす。 CLIP4Clip-meanP上に構築されたSALIは、Condensed MoviesとActivityNetの全体的なリコールを維持しながら、マルチショット関係クエリのR@1を3と12ポイント引き上げている。

関連論文リスト

• Autoregressive Modeling of Film with Applications in Video Montage [55.93893329580228]
  FilmGPTは、生の「見ることができない」映像をコヒーレントな映画シーケンスに変換するために設計された自動回帰トランスフォーマーである。 現代LLMの言語学習にインスパイアされた我々は、大規模な映画コーパスに長文の自己回帰変換器を訓練する。 本研究では,ユーザによる全フィルム編集作業において,映像制約付き復号アルゴリズムの評価を行い,FilmGPTをベースとした編集が従来の手法よりも大幅に優れていたことを見出した。
  論文  参考訳（メタデータ） (2026-07-16T07:13:54Z)
• Cut2Next: Generating Next Shot via In-Context Tuning [93.14744132897428]
  マルチショット生成には、目的があり、映画のような遷移と厳密な撮影連続性が必要である。 現在の手法はしばしば基本的な視覚的一貫性を優先し、重要な編集パターンを無視している。 我々は、プロの編集パターンを批判的に合成する、その後の高品質なショットであるNext Shot Generation (NSG)を紹介する。
  論文  参考訳（メタデータ） (2025-08-11T17:56:59Z)
• Modality-Aware Shot Relating and Comparing for Video Scene Detection [9.084135084211415]
  ビデオシーン検出は、それぞれのショットとその周辺が同じシーンに属しているかどうかを評価することを含む。 ほとんどの方法はマルチモーダルセマンティクスを等しく扱い、ショットの2つの側面間の文脈的差異を検査しない。 我々は$bfM$odality-$bfA$ware $bfS$hot $bfR$elating and $bfC$omparing approach (MASRC)を提案する。
  論文  参考訳（メタデータ） (2024-12-23T03:17:21Z)
• Correlation-Guided Query-Dependency Calibration for Video Temporal Grounding [22.59291334338824]
  相関ガイドによる検出TRansformerは、クエリ関連ビデオクリップのヒントを提供する。 CG-DETRは時間的接地のための様々なベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-11-15T10:22:35Z)
• PRVR: Partially Relevant Video Retrieval [55.41367664146273]
  現在のテキスト・ツー・ビデオ検索(T2VR)では、ビデオとアドホックなテキストクエリの対応が自然に存在するように、検索対象の動画を適切にトリミングしている。 本稿では,PRVR(Partially Relevant Video Retrieval)と呼ぶこの設定に関する最初の研究について述べる。 PRVRタスクを複数インスタンス学習問題として定式化し、クリップスケールとフレームスケールの両方の類似性を共同で学習するマルチスケール類似学習(MS-SL++)ネットワークを提案する。
  論文  参考訳（メタデータ） (2022-08-26T09:07:16Z)
• CLIP-It! Language-Guided Video Summarization [96.69415453447166]
  この作業では、ジェネリックとクエリにフォーカスしたビデオ要約に対処する単一のフレームワークであるCLIP-Itを導入する。 本稿では,言語誘導型マルチモーダルトランスフォーマーを提案する。 本モデルは, 地道的な監督を伴わずに, 訓練により教師なしの設定に拡張することができる。
  論文  参考訳（メタデータ） (2021-07-01T17:59:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。