論文の概要: CurvSpec: Adaptive Multi-Curvature Learning for Partial Relevant Video Retrieval
- arxiv url: http://arxiv.org/abs/2609.36815v1
- Date: Tue, 29 Sep 2026 06:28:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.23848
- Title: CurvSpec: Adaptive Multi-Curvature Learning for Partial Relevant Video Retrieval
- Title(参考訳): CurvSpec:部分関連ビデオ検索のための適応型多言語学習
- Abstract要約: ビデオ検索表現のためのコンテンツ適応曲率学習フレームワークであるCurvSpecを提案する。
CurvSpecは、ビデオのコンテントの複雑さによって決定されるセマンティックセントロイドで、各ビデオを表す。
ActivityNet Captions、TVR、Charades-STAの実験は最先端の検索性能を示す。
- 参考スコア(独自算出の注目度): 16.841076159639613
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Partially Relevant Video Retrieval (PRVR) seeks to retrieve untrim-med videos containing a moment that matches a text query, without temporal annotations. The relevant moment may last only seconds within a video spanning several minutes, creating an extremely low signal-to-noise ratio that makes PRVR more challenging than standard full-video retrieval. This task presents two intertwined challenges: (1) signal dilution, where coarse global representations blur the brief relevant signal into the dominant irrelevant surroundings;(2) curvature rigidity, where embedding all videos in the same fixed-geometry space distorts representations for videos that range from flat atomic events to deep compositional hierarchies. Existing PRVR methods have improved moment selection and cross-modal matching, but they still typically encode all videos in a single fixed-curvature retrieval space, limiting their ability to model diverse video structures. To address both challenges, we propose CurvSpec, a framework that learns content-adaptive curvature for video retrieval representations rather than imposing a fixed geometric prior. CurvSpec processes features through parallel Euclidean and hyperbolic attention layers, with independently learned curvatures assigned to the hyperbolic layers, and a content-aware fusion mechanism routes each input to its most suitable geometric regime. To further suppress signal dilution, CurvSpec represents each video with semantic centroids whose number is determined by the video's content complexity, projects them onto the learned manifold, and matches each query against its nearest centroid by geodesic distance. Experiments on ActivityNet Captions, TVR, and Charades-STA demonstrate state-of-the-art retrieval performance.
- Abstract(参考訳): 部分関連ビデオ検索(PRVR)は、時間的アノテーションなしで、テキストクエリにマッチする瞬間を含むアンリム化されたビデオの検索を試みる。
関連した瞬間は、数分にまたがるビデオの中でほんの数秒しか持たないため、PRVRが通常のフルビデオ検索よりも困難になるような、非常に低い信号対雑音比を生み出す。
この課題は,(1)大まかなグローバル表現が支配的無関係な環境に短い関連信号をぼかすような信号の希釈,(2)全ての動画を同じ固定幾何学空間に埋め込んだ曲率剛性は,フラットな原子イベントから深い構成階層に至るまでの映像の表現を歪ませる,という2つの課題を示す。
既存のPRVR法はモーメント選択とクロスモーダルマッチングを改善しているが、通常、すべての動画を1つの固定曲率検索空間にエンコードし、多様なビデオ構造をモデル化する能力を制限する。
両課題に対処するために,固定幾何先行を付与するのではなく,ビデオ検索表現のコンテンツ適応曲率を学習するフレームワークであるCurvSpecを提案する。
CurvSpecプロセスは、並列なユークリッド層と双曲型アテンション層を介し、独立に学習された曲率を双曲型層に割り当てる。
信号の希釈をさらに抑制するために、CurvSpecは、ビデオのコンテントの複雑さによって決定されるセマンティックセントロイドを各ビデオで表現し、学習された多様体に投影し、各クエリをその最寄りセントロイドと測地線距離で一致させる。
ActivityNet Captions、TVR、Charades-STAの実験は最先端の検索性能を示す。
関連論文リスト
- CLARA: Clip-Level Multimodal Alignment with VLM-Derived Rationales for Hateful Video Detection [15.553401928926457]
本稿では,ヘイトフルビデオ検出のためのクリップレベルのマルチモーダルフレームワークであるCLARAを提案する。
ビデオを単一のインスタンスとして扱う代わりに、CLARAはそれを細かなクリップのシーケンスとしてモデル化する。
3つのヘイトフルなビデオデータセットの実験では、CLARAは最先端の手法を一貫して上回っている。
論文 参考訳(メタデータ) (2026-08-16T19:44:49Z) - V-CAST: Video Curvature-Aware Spatio-Temporal Pruning for Efficient Video Large Language Models [48.80617385008755]
ビデオ言語モデル(VideoLLMs)は理解に強い能力を示すが、長いコンテキスト推論はプリフィル段階では巨大な冗長な視覚トークンに支配されている。
長文ビデオ推論のための訓練不要なプラグアンドプレイプルーニングポリシーであるV-CASTを提案する。
論文 参考訳(メタデータ) (2026-03-29T11:53:32Z) - CtrlVDiff: Controllable Video Generation via Unified Multimodal Video Diffusion [62.04833878126661]
統合拡散フレームワークにおける映像理解と制御可能な映像生成という2つの課題に対処する。
CtrlVDiffは、Hybrid Modality Control Strategy(HMCS)で訓練された統合拡散モデルであり、深度、正規度、セグメンテーション、エッジ、グラフィックベースの内在性(アルベド、粗さ、金属)から特徴を導出し、融合する。
理解と生成のベンチマーク全体にわたって、CtrlVDiffは優れた制御性と忠実さを提供し、レイヤワイズな編集(リライティング、材料調整、オブジェクト挿入)と最先端のベースラインを越えながら、いくつかのモダリティが利用できない場合の堅牢性を維持している。
論文 参考訳(メタデータ) (2025-11-26T07:27:11Z) - Sync from the Sea: Retrieving Alignable Videos from Large-Scale Datasets [62.280729345770936]
AVR(Alignable Video Retrieval)の課題について紹介する。
クェリビデオが与えられた場合、我々は大量のクリップから良質な映像を識別し、時間的にクェリに同期させることができる。
大規模なKineetics700を含む3つのデータセットに関する実験は、我々のアプローチの有効性を実証している。
論文 参考訳(メタデータ) (2024-09-02T20:00:49Z) - Towards Video Anomaly Retrieval from Video Anomaly Detection: New
Benchmarks and Model [70.97446870672069]
ビデオ異常検出(VAD)はその潜在的な応用により注目されている。
Video Anomaly Retrieval (VAR)は、関連のある動画をモダリティによって実用的に検索することを目的としている。
一般的な異常データセットの上に構築されたUCFCrime-ARとXD-Violenceの2つのベンチマークを示す。
論文 参考訳(メタデータ) (2023-07-24T06:22:37Z) - TAPIR: Tracking Any Point with per-frame Initialization and temporal
Refinement [64.11385310305612]
本稿では,ビデオシーケンスを通して任意の物理面上の問合せ点を効果的に追跡する,TAP(Tracking Any Point)の新しいモデルを提案する。
提案手法では,(1)他のフレームの問合せ点に対する適切な候補点マッチングを独立に特定するマッチング段階と,(2)局所的相関に基づいてトラジェクトリと問合せの両方を更新する改良段階の2段階を用いる。
結果として得られたモデルは、DAVISにおける平均約20%の絶対平均ジャカード(AJ)改善によって示されるように、TAP-Vidベンチマークにおける大きなマージンで、すべてのベースライン手法を上回ります。
論文 参考訳(メタデータ) (2023-06-14T17:07:51Z) - Group Contextualization for Video Recognition [80.3842253625557]
グループ文脈化(GC)は、2D-CNN(TSN)とTSMの性能を高める。
GCは4つの異なるコンテキストを並列に埋め込む。
グループコンテキスト化は、2D-CNN(例えばTSN)のパフォーマンスを最先端のビデオネットワークに匹敵するレベルまで向上させる。
論文 参考訳(メタデータ) (2022-03-18T01:49:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。