論文の概要: VTrajEmbed: Aligning Text with Video Object Trajectories via Spatiotemporal Embeddings

• arxiv url: http://arxiv.org/abs/2610.22842v1
• Date: Fri, 16 Oct 2026 02:34:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.734265
• Title: VTrajEmbed: Aligning Text with Video Object Trajectories via Spatiotemporal Embeddings
• Title（参考訳）: VTrajEmbed:時空間埋め込みによるビデオオブジェクトトラジェクトリによるテキストの調整
• Abstract要約: 本稿では,VTrajEmbedという埋め込みモデルを提案する。 実験の結果, VTrajEmbed-5BはQwen3-VL-Embedding-8Bに対して, トラジェクトリとトラジェクトリのR@1をそれぞれ15.48ポイント, 18.05ポイント改善した。
• 参考スコア（独自算出の注目度）: 22.127380148052524
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-grained alignment between text and video object trajectories is a core challenge in multimodal understanding. Existing embedding models excel at global retrieval, yet their single global representation entangles multiple objects and their spatiotemporal dynamics, limiting direct object-level grounding. To address this issue, we propose VTrajEmbed, an embedding model that decomposes a video into object trajectories and aligns each trajectory embedding with text for object-level grounding through retrieval. Our main contributions: (1)Slow-Fast Trajectory Encoding, a dual-branch architecture that establishes trajectory representations by densely sampling low-resolution frames for high-frequency motion cues and sparsely selecting high-resolution frames for scene context, aggregated by a shared LLM backbone; (2)Mask-Guided Contrastive Learning, a training objective built upon these representations that couples an intra-group loss and a batch-level bidirectional loss under a relation mask, excluding unverified relations and preventing confirmed matches from becoming false negatives; (3)Text2Traj-Bench, a trajectory-level text-video benchmark with model-assisted construction and human-verified query--trajectory relations. Experimental results show that VTrajEmbed-5B improves text-to-trajectory and trajectory-to-text R@1 over Qwen3-VL-Embedding-8B by 15.48 and 18.05 percentage points, respectively, and achieves 49.48% average R@1 across five global retrieval benchmarks, compared with 42.86% for Qwen3-VL-Embedding-8B.
• Abstract（参考訳）: テキストとビデオオブジェクトの軌跡の微調整は、マルチモーダル理解における中核的な課題である。 既存の埋め込みモデルはグローバル検索において優れているが、一つのグローバル表現は複数のオブジェクトと時空間ダイナミクスを絡み合わせ、直接対象レベルの接地を制限する。 この問題に対処するために,VTrajEmbedを提案する。VTrajEmbedは,動画をオブジェクトトラジェクトリに分解し,各トラジェクトリをテキストにアライメントし,オブジェクトレベルのグラウンドディングを行う。 主な貢献は,(1)低分解能フレームを高頻度でサンプリングして低分解能フレームを高精細に選択することで軌道表現を確立するデュアルブランチアーキテクチャであるSlow-Fast Trajectory Encoding,(2)Mask-Guided Contrastive Learning,(2)グループ内損失とバッチレベルの双方向損失を関連マスクの下で結合し,不確定な関係を排除し,偽陰性化を防止し,(3)Text2Traj-Bench,モデルによる構築と人為的なクエリ-軌道関係を持つトラジェクティブレベルのテキストベンチマークである。 実験の結果, VTrajEmbed-5BはQwen3-VL-Embedding-8Bに対して, Qwen3-VL-Embedding-8Bを15.48ポイント, 18.05ポイント改善し, Qwen3-VL-Embedding-8Bに対して平均R@1を49.48%, Qwen3-VL-Embedding-8Bでは42.86%向上した。

関連論文リスト

• UniCVR: From Alignment to Reranking for Unified Zero-Shot Composed Visual Retrieval [87.12447641908143]
  組込みゼロショット合成ビジュアル検索フレームワークUniCVRを提案する。 UniCVRは、タスク固有の人間アノテーションのない3つのタスクすべてに共同で対処する。 ステージIでは,約3.5Mサンプルのキュレートされたデータセットに対して,コントラスト学習によりMLLMを合成クエリ埋め込み器として訓練する。 ステージIIでは,少数の上位候補に対して適応的予算付サブセットスコアを付与するMLLM誘導二重レベル再ランク機構を導入する。
  論文  参考訳（メタデータ） (2026-04-22T08:16:50Z)
• COVTrack++: Learning Open-Vocabulary Multi-Object Tracking from Continuous Videos via a Synergistic Paradigm [59.26203051651017]
  C-TAOはOpen-Vocabulary Multi-Object Tracking (OVMOT)のための最初の連続アノテーション付きトレーニングセットである フレームワークボトルネックに対するCOVTrack++は,3つのモジュールによる検出とアソシエーションの双方向相互機構を実現するための相乗的フレームワークである。 TAOの実験では、新しいTAAは検証とテストセットで35.4%、30.5%に達し、新しいAssocAは4.8%、新しいLocAは5.8%向上した。
  論文  参考訳（メタデータ） (2026-03-25T07:20:27Z)
• STVG-R1: Incentivizing Instance-Level Reasoning and Grounding in Videos via Reinforcement Learning [65.36458157092207]
  視覚言語モデル(VLM)では、テキスト記述と視覚座標のミスアライメントはしばしば幻覚を引き起こす。 本稿では,座標の調整が難しい問題を回避するために,新しい視覚的プロンプトパラダイムを提案する。 本稿では,STVGの最初の強化学習フレームワークであるSTVG-R1を紹介する。
  論文  参考訳（メタデータ） (2026-02-12T08:53:32Z)
• OmniGround: A Comprehensive Spatio-Temporal Grounding Benchmark for Real-World Complex Scenarios [39.58602686069029]
  OmniGroundは、81のカテゴリにまたがる3,475の動画と複雑な現実世界のクエリを備えた総合的なベンチマークである。 また、4つの相補的な次元にわたるデータセット品質を定量化するシステム評価フレームワークであるDeepSTGについても紹介する。 実験では、PG-TAFはm_tIoUとm_vIoUを25.6%、35.6%改善し、4つのベンチマークで一貫した利得を得た。
  論文  参考訳（メタデータ） (2025-11-21T04:23:04Z)
• RT-VLM: Re-Thinking Vision Language Model with 4-Clues for Real-World Object Recognition Robustness [2.9979091009694088]
  現実世界のデプロイメントは、しばしば、最新のオブジェクト認識モデルをドメインシフトに公開し、精度を著しく低下させる。 この劣化を軽減するため、我々はRT-VLM(Re-Thinking Vision Language Model)フレームワークを導入する。
  論文  参考訳（メタデータ） (2025-09-01T02:13:00Z)
• Rethinking Cross-modal Interaction from a Top-down Perspective for Referring Video Object Segmentation [140.4291169276062]
  ビデオオブジェクトセグメンテーション(RVOS)は、ビデオオブジェクトを自然言語参照のガイダンスでセグメント化することを目的としている。 以前の手法では、画像格子上の言語参照を直接グラウンド化することで、RVOSに対処するのが一般的であった。 そこで本研究では,複数のサンプルフレームから検出されたオブジェクトマスクをビデオ全体へ伝播させることにより,オブジェクトトラッカーの徹底的なセットを構築した。 次に,Transformerベースのトラックレット言語基底モジュールを提案し,インスタンスレベルの視覚的関係とモーダル間相互作用を同時に,効率的にモデル化する。
  論文  参考訳（メタデータ） (2021-06-02T10:26:13Z)
• Benchmarking Unsupervised Object Representations for Video Sequences [111.81492107649889]
  ViMON, OP3, TBA, SCALORの4つのオブジェクト中心アプローチの知覚能力を比較した。 この結果から,制約のない潜在表現を持つアーキテクチャは,オブジェクト検出やセグメンテーション,トラッキングといった観点から,より強力な表現を学習できる可能性が示唆された。 我々のベンチマークは、より堅牢なオブジェクト中心のビデオ表現を学習するための実りあるガイダンスを提供するかもしれない。
  論文  参考訳（メタデータ） (2020-06-12T09:37:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。