論文の概要: Video-Text Temporal Localization via Multi-Scale Convolution and Dynamic Routing

• arxiv url: http://arxiv.org/abs/2607.05093v2
• Date: Tue, 07 Jul 2026 12:28:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-08 14:37:43.332003
• Title: Video-Text Temporal Localization via Multi-Scale Convolution and Dynamic Routing
• Title（参考訳）: マルチスケール畳み込みと動的ルーティングによるビデオテキストの時間的位置決め
• Abstract要約: ビデオテキストの時間的ローカライゼーションには、自然言語クエリと対応するビデオセグメントの正確なアライメントが必要である。 本稿では,既存手法の2つの限界に対処する新しい枠組みを提案する。 その結果,階層型時間モデルと構造化セマンティック・ルーティングを組み合わせることで,ビデオ言語理解に有効な解が得られた。
• 参考スコア（独自算出の注目度）: 7.704586969939547
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video-text temporal localization requires precise alignment between natural language queries and corresponding video segments, a fundamental challenge in multimodal understanding. We present a novel framework that addresses two critical limitations of existing methods: inadequate modeling of hierarchical temporal structure and inability to handle complex many-to-many correspondences between modalities. Our approach introduces a multi-scale temporal convolutional encoder that captures motion patterns across different temporal granularities - from instantaneous frame transitions to extended action sequences. We further propose a capsule-based dynamic routing mechanism that iteratively refines segment-query associations through structured agreement updates, enabling flexible modeling of non-monotonic alignments. These components are unified through a multi-task learning objective that jointly optimizes temporal boundary regression, cross-modal semantic alignment, and capsule diversity. Extensive experiments on ActivityNet Captions demonstrate significant improvements, achieving 42.9% Recall@0.5 and 41.1% mean IoU, surpassing strong transformer-based baselines while maintaining computational efficiency. Our results validate that combining hierarchical temporal modeling with structured semantic routing provides an effective solution for fine-grained video-language understanding.
• Abstract（参考訳）: ビデオテキストの時間的ローカライゼーションには、自然言語クエリと対応するビデオセグメントの正確なアライメントが必要であり、これはマルチモーダル理解における根本的な課題である。 本稿では,既存の手法の2つの重要な限界,すなわち階層的時間構造の不適切なモデリングと,モーダル間の複雑な多対多対応を扱うことができないフレームワークを提案する。 提案手法では,瞬間的なフレーム遷移から拡張されたアクションシーケンスに至るまで,異なる時間的粒度の運動パターンをキャプチャするマルチスケールの時間的畳み込みエンコーダを導入する。 さらに,非単調アライメントのフレキシブルなモデリングを可能にするために,構造化された合意更新を通じてセグメントクエリ関連を反復的に洗練するカプセルベースの動的ルーティング機構を提案する。 これらのコンポーネントは、時間的境界回帰、クロスモーダルなセマンティックアライメント、カプセルの多様性を共同で最適化するマルチタスク学習の目的によって統合される。 ActivityNet Captionsの大規模な実験は、42.9%のRecall@0.5と41.1%のIoUを達成し、計算効率を維持しながら強力なトランスフォーマーベースのベースラインを超えた。 その結果,階層型時間モデルと構造化セマンティック・ルーティングを組み合わせることで,ビデオ言語理解に有効な解が得られた。

関連論文リスト

• Turing Patterns for Multimedia: Reaction-Diffusion Multi-Modal Fusion for Language-Guided Video Moment Retrieval [59.55233913340214]
  ビデオ言語モデルは、時間的ビデオシーケンスとテキスト意味論の間の動的で非線形な相互作用を捉えるのに苦労することが多い。 反応拡散過程としてビデオ言語アライメントを再現する新しいフレームワークである textbfReaction-Diffusion Multimodal Fusion (RDMF) を提案する。 予備実験は、有能なビデオモーメントを識別する既存の手法より優れている可能性を実証している。
  論文  参考訳（メタデータ） (2026-06-01T03:02:35Z)
• Beyond Boundary Frames: Audio-Visual Semantic Guidance for Context-Aware Video Interpolation [14.00347197658315]
  BBFは、音声/視覚のセマンティクスによってガイドされるコンテキスト対応のビデオフレームフレームワークである。 BBFは、汎用的タスクとオーディオ視覚同期タスクの両方において、最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-12-03T09:22:13Z)
• Complementary and Contrastive Learning for Audio-Visual Segmentation [74.11434759171199]
  本稿では,ローカル情報とグローバル情報の両方を処理可能な新しいフレームワークであるComplementary and Contrastive Transformer(CCFormer)を提案する。 提案手法は,S4, MS3, AVSSデータセットにまたがる最先端のベンチマークを新たに設定する。
  論文  参考訳（メタデータ） (2025-10-11T06:36:59Z)
• MotionVerse: A Unified Multimodal Framework for Motion Comprehension, Generation and Editing [53.98607267063729]
  MotionVerseは、シングルパーソンとマルチパーソンの両方のシナリオで人間の動作を理解し、生成し、編集するフレームワークである。 我々は、連続的な動き列をマルチストリーム離散トークンに変換する残差量子化を伴う動きトークン化器を用いる。 また、残留トークンストリームの符号化を時間的に停滞させる textitDelay Parallel Modeling 戦略も導入する。
  論文  参考訳（メタデータ） (2025-09-28T04:20:56Z)
• DAMS:Dual-Branch Adaptive Multiscale Spatiotemporal Framework for Video Anomaly Detection [7.117824587276951]
  この研究は、マルチレベル特徴とデカップリング融合に基づくDual-Branch Adaptive Multiscale Stemporal Framework (DAMS)と呼ばれるデュアルパスアーキテクチャを提供する。 主処理経路は、適応型マルチスケール時間ピラミッドネットワーク(AMTPN)と畳み込みブロック注意機構(CBAM)を統合している。
  論文  参考訳（メタデータ） (2025-07-28T08:42:00Z)
• OptiCorNet: Optimizing Sequence-Based Context Correlation for Visual Place Recognition [2.3093110834423616]
  本稿では,新しいシーケンスモデリングフレームワークOptiCorNetを提案する。 空間的特徴抽出と時間的差分を微分可能でエンドツーエンドのトレーニング可能なモジュールに統一する。 本手法は,季節的・視点的な変化に挑戦し,最先端のベースラインよりも優れる。
  論文  参考訳（メタデータ） (2025-07-19T04:29:43Z)
• LoViC: Efficient Long Video Generation with Context Compression [68.22069741704158]
  百万単位のオープンドメインビデオに基づいてトレーニングされたDiTベースのフレームワークであるLoViCを紹介する。 当社のアプローチの核心はFlexFormerです。ビデオとテキストを統合された潜在表現に共同で圧縮する表現型オートエンコーダです。
  論文  参考訳（メタデータ） (2025-07-17T09:46:43Z)
• Vision Transformer Based Semantic Communications for Next Generation Wireless Networks [3.8095664680229935]
  本稿では視覚変換器(ViT)を用いた意味コミュニケーションフレームワークを提案する。 エンコーダ・デコーダ・フレームワークとしてViTを組み込むことで,提案アーキテクチャは画像から高いセマンティック・コンテントへ効率よくエンコードすることができる。 提案したViTネットワークに基づくアーキテクチャは,38dBのPak Signal-versato-noise Ratio(PSNR)を実現する。
  論文  参考訳（メタデータ） (2025-03-21T16:23:02Z)
• Take What You Need: Flexible Multi-Task Semantic Communications with Channel Adaptation [51.53221300103261]
  本稿では,マスク付きオートエンコーダアーキテクチャに基づく,チャネル適応型・マルチタスク対応のセマンティックコミュニケーションフレームワークについて紹介する。 チャネル認識抽出器を用いて、リアルタイムのチャネル条件に応じて、関連情報を動的に選択する。 画像再構成や物体検出などのタスクにおける従来の手法と比較して,本手法の優れた性能を示す実験結果が得られた。
  論文  参考訳（メタデータ） (2025-02-12T09:01:25Z)
• Adaptive Semantic Token Selection for AI-native Goal-oriented Communications [11.92172357956248]
  本稿では,AIネイティブな目標指向通信のための新しい設計を提案する。 我々は、帯域幅と計算量に対する動的推論制約の下でトランスフォーマーニューラルネットワークを利用する。 提案手法は,最先端のトークン選択機構よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-25T13:49:50Z)
• Agent-driven Generative Semantic Communication with Cross-Modality and Prediction [57.335922373309074]
  本稿では,強化学習に基づくエージェント駆動型ジェネリックセマンティックコミュニケーションフレームワークを提案する。 本研究では, エージェント支援型セマンティックエンコーダを開発し, 適応的セマンティック抽出とサンプリングを行う。 設計モデルの有効性をUA-DETRACデータセットを用いて検証し、全体的なA-GSCフレームワークの性能向上を実証した。
  論文  参考訳（メタデータ） (2024-04-10T13:24:27Z)
• Communication-Efficient Framework for Distributed Image Semantic Wireless Transmission [68.69108124451263]
  IoTデバイスを用いたマルチタスク分散画像伝送のためのFederated Learning-based semantic communication (FLSC)フレームワーク。 各リンクは階層型視覚変換器(HVT)ベースの抽出器とタスク適応トランスレータで構成される。 チャネル状態情報に基づく多重出力多重出力伝送モジュール。
  論文  参考訳（メタデータ） (2023-08-07T16:32:14Z)
• Deeply Interleaved Two-Stream Encoder for Referring Video Segmentation [87.49579477873196]
  まず,CNNに基づく視覚特徴とトランスフォーマーに基づく言語特徴を階層的に抽出する2ストリームエンコーダを設計する。 視覚言語相互誘導(VLMG)モジュールをエンコーダに複数回挿入し,多モード特徴の階層的および進行的融合を促進する。 フレーム間の時間的アライメントを促進するために,言語誘導型マルチスケール動的フィルタリング(LMDF)モジュールを提案する。
  論文  参考訳（メタデータ） (2022-03-30T01:06:13Z)
• Video Frame Interpolation Transformer [86.20646863821908]
  本稿では,トランスフォーマーをベースとした動画フレームワークを提案し,コンテンツ認識集約の重み付けと,自己注意操作による長距離依存を考慮した。 グローバルな自己注意の計算コストが高くなるのを避けるため、ビデオに局所的注意の概念を導入する。 さらに,トランスフォーマーの可能性を完全に実現するためのマルチスケール・フレーム・スキームを開発した。
  論文  参考訳（メタデータ） (2021-11-27T05:35:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。