論文の概要: TSMD: Temporal-Stream Modality Dropout for Robust Video Highlight Detection
- arxiv url: http://arxiv.org/abs/2609.39051v1
- Date: Wed, 30 Sep 2026 05:58:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.249938
- Title: TSMD: Temporal-Stream Modality Dropout for Robust Video Highlight Detection
- Title（参考訳）: TSMD:ロバストなビデオハイライト検出のための時間ストリームモードのドロップアウト
- Abstract要約: 時間的欠如とストリームレベルの欠如という2つの次元に沿って、ロバストネスの課題を定式化します。
本稿では,構造的欠損度シミュレーションと共同目標を組み合わせたTSMD(Temporal-Stream Modality Dropout)を提案する。
MoSuとHiSumのデータセットでは、TSMD-TemporalがmAP@15を7.06倍、TripleSummよりも3.41ポイント改善し、50%の独立した時間的除去が可能となった。
- 参考スコア（独自算出の注目度）: 9.206929009034821
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing multimodal video highlight detectors typically assume that visual, audio, and textual streams are continuously available. In practice, however, inputs may suffer from localized frame missingness or complete-stream outage. We formulate this robustness challenge along two dimensions: temporal missingness, where frames are missing independently in each modality, and stream-level missingness, where one modality is unavailable throughout a video. Moreover, we find that the mean squared error (MSE) loss is misaligned with both the evaluation metrics and the peak-driven nature of highlights. Therefore, we propose Temporal-Stream Modality Dropout (TSMD), which combines structured missingness simulation with a joint objective comprising pointwise MSE, per-video Pearson correlation, and peak-oriented RankNet loss terms. TSMD has three variants: temporal, stream-level, and mixed dropout. On the MoSu and Mr. HiSum datasets, TSMD-Temporal improves mAP@15 by 7.06 and 3.41 points over TripleSumm under 50% independent temporal removal, whereas TSMD-Stream performs the best under complete-stream removal. TSMD-Mix retains most of these complementary benefits and ranks the best or the second-best across the evaluated temporal and stream-level conditions.
- Abstract（参考訳）: 既存のマルチモーダルビデオハイライト検出器は通常、視覚、オーディオ、テキストストリームが継続的に利用可能であると仮定する。
しかし実際には、入力は局所的なフレーム不足や全ストリーム停止に悩まされることがある。
フレームが各モードで独立に欠落している時間的欠落と、ビデオを通して1つのモダリティが利用できないストリームレベルの欠落という2つの次元に沿って、このロバスト性課題を定式化する。
さらに、平均二乗誤差(MSE)損失は、評価指標とハイライトのピーク駆動特性の両方に一致しないことが判明した。
そこで本稿では,構造的欠落度シミュレーションと,ポイントワイドMSE,ビデオピアソン相関,ピーク指向RangNet損失項からなる連立目的とを組み合わせた時間ストリームモードドロップアウト(TSMD)を提案する。
TSMDには、時間、ストリームレベル、混合ドロップアウトの3つのバリエーションがある。
MoSuとHiSumのデータセットでは、TSMD-TemporalがmAP@15を7.06倍、TripleSummよりも3.41ポイント改善し、50%の独立した時間的除去が可能となった。
TSMD-Mixはこれらの相補的な利点のほとんどを保持し、評価された時間的およびストリームレベルの条件の中で、最高の、または第2のベストをランク付けする。
関連論文リスト
- Rollout-Marginal Distillation for Long-Horizon Autoregressive Video Generation [31.054330225297463]
オートレグレッシブ(AR)ビデオ拡散は低レイテンシでストリーミング可能なビデオ生成を可能にする。
自前のロールアウトでジェネレータを訓練すると、それを不完全な履歴として公開する。
RMD(Rollout-Marginal Distillation)は、より鮮明な視覚的品質の信号を提供する。
論文 参考訳（メタデータ） (2026-09-29T16:16:37Z) - S3VD: Semantic-Guidance Spatio-Temporal Scanning for Video Deraining [94.11319980472352]
激しい降雨は、高周波の詳細を破損させ、動きのぼやけを発生させることで、屋外の映像を著しく劣化させる。
状態空間モデル(SSM)は、線形複雑性と長距離依存をモデル化する能力を備えたビジョンタスクの効率的な代替手段として登場した。
本稿では,ビデオデラリニングのためのセマンティック・スポーティカル・テンポラル・スキャン・フレームワークであるSVDを紹介する。
ビデオデラリニングベンチマークの実験では、S3VDの優位性を示し、ガンバベースベースラインよりも平均0.84dBのPSNRの改善を達成している。
論文 参考訳（メタデータ） (2026-09-18T04:59:46Z) - TRACE: A Temporal Conditional Estimation for Multimodal Time Series Foundation Models [38.02980231068582]
時系列基礎モデル(TS-FM)は、幅広い下流タスクに適応可能な一般化可能な時間表現を学習することを目的としている。
既存のアプローチは一般的に、単純な命令やマスキング戦略に頼っているが、これはクロスモーダルな依存関係を考慮できない。
本稿では,マルチモーダル時系列基礎モデルパイプラインに対する条件推定パラダイムであるTRACEを提案する。
論文 参考訳（メタデータ） (2026-06-04T15:25:03Z) - TIE: Time Interval Encoding for Video Generation over Events [50.66585165263848]
ディレクタースタイルのプロンプト、ロボットアクション予測、インタラクティブなビデオエージェントは、同時イベントに対する時間的根拠を要求する。
現代のビデオジェネレータは、ポイントワイドな位置エンコーディングを通して、タイムを離散的なポイントとして表現する。
Time Interval TIEは、プラグイン・アンド・プレイ・インターバル・アウェアの一般化である。
論文 参考訳（メタデータ） (2026-05-11T13:23:14Z) - EventVGGT: Exploring Cross-Modal Distillation for Consistent Event-based Depth Estimation [24.595306617729012]
EventVGGTは、イベントストリームをコヒーレントなビデオシーケンスとして明示的にモデル化する、新しいフレームワークである。
既存の手法を一貫して上回り、絶対平均深度を30m以上53%以上下げる。
また、未確認のDENSEとMVSECデータセットに対して、堅牢なゼロショットエラーを示す。
論文 参考訳（メタデータ） (2026-03-10T08:57:51Z) - Towards Multimodal Lifelong Understanding: A Dataset and Agentic Baseline [58.585692088008905]
MM-Lifelongはマルチモーダルライフロング理解のために設計されたデータセットである。
撮影時間は181.1時間で、日、週、月の各スケールにまたがって構成され、様々な時間密度を捉えている。
論文 参考訳（メタデータ） (2026-03-05T18:52:12Z) - MMTA: Multi Membership Temporal Attention for Fine-Grained Stroke Rehabilitation Assessment [0.28332284137397873]
微粒化再生評価のための高分解能時間変換器MMTA(Multi-Membership Temporal Attention)を提案する。
MMTAはビデオとウェアラブルの両方のIMU入力を統合された単一ステージアーキテクチャでサポートする。
一貫してGlobal Attention Transformerを改良し、StrokeRehabのEdit Scoreを+1.3(ビデオ)+1.6(IMU)で強化し、50Saladsを+3.3で改善した。
論文 参考訳（メタデータ） (2026-03-01T02:57:03Z) - E.M.Ground: A Temporal Grounding Vid-LLM with Holistic Event Perception and Matching [87.38371267983263]
時間的ビデオグラウンディングは、クエリイベントに対応する時間セグメントを正確にローカライズすることを目的としている。
E.M.GroundはTVGのための新しいVid-LLMで、総合的で一貫性のあるイベント知覚に焦点を当てている。
E.M.Ground は最先端の Vid-LLM を著しく上回っている。
論文 参考訳（メタデータ） (2026-02-05T02:16:00Z) - Time Is a Feature: Exploiting Temporal Dynamics in Diffusion Language Models [57.474294329887236]
拡散大言語モデル (dLLMs) は反復的 denoising を通じてテキストを生成する。
現在のデコード戦略は、最終的な出力に有利なリッチな中間予測を捨てている。
時間的整合性を利用する2つの相補的手法を導入する。
論文 参考訳（メタデータ） (2025-08-12T17:59:57Z) - A Study of Dropout-Induced Modality Bias on Robustness to Missing Video
Frames for Audio-Visual Speech Recognition [53.800937914403654]
AVSR(Advanced Audio-Visual Speech Recognition)システムは、欠落したビデオフレームに敏感であることが観察されている。
ビデオモダリティにドロップアウト技術を適用することで、フレーム不足に対するロバスト性が向上する一方、完全なデータ入力を扱う場合、同時に性能損失が発生する。
本稿では,MDA-KD(Multimodal Distribution Approximation with Knowledge Distillation)フレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-07T06:06:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。