論文の概要: AVTime: Reinforcing Dense Audio-Visual Captions with Bidirectional Alignment
- arxiv url: http://arxiv.org/abs/2610.26046v1
- Date: Mon, 19 Oct 2026 09:05:39 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:32:19.85339
- Title: AVTime: Reinforcing Dense Audio-Visual Captions with Bidirectional Alignment
- Title（参考訳）: AVTime:双方向アライメントによる高密度オーディオ・ビジュアル・キャプションの強化
- Abstract要約: AVTime-50Kは、時間的に正確でセマンティックに正確なキャプションと長いビデオを備えた高品質な50Kスケールのデータセットである。
AVTime-Benchは、時間的精度と意味的正確性の新たな双方向評価を導入する特殊なベンチマークである。
- 参考スコア（独自算出の注目度）: 22.045270667618933
- License:
- Abstract: Dense temporal audio-visual captioning is important for multimodal video understanding and generation. However, prior work is constrained by three main limitations: (1) the lack of a dataset combining high temporal resolution, longer videos, and bidirectional alignment between time and events; (2) the reliance of most existing RL methods on checklists; and (3) the lack of a benchmark that bidirectionally evaluates event semantic correctness and temporal accuracy. To address these challenges, we propose: (1) AVTime-50K, a high-quality 50K-scale dataset with temporally precise, semantically accurate captions and longer videos; (2) AVTime, a state-of-the-art model optimized with a novel Bidirectional Temporal-Semantic Alignment (BiTSA) reward that imposes explicit bidirectional constraints between time and events; and (3) AVTime-Bench, a specialized benchmark that introduces a novel bidirectional evaluation of temporal accuracy and semantic correctness. Our code, models, and datasets are available at https://huggingface.co/collections/Apryle/avtime.
- Abstract（参考訳）: マルチモーダル映像の理解と生成には,高頻度の時空間映像キャプションが重要である。
しかし、先行研究は、(1)高時間分解能、長いビデオ、および時間とイベント間の双方向のアライメントを組み合わせたデータセットの欠如、(2)既存のRLメソッドのチェックリストへの依存、(3)事象の意味的正しさと時間的正確さを双方向に評価するベンチマークの欠如、の3つの主な制限によって制限されている。
これらの課題に対処するため,(1)高画質の50KスケールデータセットであるAVTime-50K,(2)時間と事象の間に明確な双方向の制約を課した,双方向の時間的セマンティックアライメント(BiTSA)を最適化した最先端のモデルであるAVTime,(3)時間的精度と意味的正確性の新たな双方向評価を行う専門ベンチマークであるAVTime-Benchを提案する。
私たちのコード、モデル、データセットはhttps://huggingface.co/collections/Apryle/avtime.orgで公開されています。
関連論文リスト
- TimeBlind: A Spatio-Temporal Compositionality Benchmark for Video LLMs [24.299498301173255]
TimeBlindは、詳細な時間的理解のための診断ベンチマークである。
我々は600のインスタンスで20以上の最先端MLLMを評価した。
最高のMLLMのインスタンス精度は48.2%に過ぎず、人間のパフォーマンス(98.2%)をはるかに下回っている。
論文 参考訳（メタデータ） (2026-01-30T20:21:46Z) - Taming Text-to-Sounding Video Generation via Advanced Modality Condition and Interaction [28.20791917022439]
本研究は,テキスト・トゥ・サウンド・ビデオ(T2SV)生成という課題に焦点をあてる。
テキスト条件から同期された音声でビデオを生成することを目的としており、両方のモダリティがテキストに一致していることを保証する。
1)ビデオ用テキストが音声用テキストと等しい1つの共有テキストキャプションは、しばしばモーダル干渉を引き起こす。
論文 参考訳（メタデータ） (2025-10-03T15:43:56Z) - EVA02-AT: Egocentric Video-Language Understanding with Spatial-Temporal Rotary Positional Embeddings and Symmetric Optimization [17.622013322533423]
EVA02-ATは、エゴセントリックなビデオ理解タスクに適した、EVA02ベースのビデオ言語基盤モデルのスイートである。
EVA02-ATは、画像ベースのCLIPモデルをシングルステージプレトレーニングを介して、統一ビデオエンコーダに効率的に転送する。
我々は,Symmetric Multi-Similarity(SMS)損失と,正と負のペアに対してすべてのソフトラベルを前進させる新しいトレーニングフレームワークを導入する。
論文 参考訳（メタデータ） (2025-06-17T09:51:51Z) - TextVidBench: A Benchmark for Long Video Scene Text Understanding [60.94150574231576]
TextVidBenchは、長ビデオテキスト質問応答用に設計された最初のベンチマークである(>3分)。
TextVidBenchは3つの重要な貢献をしている: 9つのカテゴリ(ニュース、スポーツ、ゲームなど)を平均2306秒で拡大し、より現実的な長ビデオ理解を可能にする。
i)IT-ロープ機構と時間的プロンプトエンジニアリングを導入し、時間的知覚を高めること、(ii)非一様位置符号化を採用して長いビデオシーケンスをよりよく扱うこと、(iii)軽量な微調整を施すことにより、大規模モデルを改善するための効率的なパラダイムを提案する。
論文 参考訳（メタデータ） (2025-06-05T12:54:56Z) - Hierarchical Temporal Context Learning for Camera-based Semantic Scene Completion [57.232688209606515]
カメラによるセマンティックシーンの補完を改善するための,新たな時間的文脈学習パラダイムであるHTCLを提案する。
提案手法は,Semantic KITTIベンチマークで1st$をランク付けし,mIoUの点でLiDARベースの手法を超えている。
論文 参考訳（メタデータ） (2024-07-02T09:11:17Z) - Exploring Pre-trained Text-to-Video Diffusion Models for Referring Video Object Segmentation [72.90144343056227]
ビデオ理解タスクのためのテキスト・ツー・ビデオ拡散モデル(T2V)から生成した視覚的表現について検討する。
固定されたT2Vモデル上に構築された専用コンポーネントを備えた新しいフレームワーク「VD-IT」を紹介する。
我々のVD-ITは、既存の最先端手法を超越して、非常に競争力のある結果を得る。
論文 参考訳（メタデータ） (2024-03-18T17:59:58Z) - Multi-Sentence Grounding for Long-term Instructional Video [63.27905419718045]
大規模インストラクショナルデータセットを記述するための,自動でスケーラブルなパイプラインを確立することを目的としている。
複数の記述ステップを監督する高品質なビデオテキストデータセット、HowToStepを構築した。
論文 参考訳（メタデータ） (2023-12-21T17:28:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。