論文の概要: Annotations Are Not All You Need: A Cross-modal Knowledge Transfer Network for Unsupervised Temporal Sentence Grounding
- arxiv url: http://arxiv.org/abs/2605.30742v1
- Date: Fri, 29 May 2026 02:16:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.338956
- Title: Annotations Are Not All You Need: A Cross-modal Knowledge Transfer Network for Unsupervised Temporal Sentence Grounding
- Title（参考訳）: アノテーションがすべてではない: 教師なし時間文接地のためのクロスモーダルな知識伝達ネットワーク
- Abstract要約: 本稿では,時間的文接地(TSG)の課題に対処する。
本稿では、より実用的で困難なTSG設定を目標とし、教師なし時間文の接地を行う。
我々のモデルは、この一般的な知識を直接利用して、ビデオとクエリを相関させ、トレーニングなしで関連セグメントを正確に検索することができる。
- 参考スコア（独自算出の注目度）: 67.1767666115821
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper addresses the task of temporal sentence grounding (TSG). Although many respectable works have made decent achievements in this important topic, they severely rely on massive expensive video-query paired annotations, which require a tremendous amount of human effort to collect in real-world applications. To this end, in this paper, we target a more practical but challenging TSG setting: unsupervised temporal sentence grounding, where both paired video-query and segment boundary annotations are unavailable during the network training. Considering that some other cross-modal tasks provide many easily available yet cheap labels, we tend to collect and transfer their simple cross-modal alignment knowledge into our complex scenarios: 1) We first explore the entity-aware object-guided appearance knowledge from the paired Image-Noun task, and adapt them into each independent video frame; 2) Then, we extract the event-aware action representation from the paired Video-Verb task, and further refine the action representation into more practical but complicated real-world cases by a newly proposed copy-paste approach; 3) By modulating and transferring both appearance and action knowledge into our challenging unsupervised task, our model can directly utilize this general knowledge to correlate videos and queries, and accurately retrieve the relevant segment without training. Extensive experiments on two challenging datasets (ActivityNet Captions and Charades-STA) show our effectiveness, outperforming existing unsupervised methods and even competitively beating supervised works.
- Abstract（参考訳）: 本稿では,時間的文接地(TSG)の課題に対処する。
多くの優れた作品がこの重要なトピックで十分な成果を上げてきたが、それらは大量の高価なビデオクエリーペアアノテーションに大きく依存しており、現実世界のアプリケーションで収集するのに膨大な労力を要する。
そこで本稿では,ネットワークトレーニング中にビデオクエリとセグメンテーション境界アノテーションのペアが利用できない,教師なしの時間文グラウンドイングという,より実用的で困難なTSG設定を目標とする。
他のいくつかのクロスモーダルタスクが簡単に利用できるが安価なラベルを提供していることを考えると、単純なクロスモーダルアライメントの知識を複雑なシナリオに収集し、転送する傾向があります。
1)まず,一対のImage-Nounタスクから実体認識型オブジェクト誘導外見知識を探索し,それらを各独立したビデオフレームに適応させる。
2) イベント認識型アクション表現をペアビデオバーブタスクから抽出し,新たに提案したコピー・ペースト・アプローチにより,アクション表現をより実用的で複雑な実世界のケースに洗練する。
3) 課題の未解決課題に外観知識と行動知識の両方を変調・伝達することで, この一般知識を直接利用してビデオやクエリを相関させ, トレーニングなしで関連セグメントを正確に検索することができる。
2つの挑戦的データセット(ActivityNet CaptionsとCharades-STA)に対する大規模な実験は、我々の効果を示し、既存の教師なし手法よりも優れており、また、教師付き作業を競争的に打ち負かしている。
関連論文リスト
- Tracking and Segmenting Anything in Any Modality [75.32774085793498]
そこで我々はSATAという汎用的なトラッキング・セグメンテーション・フレームワークを提案し、このフレームワークは任意のモダリティ入力でトラッキング・セグメンテーション・サブタスクの広帯域を統一する。
SATAは18の挑戦的なトラッキングとセグメンテーションベンチマークで優れたパフォーマンスを示し、より一般化可能なビデオ理解のための新しい視点を提供する。
論文 参考訳（メタデータ） (2025-11-22T09:09:22Z) - When the Future Becomes the Past: Taming Temporal Correspondence for Self-supervised Video Representation Learning [80.09819072780193]
ビデオ表現学習における時間対応を利用した自己教師型フレームワーク(T-CoRe)を提案する。
T-CoReの実験は、複数の下流タスクに対して一貫して優れた性能を示し、ビデオ表現学習の有効性を実証している。
論文 参考訳（メタデータ） (2025-03-19T10:50:03Z) - Reframing Dense Action Detection (RefDense): A Paradigm Shift in Problem Solving & a Novel Optimization Strategy [23.100602876056165]
時間的重複とクラスオーバーラップという2つの課題に対処するには複雑すぎると我々は主張する。
本稿では, 密接な曖昧な部分概念を検出するために, 密接なあいまいな動作を検出するタスクを分解することを提案する。
我々の実験は、最先端手法に対するアプローチの優位性を実証している。
論文 参考訳（メタデータ） (2025-01-30T17:20:42Z) - 2by2: Weakly-Supervised Learning for Global Action Segmentation [4.880243880711163]
本稿では,グローバルアクションセグメンテーションの課題に対して,シンプルかつ効果的なアプローチを提案する。
我々は,グローバルな行動セグメンテーションに適した行動表現を弱教師付きで学習するために,活動ラベルを利用することを提案する。
バックボーンアーキテクチャでは、スパーストランスフォーマーをベースとしたSiameseネットワークを使用して、入力ビデオペアとして使用し、それらが同一のアクティビティに属しているかどうかを判断する。
論文 参考訳（メタデータ） (2024-12-17T11:49:36Z) - Task-Driven Exploration: Decoupling and Inter-Task Feedback for Joint Moment Retrieval and Highlight Detection [7.864892339833315]
本稿では,共同モーメント検索とハイライト検出のためのタスク駆動型トップダウンフレームワークを提案する。
このフレームワークはタスク固有の共通表現をキャプチャするタスク分離ユニットを導入している。
QVHighlights、TVSum、Charades-STAデータセットに関する総合的な実験と詳細なアブレーション研究は、提案フレームワークの有効性と柔軟性を裏付けるものである。
論文 参考訳（メタデータ） (2024-04-14T14:06:42Z) - No More Shortcuts: Realizing the Potential of Temporal Self-Supervision [69.59938105887538]
本稿では、フレームレベルの認識タスクではなく、フレームレベルの認識タスクとして、時間的自己監督のより困難な再構築を提案する。
我々は、より困難なフレームレベルのタスクの定式化とショートカットの削除が、時間的自己監督によって学習された特徴の質を大幅に改善することを示した。
論文 参考訳（メタデータ） (2023-12-20T13:20:31Z) - Boundary-aware Self-supervised Learning for Video Scene Segmentation [20.713635723315527]
シーンセグメンテーション(英: Video scene segmentation)は、ビデオ内のシーン境界を時間的に局所化するタスクである。
本稿では,3つの境界対応プレテキストタスク,ショットシーンマッチング,コンテキストグループマッチング,擬似境界予測を紹介する。
我々はMovieNet-SSegベンチマークの最先端性を実現する。
論文 参考訳（メタデータ） (2022-01-14T02:14:07Z) - Learning to Track Instances without Video Annotations [85.9865889886669]
本稿では,ラベル付き画像データセットとラベルなしビデオシーケンスのみを用いたインスタンス追跡ネットワークを学習する,新しい半教師付きフレームワークを提案する。
画像のみを訓練しても,学習した特徴表現は出現の変動にロバストであることが判明した。
さらに、このモジュールを単一ステージのインスタンスセグメンテーションとポーズ推定フレームワークに統合します。
論文 参考訳（メタデータ） (2021-04-01T06:47:41Z) - Reinforcement Learning for Weakly Supervised Temporal Grounding of
Natural Language in Untrimmed Videos [134.78406021194985]
我々は、時間境界のない粗いビデオレベルの言語記述アノテーションにのみアクセス可能な、このタスクの弱教師付き設定に焦点を当てる。
本稿では,時間境界を段階的に洗練する過程を指導するために,強化学習を利用したemphBoundary Adaptive Refinement(BAR)フレームワークを提案する。
論文 参考訳（メタデータ） (2020-09-18T03:32:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。