論文の概要: Denoise and Align: Diffusion-Driven Foreground Knowledge Prompting for Open-Vocabulary Temporal Action Detection

• arxiv url: http://arxiv.org/abs/2604.18313v1
• Date: Mon, 20 Apr 2026 14:18:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.930106
• Title: Denoise and Align: Diffusion-Driven Foreground Knowledge Prompting for Open-Vocabulary Temporal Action Detection
• Title（参考訳）: 開語彙時間的行動検出のための拡散駆動型前景知識プロンプト
• Authors: Sa Zhu, Wanqian Zhang, Lin Wang, Jinchao Zhang, Cong Wang, Bo Li,
• Abstract要約: Open-Vocabulary Temporal Action Detection (OV-TAD)は、見えないビデオのアクションセグメントをローカライズし、分類することを目的としている。 DFAlignは拡散に基づく認知を利用して、アクションビデオアライメントのガイダンスのための前景知識を生成する最初のフレームワークである。 提案手法は2つのOV-TADベンチマークにおける最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 24.57005070272218
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Open-Vocabulary Temporal Action Detection (OV-TAD) aims to localize and classify action segments of unseen categories in untrimmed videos, where effective alignment between action semantics and video representations is critical for accurate detection. However, existing methods struggle to mitigate the semantic imbalance between concise, abstract action labels and rich, complex video contents, inevitably introducing semantic noise and misleading cross-modal alignment. To address this challenge, we propose DFAlign, the first framework that leverages diffusion-based denoising to generate foreground knowledge for the guidance of action-video alignment. Following the 'conditioning, denoising and aligning' manner, we first introduce the Semantic-Unify Conditioning (SUC) module, which unifies action-shared and action-specific semantics as conditions for diffusion denoising. Then, the Background-Suppress Denoising (BSD) module generates foreground knowledge by progressively removing background redundancy from videos through denoising process. This foreground knowledge serves as effective intermediate semantic anchor between video and text representations, mitigating the semantic gap and enhancing the discriminability of action-relevant segments. Furthermore, we introduce the Foreground-Prompt Alignment (FPA) module to inject extracted foreground knowledge as prompt tokens into text representations, guiding model's attention towards action-relevant segments and enabling precise cross-modal alignment. Extensive experiments demonstrate that our method achieves state-of-the-art performance on two OV-TAD benchmarks. The code repository is provided as follows: https://anonymous.4open.science/r/Code-2114/.
• Abstract（参考訳）: Open-Vocabulary Temporal Action Detection (OV-TAD)は、アクションセマンティクスとビデオ表現の効果的なアライメントが正確な検出に不可欠であるビデオにおいて、目に見えないカテゴリのアクションセグメントをローカライズし分類することを目的としている。 しかし、既存の手法では、簡潔で抽象的なアクションラベルとリッチで複雑なビデオコンテンツとのセマンティック不均衡を緩和し、必然的にセマンティックノイズを導入し、クロスモーダルアライメントを誤解させる。 この課題に対処するために,拡散型復調を利用した最初のフレームワークであるDFAlignを提案し,アクションビデオアライメントの指導のための前景知識を生成する。 そこで我々はまず,SUC(Semantic-Unify Conditioning)モジュールを導入する。このモジュールは,拡散認知の条件として,アクション共有とアクション固有セマンティクスを統一する。 次に、バックグラウンド・サプレッション・デノナイジング(BSD)モジュールは、デノナイジングプロセスを通じてビデオから背景の冗長性を段階的に除去することにより、フォアグラウンドの知識を生成する。 このフォアグラウンド知識は、ビデオとテキストの表現の間に効果的なセマンティックアンカーとして機能し、セマンティックギャップを緩和し、アクション関連セグメントの識別可能性を高める。 さらに,フォアグラウンド・プロンプト・アライメント(FPA)モジュールを導入し,抽出したフォアグラウンド知識をテキスト表現へのトークンとして注入し,アクション関連セグメントに対するモデルの注意を誘導し,正確なクロスモーダルアライメントを実現する。 2つのOV-TADベンチマークにおいて,本手法が最先端性能を実現することを実証した。 コードリポジトリは以下のとおり提供される。

関連論文リスト

• Segment-to-Act: Label-Noise-Robust Action-Prompted Video Segmentation Towards Embodied Intelligence [22.45673628231233]
  アクションベースのビデオオブジェクトセグメンテーションは、セグメンテーションとアクションセマンティクスをリンクすることでこの問題に対処する。 まず、ラベルノイズ下でのアクションベースビデオオブジェクトのセグメンテーションについて検討する。 この設定に6つのラベルノイズ学習戦略を適用し、評価のためのプロトコルを確立する。
  論文  参考訳（メタデータ） (2025-09-20T13:03:43Z)
• Implicit Counterfactual Learning for Audio-Visual Segmentation [50.69377287012591]
  我々は,非バイアスの相互理解を実現するために,暗黙の対実的枠組み(ICF)を提案する。 意味論の欠如により、異種表現は誤った一致につながる可能性がある。 モダリティ共有空間を確立するために,ビデオ,セグメント,フレームレベルを含む多粒性暗黙テキスト(MIT)をブリッジとして導入する。
  論文  参考訳（メタデータ） (2025-07-28T11:46:35Z)
• LINK: Adaptive Modality Interaction for Audio-Visual Video Parsing [26.2873961811614]
  非整合知識のための学習インタラクション手法(リンク)を提案する。 リンクは、イベント予測中に入力を動的に調整することで、異なるモダリティのコントリビューションを均衡させる。 疑似ラベルの意味情報を事前知識として活用し、他のモーダルからノイズを緩和する。
  論文  参考訳（メタデータ） (2024-12-30T11:23:15Z)
• FinePseudo: Improving Pseudo-Labelling through Temporal-Alignablity for Semi-Supervised Fine-Grained Action Recognition [57.17966905865054]
  実生活における行動認識の応用は、しばしば微妙な動きのきめ細かい理解を必要とする。 既存の半教師ありアクション認識は主に粗いアクション認識に焦点を当てている。 そこで我々は,微粒なアクションペアの識別を効果的に行うための,アライナビリティ検証に基づくメトリック学習手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T20:08:06Z)
• Label-anticipated Event Disentanglement for Audio-Visual Video Parsing [61.08434062821899]
  我々は新しいデコードパラダイムであるアンダーライン・サンダーライン・エンダーライン・アンダーライン・インダーライン・プロジェクション(LEAP)を導入する。 LEAPは、音声/視覚セグメントの符号化された潜在機能を意味的に独立したラベル埋め込みに反復的に投影する。 LEAPパラダイムを促進するために,新しい音声・視覚的類似性損失関数を含むセマンティック・アウェア・最適化戦略を提案する。
  論文  参考訳（メタデータ） (2024-07-11T01:57:08Z)
• DiffVein: A Unified Diffusion Network for Finger Vein Segmentation and Authentication [50.017055360261665]
  DiffVeinは、静脈分割と認証タスクを同時に処理する統合拡散モデルベースのフレームワークである。 これら2つのブランチ間の機能相互作用を改善するために,2つの特別なモジュールを導入する。 このようにして、我々のフレームワークは拡散とセグメンテーションの埋め込みの間の動的相互作用を可能にする。
  論文  参考訳（メタデータ） (2024-02-03T06:49:42Z)
• Denoising-Contrastive Alignment for Continuous Sign Language Recognition [22.800767994061175]
  連続手話認識は,手話ビデオからテキストグルースへの符号認識を目的としている。 現在のクロスモダリティアライメントパラダイムは、ビデオ表現を導くためにテキスト文法の役割を無視することが多い。 本稿では,映像の表現性を高めるために,Denoising-Contrastive Alignmentパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-05-05T15:20:27Z)
• Learning Video Salient Object Detection Progressively from Unlabeled Videos [8.224670666756193]
  ビデオアノテーションを使わずに、適切なオブジェクトを連続的に特定・セグメントするプログレッシブフレームワークによる新しいVSOD手法を提案する。 具体的には, 隣接フレームにおける高精度な位置ラベルの生成と有意な物体の追跡を行うディープテンポラルな位置ラベルを生成するアルゴリズムを提案する。 DAVIS, FBMS, ViSal, VOS, DAVSODの5つの公開ベンチマークによる実験結果から, 提案手法は完全教師付き手法と競合し, 最先端・非教師付き手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-04-05T06:12:45Z)
• Fine-grained Temporal Contrastive Learning for Weakly-supervised Temporal Action Localization [87.47977407022492]
  本稿では,シーケンス・ツー・シーケンスの区別を文脈的に比較することで学習が,弱い教師付き行動の局所化に不可欠な帰納的バイアスをもたらすことを論じる。 微分可能な動的プログラミングの定式化の下では、FSD(Fen-fine Sequence Distance)とLCS(Longest Common Subsequence)の2つの相補的コントラストが設計されている。 提案手法は,2つのベンチマークにおいて最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-03-31T05:13:50Z)
• Weakly Supervised Temporal Action Localization Through Learning Explicit Subspaces for Action and Context [151.23835595907596]
  ビデオレベルの監視のみの下で、アクションインスタンスの時間的開始と終了をローカライズする方法を学ぶ。 アクションとコンテキストそれぞれについて,2つの機能サブスペースを学習するフレームワークを提案する。 提案手法は3つのベンチマークで最先端のWS-TAL法より優れている。
  論文  参考訳（メタデータ） (2021-03-30T08:26:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。