論文の概要: TEn-CATG:Text-Enriched Audio-Visual Video Parsing with Multi-Scale Category-Aware Temporal Graph

• arxiv url: http://arxiv.org/abs/2509.04086v2
• Date: Mon, 27 Oct 2025 14:28:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 15:28:14.409708
• Title: TEn-CATG:Text-Enriched Audio-Visual Video Parsing with Multi-Scale Category-Aware Temporal Graph
• Title（参考訳）: TEn-CATG:マルチスケールカテゴリー対応テンポラルグラフを用いたテキストリッチオーディオ映像解析
• Authors: Yaru Chen, Faegheh Sardari, Peiliang Zhang, Ruohao Guo, Yang Xiang, Zhenbo Li, Wenwu Wang,
• Abstract要約: TEn-CATGは、セマンティックキャリブレーションとカテゴリー対応の時間的推論を組み合わせたテキスト強化AVVPフレームワークである。 弱教師付きAVVPタスクにおいて,TEn-CATGは複雑な時間的および意味的依存関係を捕捉する堅牢性と優れた能力を実現する。
• 参考スコア（独自算出の注目度）: 28.536724593429398
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Audio-visual video parsing (AVVP) aims to detect event categories and their temporal boundaries in videos, typically under weak supervision. Existing methods mainly focus on (i) improving temporal modeling using attention-based architectures or (ii) generating richer pseudo-labels to address the absence of frame-level annotations. However, attention-based models often overfit noisy pseudo-labels, leading to cumulative training errors, while pseudo-label generation approaches distribute attention uniformly across frames, weakening temporal localization accuracy. To address these challenges, we propose TEn-CATG, a text-enriched AVVP framework that combines semantic calibration with category-aware temporal reasoning. More specifically, we design a bi-directional text fusion (BiT) module by leveraging audio-visual features as semantic anchors to refine text embeddings, which departs from conventional text-to-feature alignment, thereby mitigating noise and enhancing cross-modal consistency. Furthermore, we introduce the category-aware temporal graph (CATG) module to model temporal relationships by selecting multi-scale temporal neighbors and learning category-specific temporal decay factors, enabling effective event-dependent temporal reasoning. Extensive experiments demonstrate that TEn-CATG achieves state-of-the-art results across multiple evaluation metrics on benchmark datasets LLP and UnAV-100, highlighting its robustness and superior ability to capture complex temporal and semantic dependencies in weakly supervised AVVP tasks.
• Abstract（参考訳）: AVVP(Audio-visual video parsing)は、ビデオ内のイベントカテゴリとその時間的境界を検出することを目的としている。 既存の方法は主に焦点をあてて 一 注意に基づく建築を用いて時間的モデリングを改善すること。 (ii)フレームレベルのアノテーションの欠如に対処するため、よりリッチな擬似ラベルを生成する。 しかし、注意に基づくモデルは、しばしばノイズの多い擬似ラベルに適合し、累積的なトレーニングエラーを引き起こす。 これらの課題に対処するために、セマンティックキャリブレーションとカテゴリー対応時間的推論を組み合わせたテキスト強化AVVPフレームワークであるTEn-CATGを提案する。 具体的には、音声視覚機能をセマンティックアンカーとして活用して双方向テキスト融合(BiT)モジュールを設計し、従来のテキスト間アライメントから外れたテキスト埋め込みを洗練し、ノイズを緩和し、モーダル間の整合性を高める。 さらに、カテゴリー対応時間グラフ(CATG)モジュールを導入し、複数スケールの時間的隣人を選択し、カテゴリー固有の時間的減衰因子を学習することで、時間的関係をモデル化し、効果的な事象依存時間的推論を可能にする。 大規模な実験により、TEn-CATGはベンチマークデータセットLLPとUnAV-100の複数の評価指標で最先端の結果を達成し、弱い教師付きAVVPタスクにおける複雑な時間的および意味的依存関係をキャプチャする堅牢性と優れた能力を強調した。

関連論文リスト

• Unleashing the Power of Vision-Language Models for Long-Tailed Multi-Label Visual Recognition [55.189113121465816]
  本稿では,長い尾を持つ多ラベル視覚認識のための新しい相関適応プロンプトネットワーク(CAPNET)を提案する。 CAPNETはCLIPのテキストエンコーダからの相関を明示的にモデル化する。 テスト時間アンサンブルによる一般化を改善し、視覚・テクスチャのモダリティを実現する。
  論文  参考訳（メタデータ） (2025-11-25T18:57:28Z)
• Temporal-Aware Iterative Speech Model for Dementia Detection [0.0]
  音声を用いた認知症自動検出の現在の手法は,静的,時間に依存しない特徴や集約された言語コンテンツに依存している。 本稿では,認知症検出のための自然発話を動的にモデル化するテンポラル・アウェア・イテレーティブ・フレームワークであるTAI-Speechを紹介する。 私たちの研究は、より柔軟で堅牢な認知評価ソリューションを提供し、生のオーディオのダイナミクスを直接操作します。
  論文  参考訳（メタデータ） (2025-09-26T01:56:07Z)
• Improving Weakly Supervised Temporal Action Localization by Exploiting Multi-resolution Information in Temporal Domain [84.73693644211596]
  時間領域における多重解像度情報を完全に活用するための2段階の手法を提案する。 第1段階では、外観と動きの流れの両方に基づいて、信頼できる初期フレームレベルの擬似ラベルを生成する。 第2段階では、疑似ラベルを反復的に洗練し、信頼度の高い疑似ラベルを持つ選択されたフレームの集合を用いてニューラルネットワークを訓練する。
  論文  参考訳（メタデータ） (2025-06-23T03:20:18Z)
• TAViS: Text-bridged Audio-Visual Segmentation with Foundation Models [123.17643568298116]
  本稿では,マルチモーダル基盤モデルの知識をテキスト化するための新しいフレームワークTAViSを提案する。 これらのモデルを効果的に組み合わせることによって、SAM2とImageBind間の知識伝達の困難さと、監督のためにセグメンテーション損失のみを使用することの不十分さの2つの大きな課題が生じる。 提案手法は,シングルソース,マルチソース,セマンティックデータセットにおいて優れた性能を示し,ゼロショット設定で優れる。
  論文  参考訳（メタデータ） (2025-06-13T03:19:47Z)
• TRACE: Grounding Time Series in Context for Multimodal Embedding and Retrieval [32.06255656982559]
  TRACEは、時系列をテキストコンテキストに埋め込む汎用マルチモーダルレトリバーである。 Text-to-TimeseriesやTimeeries-to-Textなど、柔軟なクロスモーダル検索モードをサポートする。 TRACEは強力なスタンドアロンエンコーダとしても機能し、コンテキスト対応の表現を洗練するための軽量なタスク特化チューニングを備えている。
  論文  参考訳（メタデータ） (2025-06-10T17:59:56Z)
• Context-aware TFL: A Universal Context-aware Contrastive Learning Framework for Temporal Forgery Localization [60.73623588349311]
  本研究では,時間的フォージェリーローカライゼーションのための共通文脈対応コントラスト学習フレームワーク (UniCaCLF) を提案する。 提案手法は教師付きコントラスト学習を利用して,異常検出による偽造瞬間の検出と同定を行う。 実物と偽物との間における特徴の識別可能性の限界をさらに押し上げるために、効率的な文脈対応コントラスト符号化を導入する。
  論文  参考訳（メタデータ） (2025-06-10T06:40:43Z)
• FreRA: A Frequency-Refined Augmentation for Contrastive Learning on Time Series Classification [56.925103708982164]
  周波数領域からの新たな視点を示し、ダウンストリーム分類の利点として、グローバル、独立、コンパクトの3つを識別する。 本稿では,分類タスクにおける時系列のコントラスト学習に適した,軽量で効果的な周波数補充拡張(FreRA)を提案する。 FreRAは、時系列分類、異常検出、転送学習タスクにおいて、常に10つの主要なベースラインを上回ります。
  論文  参考訳（メタデータ） (2025-05-29T07:18:28Z)
• StPR: Spatiotemporal Preservation and Routing for Exemplar-Free Video Class-Incremental Learning [79.44594332189018]
  CIL(Class-Incremental Learning)は、以前取得した知識を使わずに、時間とともに新しいアクションカテゴリを継続的に学習するモデルの開発を目指している。 既存のアプローチでは、メモリとプライバシに関する懸念を忘れたり、あるいは時間的モデリングを無視する静的なイメージベースのメソッドを適用したりする。 本稿では,情報を明示的に切り離して保存する,統一的で非定型なVCILフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-20T06:46:51Z)
• SDVPT: Semantic-Driven Visual Prompt Tuning for Open-World Object Counting [70.49268117587562]
  本稿では,トレーニングセットから未知のカテゴリに知識を伝達する,セマンティック駆動型ビジュアルプロンプトチューニングフレームワーク(SDVPT)を提案する。 推論中,見知らぬカテゴリと訓練カテゴリのセマンティックな相関に基づいて,見つからないカテゴリの視覚的プロンプトを動的に合成する。
  論文  参考訳（メタデータ） (2025-04-24T09:31:08Z)
• FDDet: Frequency-Decoupling for Boundary Refinement in Temporal Action Detection [4.015022008487465]
  大規模な事前訓練されたビデオエンコーダは、背景の乱雑さと無関係なセマンティクスを導入し、コンテキストの混乱と境界に繋がる。 本稿では,事前学習したモデルから得られた雑音のセマンティクスをフィルタリングすることで,行動識別性を向上させる周波数対応デカップリングネットワークを提案する。 本手法は時間的行動検出ベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-04-01T10:57:37Z)
• Learning Semantic-Aware Representation in Visual-Language Models for Multi-Label Recognition with Partial Labels [19.740929527669483]
  部分ラベル付きマルチラベル認識(MLR-PL)はコンピュータビジョンにおける実用的な課題である。 セマンティックデカップリングモジュールとカテゴリ固有のプロンプト最適化手法をCLIPベースのフレームワークで導入する。 提案手法は,CLIPベースのベースライン方式と比較して,情報と異なるカテゴリを効果的に分離し,優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-12-14T14:31:36Z)
• Queryable Prototype Multiple Instance Learning with Vision-Language Models for Incremental Whole Slide Image Classification [10.667645628712542]
  ホイルスライド画像(WSI)分類は臨床病理学に非常に重要な応用例である。 本稿では, 逐次WSI分類に特化して設計された, Queryable Prototype Multiple Instance Learning (QPMIL-VL) を用いた視覚言語ベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-14T14:49:34Z)
• Envisioning Class Entity Reasoning by Large Language Models for Few-shot Learning [13.68867780184022]
  少ないショット学習は、限られた数のビジュアルサンプルを使用して新しい概念を認識することを目的としている。 我々のフレームワークは,Large Language Models(LLMs)から抽出した抽象クラスセマンティクスと具体的なクラスエンティティの両方を組み込んでいる。 難易度の高いワンショット設定では、ResNet-12のバックボーンを利用して、第2の競争相手に比べて平均1.95%の改善を実現しています。
  論文  参考訳（メタデータ） (2024-08-22T15:10:20Z)
• Auxiliary Tasks Enhanced Dual-affinity Learning for Weakly Supervised Semantic Segmentation [79.05949524349005]
  AuxSegNet+は、サリエンシマップから豊富な情報を探索する弱教師付き補助学習フレームワークである。 また,サリエンシとセグメンテーションの特徴マップから画素レベルの親和性を学習するためのクロスタスク親和性学習機構を提案する。
  論文  参考訳（メタデータ） (2024-03-02T10:03:21Z)
• ZEETAD: Adapting Pretrained Vision-Language Model for Zero-Shot End-to-End Temporal Action Detection [10.012716326383567]
  時間的行動検出(TAD)は、未トリミングビデオ内のアクションインスタンスのローカライズと分類を含む。 ZEETADには2つのモジュールがあり、双対局在化とゼロショット提案分類という2つのモジュールがある。 軽量なアダプタで冷凍したCLIPエンコーダを最小限に更新することで、未確認クラスの識別能力を向上する。
  論文  参考訳（メタデータ） (2023-11-01T00:17:37Z)
• Temporal-aware Hierarchical Mask Classification for Video Semantic Segmentation [62.275143240798236]
  ビデオセマンティックセグメンテーションデータセットは、ビデオ毎のカテゴリが限られている。 VSSトレーニング中に意味のある勾配更新を受けるために、クエリの10%未満がマッチする可能性がある。 提案手法は,最新のVSSベンチマークVSPWにおいてベルやホイッスルを使わずに,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-09-14T20:31:06Z)
• Semantic Representation and Dependency Learning for Multi-Label Image Recognition [76.52120002993728]
  本稿では,各カテゴリのカテゴリ固有のセマンティック表現を学習するための,新しい,効果的なセマンティック表現と依存性学習(SRDL)フレームワークを提案する。 具体的には,カテゴリー別注意領域(CAR)モジュールを設計し,チャネル/空間的注意行列を生成してモデルを導出する。 また、カテゴリ間のセマンティック依存を暗黙的に学習するオブジェクト消去(OE)モジュールを設計し、セマンティック認識領域を消去する。
  論文  参考訳（メタデータ） (2022-04-08T00:55:15Z)
• Temporal Transductive Inference for Few-Shot Video Object Segmentation [27.140141181513425]
  Few-shot Object segmentation (FS-VOS) は、初期訓練中に見えないクラスのラベル付き例を用いて、ビデオフレームのセグメンテーションを目的としている。 我々のアプローチの鍵は、グローバルな時間的制約とローカルな時間的制約の両方を使用することである。 経験的に、我々のモデルは、YouTube-VIS上の組合間の平均交点を2.8%上回る、最先端のメタラーニングアプローチより優れている。
  論文  参考訳（メタデータ） (2022-03-27T14:08:30Z)
• Activation to Saliency: Forming High-Quality Labels for Unsupervised Salient Object Detection [54.92703325989853]
  本稿では,高品質なサリエンシキューを効果的に生成する2段階アクティベーション・ツー・サリエンシ(A2S)フレームワークを提案する。 トレーニングプロセス全体において、私たちのフレームワークにヒューマンアノテーションは関与していません。 本フレームワークは,既存のUSOD法と比較して高い性能を示した。
  論文  参考訳（メタデータ） (2021-12-07T11:54:06Z)
• TCGL: Temporal Contrastive Graph for Self-supervised Video Representation Learning [79.77010271213695]
  本稿では,TCGL(Temporal Contrastive Graph Learning)という,ビデオの自己教師型学習フレームワークを提案する。 TCGLは、フレームとスニペットの順序に関する以前の知識をグラフ構造、すなわち、インター/インタースニペットの時間トラストグラフ(TCG)に統合します。 ラベルなしビデオの監視信号を生成するために,適応スニペット順序予測(ASOP)モジュールを導入する。
  論文  参考訳（メタデータ） (2021-12-07T09:27:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。