論文の概要: CoDy: Codec Dynamics as Complementary Priors for Unsupervised Temporal Action Localization

• arxiv url: http://arxiv.org/abs/2610.19880v1
• Date: Wed, 14 Oct 2026 09:33:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.073354
• Title: CoDy: Codec Dynamics as Complementary Priors for Unsupervised Temporal Action Localization
• Title（参考訳）: CoDy: コーデックダイナミクス
• Abstract要約: Unsupervised temporal Action Localization (UTAL) は、行動カテゴリを特定し、アノテーションの監督なしに時間境界をローカライズすることを目的としている。 既存の手法は、通常、RGBと光フロー表現のみからタスクの監督を導き、しばしばノイズのあるカテゴリー割り当てと不正確な時間境界をもたらす。 我々は,UTALの視覚的視界に補完的な情報を利用する動的誘導型フレームワークであるCoDyを提案する。 CoDyは既存のUTALメソッドを一貫して上回り、最先端のローカライゼーション性能を達成する。
• 参考スコア（独自算出の注目度）: 18.665680742471267
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised temporal action localization (UTAL) aims to identify action categories and localize their temporal boundaries without annotation supervision. Existing methods typically derive supervision for both tasks solely from RGB and optical-flow representations, often resulting in noisy category assignments and inaccurate temporal boundaries. In this work, we reveal an overlooked property of video codecs: group-of-pictures quantization patterns preserve category-discriminative dynamics, while motion-vector and residual variations exhibit pronounced responses around action transitions. Based on this insight, we propose CoDy, a codec dynamics-guided framework that exploits the codec as complementary information to the visual view for UTAL. CoDy integrates a codec-enhanced view with RGB and flow through confidence-aware consensus clustering, producing reliable soft pseudo-labels. It further converts codec dynamics into a class-agnostic boundary prior, which supervises visual boundary learning and guides proposal initialization and iterative refinement. The codec branches are only used during the training stage and introduce no extra codec-side computation at inference. Extensive experiments on THUMOS14 and ActivityNet v1.3 demonstrate that CoDy consistently outperforms existing UTAL methods and achieves state-of-the-art localization performance. These results establish codec signals as effective annotation-free priors for jointly inferring which actions occur and when they occur.
• Abstract（参考訳）: Unsupervised temporal Action Localization (UTAL) は、行動カテゴリを特定し、アノテーションの監督なしに時間境界をローカライズすることを目的としている。 既存の手法は、通常、RGBと光フロー表現のみからタスクの監督を導き、しばしばノイズのあるカテゴリー割り当てと不正確な時間境界をもたらす。 本稿では,ビデオコーデックの見過ごされた特性を明らかにする。グループ・オブ・ピクチャーズ・量子化パターンはカテゴリー識別力学を保ち,動きベクトルと残差は行動遷移に関する顕著な応答を示す。 この知見に基づいて,コーデックを視覚ビューの補完情報として活用するコーデック動的誘導フレームワークであるCoDyを提案する。 CoDyはRGBとコーデック強化ビューを統合し、信頼を意識したコンセンサスクラスタリングを通じてフローし、信頼性の高い疑似ラベルを生成する。 さらに、コーデックダイナミクスをクラスに依存しない境界に変換し、視覚境界学習を監督し、提案の初期化と反復的洗練を導く。 コーデックブランチはトレーニング段階でのみ使用され、推論時に余分なコーデック側計算を導入しない。 THUMOS14とActivityNet v1.3に関する大規模な実験は、CoDyが既存のUTALメソッドを一貫して上回り、最先端のローカライゼーション性能を達成することを示した。 これらの結果から、コーデック信号は、どのアクションが発生したか、いつ発生したかを共同で推測するための効果的なアノテーションのない先行情報として確立される。

関連論文リスト

• InstrAct: Towards Action-Centric Understanding in Instructional Videos [12.356484522873577]
  InstrActionは、インストラクショナルビデオのアクション中心表現のための事前トレーニングフレームワークである。 まず、ノイズの多いキャプションをフィルタリングし、アクション中心のハードネガティブを生成する、データ駆動型戦略を導入する。 視覚的特徴レベルでは、Action Perceiverは、冗長なビデオエンコーディングからモーション関連トークンを抽出する。
  論文  参考訳（メタデータ） (2026-04-09T20:51:13Z)
• The Compression Gap: Why Discrete Tokenization Limits Vision-Language-Action Model Scaling [0.0]
  ビジョンエンコーダのアップグレードによるVLAモデルのスケールアップにより,下流操作性能が向上することが期待される。 この期待は、アクションが離散トークンとして表現されるときに失敗することを示す。 任意のビジュモータパイプラインでは、スケーリングの振る舞いは、最も厳しい情報のボトルネックの位置によって管理される。
  論文  参考訳（メタデータ） (2026-04-03T17:06:31Z)
• StPR: Spatiotemporal Preservation and Routing for Exemplar-Free Video Class-Incremental Learning [79.44594332189018]
  CIL(Class-Incremental Learning)は、以前取得した知識を使わずに、時間とともに新しいアクションカテゴリを継続的に学習するモデルの開発を目指している。 既存のアプローチでは、メモリとプライバシに関する懸念を忘れたり、あるいは時間的モデリングを無視する静的なイメージベースのメソッドを適用したりする。 本稿では,情報を明示的に切り離して保存する,統一的で非定型なVCILフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-20T06:46:51Z)
• FDDet: Frequency-Decoupling for Boundary Refinement in Temporal Action Detection [4.015022008487465]
  大規模な事前訓練されたビデオエンコーダは、背景の乱雑さと無関係なセマンティクスを導入し、コンテキストの混乱と境界に繋がる。 本稿では,事前学習したモデルから得られた雑音のセマンティクスをフィルタリングすることで,行動識別性を向上させる周波数対応デカップリングネットワークを提案する。 本手法は時間的行動検出ベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-04-01T10:57:37Z)
• Weakly-Supervised Temporal Action Localization with Bidirectional Semantic Consistency Constraint [83.36913240873236]
  WTAL(Weakly Supervised Temporal Action Localization)は、ビデオの時間的境界を分類し、ローカライズすることを目的としている。 本研究では,双方向意味整合性制約 (Bi-SCC) という単純な手法を提案する。 実験結果から,THUMOS14とActivityNetの最先端手法よりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2023-04-25T07:20:33Z)
• Implicit Motion Handling for Video Camouflaged Object Detection [60.98467179649398]
  本稿では,新しいビデオカモフラージュオブジェクト検出(VCOD)フレームワークを提案する。 短期的および長期的整合性を利用して、ビデオフレームからカモフラージュされたオブジェクトを検出する。
  論文  参考訳（メタデータ） (2022-03-14T17:55:41Z)
• Background-Click Supervision for Temporal Action Localization [82.4203995101082]
  時間的行動ローカライゼーションの弱さは、ビデオレベルのラベルからインスタンスレベルのアクションパターンを学習することを目的としており、アクションコンテキストの混乱が大きな課題である。 最近の作業の1つは、アクションクリックの監視フレームワークを構築している。 同様のアノテーションのコストを必要とするが、従来の弱い教師付き手法と比較して、着実にローカライズ性能を向上させることができる。 本稿では,既存の手法の性能ボトルネックが背景誤差に起因していることを明らかにすることにより,より強力なアクションローカライザを,アクションフレームではなく,バックグラウンドビデオフレーム上のラベルでトレーニングできることを見出した。
  論文  参考訳（メタデータ） (2021-11-24T12:02:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。