論文の概要: CHAIN: Exploring Global-Local Spatio-Temporal Information for Improved Self-Supervised Video Hashing

• arxiv url: http://arxiv.org/abs/2310.18926v1
• Date: Sun, 29 Oct 2023 07:36:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 15:27:46.732254
• Title: CHAIN: Exploring Global-Local Spatio-Temporal Information for Improved Self-Supervised Video Hashing
• Title（参考訳）: CHAIN: 自己監督型ビデオハッシュを改善するグローバルローカル時空間情報探索
• Authors: Rukai Wei, Yu Liu, Jingkuan Song, Heng Cui, Yanzhao Xie, and Ke Zhou
• Abstract要約: ローカルな冗長性と複雑なグローバルなビデオフレームのため、ビデオ検索の正確なハッシュを学習することは困難である。 提案するContrastive Hash-temporal Information (CHAIN) は、4つのビデオベンチマークデータセット上で最先端の自己監督型ビデオハッシュ法より優れている。
• 参考スコア（独自算出の注目度）: 45.216750448864275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Compressing videos into binary codes can improve retrieval speed and reduce storage overhead. However, learning accurate hash codes for video retrieval can be challenging due to high local redundancy and complex global dependencies between video frames, especially in the absence of labels. Existing self-supervised video hashing methods have been effective in designing expressive temporal encoders, but have not fully utilized the temporal dynamics and spatial appearance of videos due to less challenging and unreliable learning tasks. To address these challenges, we begin by utilizing the contrastive learning task to capture global spatio-temporal information of videos for hashing. With the aid of our designed augmentation strategies, which focus on spatial and temporal variations to create positive pairs, the learning framework can generate hash codes that are invariant to motion, scale, and viewpoint. Furthermore, we incorporate two collaborative learning tasks, i.e., frame order verification and scene change regularization, to capture local spatio-temporal details within video frames, thereby enhancing the perception of temporal structure and the modeling of spatio-temporal relationships. Our proposed Contrastive Hashing with Global-Local Spatio-temporal Information (CHAIN) outperforms state-of-the-art self-supervised video hashing methods on four video benchmark datasets. Our codes will be released.
• Abstract（参考訳）: ビデオをバイナリコードに圧縮することで、検索速度を改善し、ストレージオーバーヘッドを低減することができる。 しかし,フレーム間の局所冗長性や複雑なグローバル依存性,特にラベルの欠如により,映像検索のための正確なハッシュコードを学習することは困難である。 既存の自己監督型ビデオハッシュ法は、表現力のある時間エンコーダを設計するのに有効であるが、困難で信頼性の低い学習タスクのために、ビデオの時間的ダイナミクスと空間的外観を十分に活用していない。 これらの課題に対処するために,ビデオの時空間情報をハッシュ化するために,コントラスト学習タスクを利用することから始める。 学習フレームワークは,空間的および時間的変化に着目し,正のペアを生成するように設計された拡張戦略の助けを借りて,動作やスケール,視点に不変なハッシュコードを生成することができる。 さらに,フレーム順序検証とシーン変化正規化という2つの協調学習タスクを組み込んで,映像フレーム内の局所的時空間的詳細を捉えることにより,時間構造知覚と時空間的関係のモデル化を促進する。 提案するグローバルローカル時空間情報(chain)を用いたコントラストハッシュは,4つのビデオベンチマークデータセットにおける最先端の自己教師付きビデオハッシュ手法を上回っている。 私たちのコードはリリースされます。

関連論文リスト

• Dual-Stream Knowledge-Preserving Hashing for Unsupervised Video Retrieval [67.52910255064762]
  時間層とハッシュ層を含む単純な二重ストリーム構造を設計する。 まず、時間層とハッシュ層を含む単純な二重ストリーム構造を設計する。 自己スーパービジョンから得られたセマンティック類似性知識の助けを借りて、ハッシュ層はセマンティック検索のための情報を取得することを学習する。 このようにして、モデルは自然に二進的なコードに絡み合ったセマンティクスを保存します。
  論文  参考訳（メタデータ） (2023-10-12T03:21:12Z)
• Deeply-Coupled Convolution-Transformer with Spatial-temporal Complementary Learning for Video-based Person Re-identification [91.56939957189505]
  本稿では,高性能ビデオベース Re-ID のための新しい時空間補完学習フレームワークである Deeply-Coupled Convolution-Transformer (DCCT) を提案する。 私たちのフレームワークは、ほとんどの最先端のメソッドよりも優れたパフォーマンスを実現できます。
  論文  参考訳（メタデータ） (2023-04-27T12:16:44Z)
• Time Is MattEr: Temporal Self-supervision for Video Transformers [72.42240984211283]
  我々は、時間的ダイナミクスをよりよく学習するために、ビデオモデルのための単純で効果的な自己教師型タスクを設計する。 ビデオフレームの時間順序を余分な自己監督として学習し、ランダムにシャッフルされたフレームを低信頼出力に強制する。 様々なビデオ行動認識タスクにおいて,本手法の有効性と最先端のビデオ変換器との互換性を実証する。
  論文  参考訳（メタデータ） (2022-07-19T04:44:08Z)
• Controllable Augmentations for Video Representation Learning [34.79719112810065]
  本稿では,ローカルクリップとグローバルビデオを併用して,詳細な地域レベルの対応から学習し,時間的関係を最小化する枠組みを提案する。 我々のフレームワークは、アクション認識とビデオ検索の3つのビデオベンチマークよりも優れており、より正確な時間的ダイナミクスを捉えることができる。
  論文  参考訳（メタデータ） (2022-03-30T19:34:32Z)
• Video Salient Object Detection via Contrastive Features and Attention Modules [106.33219760012048]
  本稿では,注目モジュールを持つネットワークを用いて,映像の有意な物体検出のためのコントラスト特徴を学習する。 コアテンションの定式化は、低レベル特徴と高レベル特徴を組み合わせるために用いられる。 提案手法は計算量が少なく,最先端の手法に対して良好に動作することを示す。
  論文  参考訳（メタデータ） (2021-11-03T17:40:32Z)
• Learning by Aligning Videos in Time [10.075645944474287]
  本稿では,時間的映像アライメントを前提課題として,映像表現を学習するための自己教師型アプローチを提案する。 我々は、エンコーダネットワークをトレーニングするための監視信号として使用できる、時間的アライメント損失と時間的正規化項の新たな組み合わせを利用する。
  論文  参考訳（メタデータ） (2021-03-31T17:55:52Z)
• An Efficient Recurrent Adversarial Framework for Unsupervised Real-Time Video Enhancement [132.60976158877608]
  対比ビデオの例から直接学習する効率的な対比ビデオ強化フレームワークを提案する。 特に,空間的情報と時間的情報の暗黙的統合のための局所的モジュールとグローバルモジュールからなる新しい再帰的セルを導入する。 提案する設計では,フレーム間の情報伝達を効率的に行うことができ,複雑なネットワークの必要性を低減できる。
  論文  参考訳（メタデータ） (2020-12-24T00:03:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。