論文の概要: Static and Dynamic Concepts for Self-supervised Video Representation Learning

• arxiv url: http://arxiv.org/abs/2207.12795v1
• Date: Tue, 26 Jul 2022 10:28:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-27 12:26:14.296013
• Title: Static and Dynamic Concepts for Self-supervised Video Representation Learning
• Title（参考訳）: 自己教師付き映像表現学習のための静的および動的概念
• Authors: Rui Qian, Shuangrui Ding, Xian Liu, Dahua Lin
• Abstract要約: 本稿では,自己教師付きビデオ表現学習のための新しい学習手法を提案する。 人間がビデオを理解する方法に触発され、まず一般的な視覚概念を学習し、ビデオ理解のための識別的地域への参加を提案する。
• 参考スコア（独自算出の注目度）: 70.15341866794303
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a novel learning scheme for self-supervised video representation learning. Motivated by how humans understand videos, we propose to first learn general visual concepts then attend to discriminative local areas for video understanding. Specifically, we utilize static frame and frame difference to help decouple static and dynamic concepts, and respectively align the concept distributions in latent space. We add diversity and fidelity regularizations to guarantee that we learn a compact set of meaningful concepts. Then we employ a cross-attention mechanism to aggregate detailed local features of different concepts, and filter out redundant concepts with low activations to perform local concept contrast. Extensive experiments demonstrate that our method distills meaningful static and dynamic concepts to guide video understanding, and obtains state-of-the-art results on UCF-101, HMDB-51, and Diving-48.
• Abstract（参考訳）: 本稿では,自己教師付き映像表現学習のための新しい学習手法を提案する。 映像の理解方法に動機づけられ,まず視覚概念を学習し,ビデオ理解のための識別的局所領域に出席することを提案する。 具体的には、静的フレームとフレーム差を利用して静的および動的概念を分離し、それぞれ潜在空間における概念分布を調整する。 多様性と忠実性の規則化を追加して、意味のある概念のコンパクトなセットを学ぶことを保証します。 次に、異なる概念の詳細な局所的特徴を集約し、低アクティベーションで冗長な概念をフィルタリングし、局所的概念コントラストを実行する。 広汎な実験により,本手法はビデオ理解のための意味のある静的および動的概念を抽出し,UCF-101,HMDB-51,Diving-48の最先端結果を得た。

関連論文リスト

• ConceptExpress: Harnessing Diffusion Models for Single-image Unsupervised Concept Extraction [20.43411883845885]
  本研究では,非教師付き概念抽出(UCE)という,概念の人間的知識のない非教師付き概念抽出手法を提案する。 複数の概念を含むイメージを与えられたタスクは、事前訓練された拡散モデルから既存の知識のみに依存する個々の概念を抽出し、再現することを目的としている。 本稿では,事前学習した拡散モデル固有の能力を2つの側面に解き放つことで,UCEに対処するConceptExpressを提案する。
  論文  参考訳（メタデータ） (2024-07-09T17:50:28Z)
• A Self-explaining Neural Architecture for Generalizable Concept Learning [29.932706137805713]
  現在,SOTA の概念学習アプローチは,概念の忠実さの欠如と,概念の相互運用の限界という2つの大きな問題に悩まされている。 ドメイン間の概念学習のための新しい自己説明型アーキテクチャを提案する。 提案手法は,現在広く使われている4つの実世界のデータセットに対するSOTA概念学習手法に対して有効であることを示す。
  論文  参考訳（メタデータ） (2024-05-01T06:50:18Z)
• Advancing Ante-Hoc Explainable Models through Generative Adversarial Networks [24.45212348373868]
  本稿では,視覚的分類タスクにおけるモデル解釈可能性と性能を向上させるための新しい概念学習フレームワークを提案する。 本手法では, 教師なし説明生成器を一次分類器ネットワークに付加し, 対角訓練を利用する。 この研究は、タスク整合概念表現を用いた本質的に解釈可能なディープビジョンモデルを構築するための重要なステップを示す。
  論文  参考訳（メタデータ） (2024-01-09T16:16:16Z)
• ConceptX: A Framework for Latent Concept Analysis [21.760620298330235]
  本稿では,言語モデル(pLM)における潜在表現空間の解釈と注釈付けを行うための,ループ型ヒューマン・イン・ザ・ループ・フレームワークであるConceptXを提案する。 我々は、教師なしの手法を用いて、これらのモデルで学んだ概念を発見し、人間が概念の説明を生成するためのグラフィカルインターフェースを実現する。
  論文  参考訳（メタデータ） (2022-11-12T11:31:09Z)
• Automatic Concept Extraction for Concept Bottleneck-based Video Classification [58.11884357803544]
  本稿では,概念に基づくビデオ分類に必要かつ十分な概念抽象セットを厳格に構成する概念発見抽出モジュールを提案する。 提案手法は,自然言語における概念概念の抽象概念を応用し,複雑なタスクに概念ボトルネック法を一般化する。
  論文  参考訳（メタデータ） (2022-06-21T06:22:35Z)
• Visual Concepts Tokenization [65.61987357146997]
  本稿では,教師なしトランスフォーマーに基づく視覚概念トークン化フレームワーク VCT を提案する。 これらの概念トークンを得るためには、概念トークン間の自己注意なしで画像トークン層から視覚情報を抽出するために、クロスアテンションのみを用いる。 さらに,異なる概念トークンが独立した視覚概念を表現することを容易にするために,概念分離損失を提案する。
  論文  参考訳（メタデータ） (2022-05-20T11:25:31Z)
• Learning from Untrimmed Videos: Self-Supervised Video Representation Learning with Hierarchical Consistency [60.756222188023635]
  教師なしビデオにおいて,より豊富な情報を活用することで表現の学習を提案する。 HiCoは、トリミングされていないビデオのより強力な表現を生成するだけでなく、トリミングされたビデオに適用した場合の表現品質も向上する。
  論文  参考訳（メタデータ） (2022-04-06T18:04:54Z)
• Human-Centered Concept Explanations for Neural Networks [47.71169918421306]
  概念活性化ベクトル(Concept Activation Vectors, CAV)のクラスを含む概念的説明を紹介する。 次に、自動的に概念を抽出するアプローチと、それらの注意事項に対処するアプローチについて議論する。 最後に、このような概念に基づく説明が、合成設定や実世界の応用において有用であることを示すケーススタディについて論じる。
  論文  参考訳（メタデータ） (2022-02-25T01:27:31Z)
• Interactive Disentanglement: Learning Concepts by Interacting with their Prototype Representations [15.284688801788912]
  本稿では,ニューラル概念学習者の潜伏空間の理解と改訂のためのプロトタイプ表現の利点を示す。 この目的のために,対話型概念スワッピングネットワーク(iCSN)を導入する。 iCSNは、ペア画像の潜在表現を交換することで、概念情報を特定のプロトタイプスロットにバインドすることを学ぶ。
  論文  参考訳（メタデータ） (2021-12-04T09:25:40Z)
• Unsupervised Learning of Compositional Energy Concepts [70.11673173291426]
  本稿では,概念を別個のエネルギー関数として発見し,表現するCOMETを提案する。 Cometは、統一されたフレームワークの下でのオブジェクトだけでなく、グローバルな概念も表現します。
  論文  参考訳（メタデータ） (2021-11-04T17:46:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。