論文の概要: Interpreting video features: a comparison of 3D convolutional networks
and convolutional LSTM networks
- arxiv url: http://arxiv.org/abs/2002.00367v2
- Date: Fri, 10 Jul 2020 14:32:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-04 20:04:35.051801
- Title: Interpreting video features: a comparison of 3D convolutional networks
and convolutional LSTM networks
- Title（参考訳）: 映像特徴の解釈:3次元畳み込みネットワークと畳み込みLSTMネットワークの比較
- Authors: Joonatan M\"antt\"ari, Sofia Broom\'e, John Folkesson, Hedvig
Kjellstr\"om
- Abstract要約: 我々は3次元畳み込みネットワークと畳み込みLSTMネットワークが時間依存のフレーム間でどのように特徴を学習するかを比較する。
以上の結果から,3次元畳み込みモデルは入力シーケンス内の短い事象に集中し,空間的焦点を少ない連続した領域に配置することが示唆された。
- 参考スコア（独自算出の注目度）: 1.462434043267217
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A number of techniques for interpretability have been presented for deep
learning in computer vision, typically with the goal of understanding what the
networks have based their classification on. However, interpretability for deep
video architectures is still in its infancy and we do not yet have a clear
concept of how to decode spatiotemporal features. In this paper, we present a
study comparing how 3D convolutional networks and convolutional LSTM networks
learn features across temporally dependent frames. This is the first comparison
of two video models that both convolve to learn spatial features but have
principally different methods of modeling time. Additionally, we extend the
concept of meaningful perturbation introduced by \cite{MeaningFulPert} to the
temporal dimension, to identify the temporal part of a sequence most meaningful
to the network for a classification decision. Our findings indicate that the 3D
convolutional model concentrates on shorter events in the input sequence, and
places its spatial focus on fewer, contiguous areas.
- Abstract（参考訳）: コンピュータビジョンの深層学習において、ネットワークの分類に基づくものを理解することを目的として、解釈可能性に関するいくつかの技術が提示されている。
しかし、深層ビデオアーキテクチャの解釈可能性はまだ初期段階にあり、時空間的特徴をデコードする方法の明確な概念はまだわかっていない。
本稿では,3次元畳み込みネットワークと畳み込みLSTMネットワークが時間依存フレーム間でどのように特徴を学習するかを比較する。
これは、空間的特徴を学習するが、主に異なるモデリング時間を持つ2つのビデオモデルの最初の比較である。
さらに, \cite{MeaningFulPert} が導入した有意義な摂動の概念を時間次元に拡張し, 分類決定のためにネットワークに最も有意義なシーケンスの時間的部分を特定する。
以上の結果から,3次元畳み込みモデルは入力シーケンス内の短い事象に集中し,空間的焦点を少ない連続領域に配置することが示唆された。
関連論文リスト
- SIGMA:Sinkhorn-Guided Masked Video Modeling [69.31715194419091]
SIGMA (Sinkhorn-guided Masked Video Modelling) は、新しいビデオ事前学習法である。
時空管の特徴を,限られた数の学習可能なクラスタに均等に分散する。
10個のデータセットによる実験結果から,より高性能で時間的,堅牢な映像表現を学習する上で,SIGMAの有効性が検証された。
論文 参考訳（メタデータ） (2024-07-22T08:04:09Z) - SeMLaPS: Real-time Semantic Mapping with Latent Prior Networks and
Quasi-Planar Segmentation [53.83313235792596]
本稿では,RGB-Dシーケンスからのリアルタイム意味マッピングのための新しい手法を提案する。
2DニューラルネットワークとSLAMシステムに基づく3Dネットワークと3D占有マッピングを組み合わせる。
本システムは,2D-3Dネットワークベースシステムにおいて,最先端のセマンティックマッピング品質を実現する。
論文 参考訳（メタデータ） (2023-06-28T22:36:44Z) - 3D Convolutional with Attention for Action Recognition [6.238518976312625]
現在の行動認識法は、計算コストの高いモデルを用いて行動の時間的依存を学習する。
本稿では,3次元畳み込み層,完全連結層,注目層からなる依存関係を学習するためのディープニューラルネットワークアーキテクチャを提案する。
提案手法はまず3D-CNNを用いて行動の空間的特徴と時間的特徴を学習し,その後,注意時間機構によってモデルが本質的な特徴に注意を向けることを支援する。
論文 参考訳（メタデータ） (2022-06-05T15:12:57Z) - Exploring Optical-Flow-Guided Motion and Detection-Based Appearance for
Temporal Sentence Grounding [61.57847727651068]
テンポラルな文グラウンドディングは、与えられた文クエリに従って、意図しないビデオのターゲットセグメントをセマンティックにローカライズすることを目的としている。
これまでのほとんどの研究は、ビデオ全体のフレーム全体のフレームレベルの特徴を学習することに集中しており、それらをテキスト情報と直接一致させる。
我々は,光フロー誘導型モーションアウェア,検出ベース外観アウェア,3D認識オブジェクトレベル機能を備えた,動き誘導型3Dセマンティック推論ネットワーク(MA3SRN)を提案する。
論文 参考訳（メタデータ） (2022-03-06T13:57:09Z) - Efficient Modelling Across Time of Human Actions and Interactions [92.39082696657874]
3つの畳み込みニューラルネットワーク(CNND)における現在の固定サイズの時間的カーネルは、入力の時間的変動に対処するために改善できると主張している。
我々は、アーキテクチャの異なるレイヤにまたがる機能の違いを強化することで、アクションのクラス間でどのようにうまく対処できるかを研究する。
提案手法は、いくつかのベンチマークアクション認識データセットで評価され、競合する結果を示す。
論文 参考訳（メタデータ） (2021-10-05T15:39:11Z) - Spatio-Temporal Self-Attention Network for Video Saliency Prediction [13.873682190242365]
3D畳み込みニューラルネットワークは、コンピュータビジョンにおけるビデオタスクに対して有望な結果を得た。
本稿では,ビデオ・サリエンシ予測のための時空間自己注意3ネットワーク(STSANet)を提案する。
論文 参考訳（メタデータ） (2021-08-24T12:52:47Z) - Spatial-Temporal Correlation and Topology Learning for Person
Re-Identification in Videos [78.45050529204701]
クロススケール空間時空間相関をモデル化し, 識別的, 堅牢な表現を追求する新しい枠組みを提案する。
CTLはCNNバックボーンとキーポイント推定器を使用して人体から意味的局所的特徴を抽出する。
グローバルな文脈情報と人体の物理的接続の両方を考慮して、多スケールグラフを構築するためのコンテキスト強化トポロジーを探求する。
論文 参考訳（メタデータ） (2021-04-15T14:32:12Z) - Multi-view Depth Estimation using Epipolar Spatio-Temporal Networks [87.50632573601283]
一つのビデオから多視点深度を推定する新しい手法を提案する。
提案手法は,新しいEpipolar Spatio-Temporal Transformer(EST)を用いて時間的コヒーレントな深度推定を行う。
最近のMixture-of-Expertsモデルにインスパイアされた計算コストを削減するため、我々はコンパクトなハイブリッドネットワークを設計する。
論文 参考訳（メタデータ） (2020-11-26T04:04:21Z) - Comparison of Spatiotemporal Networks for Learning Video Related Tasks [0.0]
シーケンスから学習する多くの方法は、個々のフレームから時間的に2D CNNの特徴を処理したり、高性能な2D CNNアーキテクチャ内で直接的に3D畳み込みを利用する。
この研究は、MNISTベースのビデオデータセットを構築し、一般的なビデオ関連タスクのファセット(分類、順序付け、速度推定)のパラメータを制御する。
このデータセットでトレーニングされたモデルは、タスクと2D畳み込み、3D畳み込み、または畳み込みLSTMの使用によって、重要な方法で異なることが示されている。
論文 参考訳（メタデータ） (2020-09-15T19:57:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。