論文の概要: S4ND: Modeling Images and Videos as Multidimensional Signals Using State
Spaces
- arxiv url: http://arxiv.org/abs/2210.06583v1
- Date: Wed, 12 Oct 2022 20:55:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-14 15:14:11.995690
- Title: S4ND: Modeling Images and Videos as Multidimensional Signals Using State
Spaces
- Title（参考訳）: s4nd: 状態空間を用いた多次元信号としての映像と映像のモデリング
- Authors: Eric Nguyen, Karan Goel, Albert Gu, Gordon W. Downs, Preey Shah, Tri
Dao, Stephen A. Baccus, Christopher R\'e
- Abstract要約: S4NDは,連続多次元信号として1ドル,2ドル,3ドルで大規模視覚データをモデル化できることを示す。
S4NDは、CIFAR-10でベースラインのConv2Dを40%上回る、強力なゼロショット(トレーニング時に見えない)解像度を実現する。
プログレッシブリサイズでトレーニングすると、S4NDは高解像度モデルの$sim 1%以内で、トレーニングは22%以上高速になる。
- 参考スコア（独自算出の注目度）: 31.797315037365983
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Visual data such as images and videos are typically modeled as
discretizations of inherently continuous, multidimensional signals. Existing
continuous-signal models attempt to exploit this fact by modeling the
underlying signals of visual (e.g., image) data directly. However, these models
have not yet been able to achieve competitive performance on practical vision
tasks such as large-scale image and video classification. Building on a recent
line of work on deep state space models (SSMs), we propose \method, a new
multidimensional SSM layer that extends the continuous-signal modeling ability
of SSMs to multidimensional data including images and videos. We show that S4ND
can model large-scale visual data in $1$D, $2$D, and $3$D as continuous
multidimensional signals and demonstrates strong performance by simply swapping
Conv2D and self-attention layers with \method\ layers in existing
state-of-the-art models. On ImageNet-1k, \method\ exceeds the performance of a
Vision Transformer baseline by $1.5\%$ when training with a $1$D sequence of
patches, and matches ConvNeXt when modeling images in $2$D. For videos, S4ND
improves on an inflated $3$D ConvNeXt in activity classification on HMDB-51 by
$4\%$. S4ND implicitly learns global, continuous convolutional kernels that are
resolution invariant by construction, providing an inductive bias that enables
generalization across multiple resolutions. By developing a simple bandlimiting
modification to S4 to overcome aliasing, S4ND achieves strong zero-shot (unseen
at training time) resolution performance, outperforming a baseline Conv2D by
$40\%$ on CIFAR-10 when trained on $8 \times 8$ and tested on $32 \times 32$
images. When trained with progressive resizing, S4ND comes within $\sim 1\%$ of
a high-resolution model while training $22\%$ faster.
- Abstract（参考訳）: 画像やビデオなどの視覚データは、本質的に連続した多次元信号の離散化としてモデル化される。
既存の連続信号モデルは、視覚データ(例えば画像)の信号を直接モデル化することで、この事実を活用しようとする。
しかし、これらのモデルは、大規模な画像分類やビデオ分類のような実用的な視覚タスクにおいて、まだ競争力のある性能を達成できていない。
深層状態空間モデル(SSM)に関する最近の研究に基づいて、画像やビデオを含む多次元データにSSMの連続信号モデリング能力を拡張した新しい多次元SSM層であるShamethodを提案する。
我々は,s4ndが連続多次元信号として1ドル,2ドル,3ドルで大規模視覚データをモデル化できることを示し,既存の最先端モデルでconv2d層とセルフアテンション層を \method\層に置き換えることで,強力な性能を示す。
ImageNet-1kでは、Vision Transformerベースラインのパフォーマンスが$1.5\%を超えると、パッチの1ドルDシーケンスでトレーニングされ、イメージを2ドルDでモデリングするときにConvNeXtにマッチする。
ビデオの場合、s4ndはhmdb-51のアクティビティ分類で$4\%$で膨らんだ$3$d convnextで改善される。
s4ndは、構成によって不変な大域的連続畳み込みカーネルを暗黙的に学習し、複数の解像度にわたる一般化を可能にする帰納的バイアスを提供する。
S4NDは、エイリアスを克服するためにS4の単純なバンドリミット修正を開発することで、強力なゼロショット(トレーニング時に見えない)解像度性能を実現し、ベースラインのConv2Dを8 \times 8$でトレーニングし、32$イメージで32$でテストすると、CIFAR-10で40\%以上のパフォーマンスを達成している。
プログレッシブリサイズでトレーニングすると、S4NDは高解像度モデルの$\sim 1\%$以内で、トレーニングは22\%$速くなります。
関連論文リスト
- Scaling 4D Representations [77.85462796134455]
ビデオからの純粋な自己教師型学習のために、スケーリングはまだ説得力を持って実証されていない。
本稿では,非意味的視覚課題における自己指導型学習の評価に焦点をあてる。
論文 参考訳（メタデータ） (2024-12-19T18:59:51Z) - Deblur4DGS: 4D Gaussian Splatting from Blurry Monocular Video [64.38566659338751]
Deblur4DGSという,ぼやけたモノクロビデオから高品質な4Dモデルを再構成するための,最初の4Dガウス分割フレームワークを提案する。
本稿では,多面的,多面的整合性,多面的,多面的,多面的な整合性を実現するために露光規則化を導入し,斬新な視点以外では,デブレア4DGSは,デブロアリング,フレーム合成,ビデオ安定化など,多面的な視点からぼやけた映像を改善するために応用できる。
論文 参考訳（メタデータ） (2024-12-09T12:02:11Z) - CAT4D: Create Anything in 4D with Multi-View Video Diffusion Models [98.03734318657848]
本研究では,モノクロ映像から4次元(ダイナミックな3D)シーンを生成するCAT4Dを提案する。
我々は、多様なデータセットの組み合わせに基づいて訓練された多視点ビデオ拡散モデルを活用して、新しいビュー合成を実現する。
新規なビュー合成と動的シーン再構成ベンチマークにおける競合性能を実証する。
論文 参考訳（メタデータ） (2024-11-27T18:57:16Z) - Diffusion4D: Fast Spatial-temporal Consistent 4D Generation via Video Diffusion Models [116.31344506738816]
高速でスケーラブルな4Dコンテンツ生成のための新しいフレームワーク textbfDiffusion4D を提案する。
ダイナミックな3Dアセットの軌道ビューを合成できる4D対応ビデオ拡散モデルを開発した。
提案手法は, 生成効率と4次元幾何整合性の観点から, 従来の最先端技術を超えている。
論文 参考訳（メタデータ） (2024-05-26T17:47:34Z) - Diffusion$^2$: Dynamic 3D Content Generation via Score Composition of Video and Multi-view Diffusion Models [6.738732514502613]
Diffusion$2$は動的3Dコンテンツ作成のための新しいフレームワークである。
3次元モデルからの幾何的一貫性と時間的滑らかさに関する知識を精査し、密集した多視点画像を直接サンプリングする。
非常にシームレスで一貫した4Dアセットを生成する上で,提案手法の有効性を示す実験を行った。
論文 参考訳（メタデータ） (2024-04-02T17:58:03Z) - STAG4D: Spatial-Temporal Anchored Generative 4D Gaussians [36.83603109001298]
STAG4Dは、事前訓練された拡散モデルと動的3次元ガウススプラッティングを組み合わせた、高忠実度4D生成のための新しいフレームワークである。
提案手法は, レンダリング品質, 時空間整合性, 生成ロバスト性において, 先行4次元生成よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-03-22T04:16:33Z) - Efficient4D: Fast Dynamic 3D Object Generation from a Single-view Video [42.10482273572879]
本稿では,効率的な4Dオブジェクト生成フレームワークであるEfficient4Dを提案する。
異なるカメラビューの下で高品質な時空一貫性の画像を生成し、ラベル付きデータとして使用する。
合成ビデオと実ビデオの両方の実験によると、Efficient4Dのスピードは10倍に向上している。
論文 参考訳（メタデータ） (2024-01-16T18:58:36Z) - Better Diffusion Models Further Improve Adversarial Training [97.44991845907708]
拡散確率モデル (DDPM) によって生成されたデータは, 対人訓練を改善することが認識されている。
本稿では,効率のよい最新の拡散モデルを用いて,肯定的な回答を与える。
我々の逆向きに訓練されたモデルは、生成されたデータのみを使用してRobustBench上で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-02-09T13:46:42Z) - Diagonal State Spaces are as Effective as Structured State Spaces [3.8276199743296906]
音声コマンドのデータセット上での音声分類は、概念的にシンプルで実装が容易でありながら、Long Range Arenaタスク上でのS4のパフォーマンスと一致することを示す。
本研究は,低ランク補正を伴わずともS4の性能に一致できることを示し,状態行列を対角線と仮定する。
論文 参考訳（メタデータ） (2022-03-27T16:30:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。