論文の概要: StretchySnake: Flexible SSM Training Unlocks Action Recognition Across Spatio-Temporal Scales
- arxiv url: http://arxiv.org/abs/2510.16209v1
- Date: Fri, 17 Oct 2025 20:43:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-25 00:56:38.89939
- Title: StretchySnake: Flexible SSM Training Unlocks Action Recognition Across Spatio-Temporal Scales
- Title（参考訳）: StretchySnake: フレキシブルSSMトレーニングは、時空間スケール全体でのアクション認識をアンロックする
- Abstract要約: 状態空間モデル(SSM)は、様々なタスクにおけるトランスフォーマーの競合代替として登場した。
ビデオ理解のための現在のトレーニング方法は、トランスフォーマー向けに調整されており、SSMのユニークな属性を完全に活用できない。
フレキシブルトレーニングの5つのバリエーションを紹介し比較し、ビデオSSMの最も効果的な戦略を特定する。
- 参考スコア（独自算出の注目度）: 45.517338927751354
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: State space models (SSMs) have emerged as a competitive alternative to transformers in various tasks. Their linear complexity and hidden-state recurrence make them particularly attractive for modeling long sequences, whereas attention becomes quadratically expensive. However, current training methods for video understanding are tailored towards transformers and fail to fully leverage the unique attributes of SSMs. For example, video models are often trained at a fixed resolution and video length to balance the quadratic scaling of attention cost against performance. Consequently, these models suffer from degraded performance when evaluated on videos with spatial and temporal resolutions unseen during training; a property we call spatio-temporal inflexibility. In the context of action recognition, this severely limits a model's ability to retain performance across both short- and long-form videos. Therefore, we propose a flexible training method that leverages and improves the inherent adaptability of SSMs. Our method samples videos at varying temporal and spatial resolutions during training and dynamically interpolates model weights to accommodate any spatio-temporal scale. This instills our SSM, which we call StretchySnake, with spatio-temporal flexibility and enables it to seamlessly handle videos ranging from short, fine-grained clips to long, complex activities. We introduce and compare five different variants of flexible training, and identify the most effective strategy for video SSMs. On short-action (UCF-101, HMDB-51) and long-action (COIN, Breakfast) benchmarks, StretchySnake outperforms transformer and SSM baselines alike by up to 28%, with strong adaptability to fine-grained actions (SSV2, Diving-48). Therefore, our method provides a simple drop-in training recipe that makes video SSMs more robust, resolution-agnostic, and efficient across diverse action recognition scenarios.
- Abstract（参考訳）: 状態空間モデル(SSM)は、様々なタスクにおけるトランスフォーマーの競合代替として登場した。
線形の複雑さと隠れ状態の再発は、長いシーケンスをモデル化するのに特に魅力的であるが、注意は4次的に高価になる。
しかし、現在のビデオ理解のためのトレーニング手法はトランスフォーマー向けに調整されており、SSMのユニークな属性を完全に活用できない。
例えば、ビデオモデルは、パフォーマンスに対する注意コストの2次スケーリングのバランスをとるために、固定解像度とビデオ長で訓練されることが多い。
その結果、これらのモデルは、トレーニング中に見えない空間分解能と時間分解能を持つビデオで評価した場合、劣化する性能に悩まされる。
アクション認識の文脈では、これはショートビデオとロングフォームビデオの両方のパフォーマンスを維持するモデルの能力を著しく制限する。
そこで本研究では,SSMの適応性を活用したフレキシブルな学習手法を提案する。
本手法は,訓練中の時間分解能と空間分解能の異なる映像をサンプリングし,任意の時空間スケールに対応するために動的にモデル重みを補間する。
StretchySnakeと呼ばれるこのSSMには、時空間的な柔軟性があり、短い、きめ細かいクリップから長い、複雑なアクティビティまで、シームレスにビデオを扱うことができます。
フレキシブルトレーニングの5つのバリエーションを紹介し比較し、ビデオSSMの最も効果的な戦略を特定する。
ショートアクション(UCF-101, HMDB-51)とロングアクション(COIN, Breakfast)のベンチマークでは、StretchySnakeはトランスフォーマーとSSMベースラインを最大28%上回り、きめ細かいアクションに強く適応する(SSV2, Diving-48)。
そこで本手法は,多様なアクション認識シナリオに対して,ビデオSSMをより堅牢で,解像度に依存しない,効率的にするための簡易なドロップイントレーニングレシピを提供する。
関連論文リスト
- Self-Supervised Learning of Structured Dynamics from Videos [76.23834498074805]
予め訓練した画像ビジョン変換器の凍結した特徴から、構造化された動き表現を復元できるかどうかを検討する。
本研究では、時間変化の主源を残留力学から明確に分離する構造ダイナミクスモデル(SDM)を提案する。
ProbeMotionのSDMは、カメラモーション、オブジェクトモーション、複合ダイナミクスを備えた合成ビデオと実ビデオにまたがる新しい評価スイートである。
論文 参考訳（メタデータ） (2026-07-23T17:55:07Z) - Efficient Learning of Deep State Space Models via Importance Smoothing [1.608358834512617]
深部宇宙モデル(DSSM)の大規模化は依然として困難である。
パラダイム間のギャップを埋める新しい訓練手法として,モンテカルロ変分法(PVMC)を提案する。
提案手法は,一連のベースライン実験において,最先端ないし優れた結果が得られ,最も高速なSMC手法よりも10倍の速度でトレーニングを行う。
論文 参考訳（メタデータ） (2026-05-20T12:41:50Z) - Exploring High-Order Self-Similarity for Video Understanding [55.52840327834189]
MOSS(Multi-Order Self-Similarity)は、マルチオーダーSTSS機能の学習と統合を目的とした軽量ニューラルネットワークモジュールである。
多様なビデオタスクに適用することで、限界計算コストとメモリ使用量のみを消費しながら、モーションモデリング能力を向上させることができる。
論文 参考訳（メタデータ） (2026-04-22T16:48:43Z) - Efficient Spatial-Temporal Focal Adapter with SSM for Temporal Action Detection [6.008736333630327]
時間的人間の行動検出は、未トリミングビデオ内のアクションセグメントを識別し、ローカライズすることを目的としている。
CNNやTransformerモデルのような以前のアーキテクチャは、機能冗長性とグローバルな依存性モデリング機能に苦慮していた。
本研究では,状態空間モデルを用いた映像人間の行動検出のための新しい枠組みを構築した。
論文 参考訳（メタデータ） (2026-04-10T09:51:15Z) - Temporal Gains, Spatial Costs: Revisiting Video Fine-Tuning in Multimodal Large Language Models [36.34630132055548]
我々は,ビデオSFTがMLLMの視覚能力にどう影響するかを系統的に研究する。
Video-SFTは、ビデオのパフォーマンスを確実に改善するが、静的画像ベンチマークでは、利得や劣化が制限されることが多い。
本稿では,フレーム数を適応的に割り当て,映像と映像のトレードオフを部分的に緩和する命令対応ハイブリッドフレーム戦略について検討する。
論文 参考訳（メタデータ） (2026-03-18T09:46:44Z) - ViaRL: Adaptive Temporal Grounding via Visual Iterated Amplification Reinforcement Learning [68.76048244253582]
ビデオ理解におけるフレーム選択の最適化にルールベース強化学習(RL)を利用する最初のフレームワークであるViaRLを紹介する。
ViaRLは、下流モデルの応答精度を報奨信号として利用し、試行錯誤によってフレームセレクタを訓練する。
ViaRLは、多様なビデオ理解タスクに対して、時間的基盤性能と堅牢な一般化を一貫して提供します。
論文 参考訳（メタデータ） (2025-05-21T12:29:40Z) - A Temporal Modeling Framework for Video Pre-Training on Video Instance Segmentation [32.65111815620319]
我々は、VISモデルを強化するための新しいビデオ事前学習手法を提案する。
私たちのイノベーションは、事前学習と微調整の段階の違いを減らすことに焦点を当てています。
提案手法は,OVISデータセットの平均精度を4.0%向上させる。
論文 参考訳（メタデータ） (2025-03-22T07:01:25Z) - VideoMerge: Towards Training-free Long Video Generation [46.108622251662176]
長いビデオ生成は、コンピュータビジョンにおける挑戦的で魅力的なトピックであり続けている。
本稿では,短時間のビデオのマージにシームレスに適応できるトレーニングフリーのVideoMergeを提案する。
論文 参考訳（メタデータ） (2025-03-13T00:47:59Z) - MS-Temba : Multi-Scale Temporal Mamba for Efficient Temporal Action Detection [11.534493974662304]
未トリミングビデオにおける時間的行動検出(TAD)は、長期保存ビデオを効率的に処理できるモデルを必要とする。
我々は,多スケールテンポラルマンバ (MS-Temba) を提案する。
MS-Tembaは、長期ビデオの最先端のパフォーマンスを達成し、短いセグメントで競争力を維持し、モデルの複雑さを88%削減する。
論文 参考訳（メタデータ） (2025-01-10T17:52:47Z) - Free Video-LLM: Prompt-guided Visual Perception for Efficient Training-free Video LLMs [56.040198387038025]
トレーニング不要ビデオLLMの効率的な推論のための新しいプロンプト誘導視覚認識フレームワーク(Free Video-LLM)を提案する。
提案手法は,複数のビデオ質問応答ベンチマークにおいて高い性能を維持しながら,視覚トークンの数を効果的に削減する。
論文 参考訳（メタデータ） (2024-10-14T12:35:12Z) - Self-Supervised Video Representation Learning via Latent Time Navigation [12.721647696921865]
自己教師付きビデオ表現学習は、1つのビデオの異なる時間セグメント間の類似性を最大化することを目的としている。
微粒な動きを捉えるために、LTN(Latent Time Navigation)を提案する。
実験により,LTNによる映像表現の学習は,動作分類の性能を一貫して向上させることが示された。
論文 参考訳（メタデータ） (2023-05-10T20:06:17Z) - Leaping Into Memories: Space-Time Deep Feature Synthesis [93.10032043225362]
内部モデルから映像を合成するアーキテクチャ非依存の手法であるLEAPSを提案する。
我々は,Kineetics-400に基づく多種多様なアーキテクチャの進化的注目を反転させることにより,LEAPSの適用性を定量的かつ定性的に評価する。
論文 参考訳（メタデータ） (2023-03-17T12:55:22Z) - Generating Long Videos of Dynamic Scenes [66.56925105992472]
本稿では、物体の動きを再現する映像生成モデル、カメラ視点の変化、時間とともに現れる新しいコンテンツについて述べる。
よくある障害ケースは、コンテンツが時間的一貫性を提供する誘導バイアスに過度に依存するため、決して変化しないことです。
論文 参考訳（メタデータ） (2022-06-07T16:29:51Z) - Long-Short Temporal Contrastive Learning of Video Transformers [62.71874976426988]
ビデオのみのデータセットにおけるビデオトランスフォーマーの自己教師付き事前トレーニングは、大規模画像データセットでの教師付き事前トレーニングで得られたものよりも、同等以上のアクション認識結果につながる可能性がある。
我々の手法は、長短時空間コントラスト学習(Long-Short Temporal Contrastive Learning)と呼ばれ、ビデオトランスフォーマーが、より長い時間的範囲から捉えた時間的文脈を予測することによって、効果的なクリップレベルの表現を学習することを可能にする。
論文 参考訳（メタデータ） (2021-06-17T02:30:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。