論文の概要: Detecting Temporal Concepts in Video Transformers via a No-False-Positives Test

• arxiv url: http://arxiv.org/abs/2610.33353v1
• Date: Fri, 23 Oct 2026 22:47:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.308238
• Title: Detecting Temporal Concepts in Video Transformers via a No-False-Positives Test
• Title（参考訳）: No-False-Positivesテストによるビデオ変換器の時間概念の検出
• Abstract要約: 時間的概念を符号化する特徴を特定するために,統計的特異性を正式に保証した統計検査であるNo-Positive-Falses test(NFP)を導入する。 特別に設計された刺激を用いて,ビデオMAE,V-JEPA2,TimeSformerによって生成された表現に適用する。 Sparse Autoencoder は時空間への方向の投影により検出速度が増加し,時空間への基準よりも時空間への基準よりも時空間への基準としてテストフラッグが特徴的であることを示す。
• 参考スコア（独自算出の注目度）: 9.401899624907069
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video models have the architecture to support encoding temporal aspects of the input, i.e. concepts that require more than one frame to define, like object movement. However, because motion and appearance change are entangled, a feature that appears to encode temporal concepts like object movement may instead encode non-temporal concepts like spatial presence at different positions whose activations merely correlate with motion. To resolve this, we introduce the No-False-Positives (NFP) test, a statistical test with a formal guarantee of statistical specificity for identifying features encoding temporal concepts. Using specially designed stimuli, we apply this test to representations produced by VideoMAE, V-JEPA2, and TimeSformer, and observe that temporal features exist in each model. We validate the test first by showing it yields no temporal features for the DINOv2 image-encoder. Then, using a synthetic representation space, we show that detection rate increases with a direction's projection onto the temporal subspace, and that Sparse Autoencoder features test-flagged as temporal project much more of their norm onto the temporal subspace than unflagged features. Interventions on temporal SAE features yield mixed results across models, suggesting that intervening on temporal features may not outperform a non-temporal feature baseline.
• Abstract（参考訳）: ビデオモデルは、入力の時間的側面、すなわちオブジェクトの動きのような複数のフレームを定義する必要のある概念を符号化するアーキテクチャを持つ。 しかし、動きや外観の変化が絡み合っているため、物体の動きのような時間的概念を符号化しているように見える特徴は、運動とのみ相関する異なる位置における空間的存在のような非時間的概念を符号化する可能性がある。 これを解決するために,時間的概念をコードする特徴を特定するために,統計的特異性を正式に保証した統計テストであるNo-False-Positives test(NFP)を導入する。 特別に設計された刺激を用いて,ビデオMAE,V-JEPA2,TimeSformerによって生成された表現に適用し,各モデルに時間的特徴が存在することを観察する。 我々はまず、DINOv2画像エンコーダの時間的特徴を示さずにテストを検証する。 そこで, 合成表現空間を用いて, 時間的部分空間への方向投影により検出率が増加し, Sparse Autoencoder は時間的プロジェクトとしてテストフラッグを特徴とし, 時間的部分空間へのノルムを未フラグよりもはるかに高めることを示した。 時間的SAE特徴に対する介入は、時間的特徴に対する介入が時間的特徴ベースラインを上回るものではないことを示唆し、モデル間で混合結果をもたらす。

関連論文リスト

• UST-SSM: Unified Spatio-Temporal State Space Models for Point Cloud Video Modeling [53.199942923818206]
  ポイントクラウドビデオは、光と視点の変化の影響を低減しつつ3Dの動きを捉え、微妙で連続した人間の行動を認識するのに非常に効果的である。 SSM(Selective State Space Models)は、線形複雑性を伴うシーケンスモデリングにおいて優れた性能を示す。 我々は,SSMの最新の進歩をクラウドビデオに向け,統一時空間モデル(UST-SSM)を提案する。
  論文  参考訳（メタデータ） (2025-08-20T10:46:01Z)
• Identity-Preserving Text-to-Video Generation Guided by Simple yet Effective Spatial-Temporal Decoupled Representations [131.33758144860988]
  アイデンティティ保存型テキスト・ツー・ビデオ(IPT2V)生成は、一貫した人間のアイデンティティを持つ高忠実度ビデオを作成することを目的としている。 現在のエンドツーエンドフレームワークは、重要な空間的・時間的トレードオフを被る。 本稿では,表現をレイアウトの空間的特徴と運動力学の時間的特徴に分解する,シンプルで効果的な空間時空間分離フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-07-07T06:54:44Z)
• A Spatial-Temporal Deformable Attention based Framework for Breast Lesion Detection in Videos [107.96514633713034]
  本稿では,STNet という空間的・時間的変形可能なアテンションベースのフレームワークを提案する。 我々のSTNetは、局所的な空間的時間的特徴融合を行うために、空間的時間的変形可能なアテンションモジュールを導入している。 乳腺病変の超音波画像データセットを用いた実験により,STNetは最先端の検出性能を得ることができた。
  論文  参考訳（メタデータ） (2023-09-09T07:00:10Z)
• Orthogonal Temporal Interpolation for Zero-Shot Video Recognition [45.53856045374685]
  ゼロショットビデオ認識(ゼロショットビデオ認識、ZSVR)は、モデルトレーニングプロセス中に見たことのないビデオカテゴリの認識を目的としたタスクである。 近年の視覚言語モデル (VLM) は, 大規模画像テキストペアで事前訓練されている。
  論文  参考訳（メタデータ） (2023-08-14T02:26:49Z)
• ViTs for SITS: Vision Transformers for Satellite Image Time Series [52.012084080257544]
  ビジョン変換器(ViT)に基づく一般衛星画像時系列(SITS)処理のための完全アテンショナルモデルを提案する。 TSViTはSITSレコードを空間と時間で重複しないパッチに分割し、トークン化し、分解されたテンポロ空間エンコーダで処理する。
  論文  参考訳（メタデータ） (2023-01-12T11:33:07Z)
• Motion-aware Memory Network for Fast Video Salient Object Detection [15.967509480432266]
  我々は、隣接するフレームから現在のフレームの有用な時間情報をVSODの時間枝として抽出する時空間メモリ(STM)ベースのネットワークを設計する。 符号化段階では、電流とその隣接するフレームから高次特徴を用いて高次時間特徴を生成する。 復号化段階では,空間的および時間的分岐に対する効果的な融合戦略を提案する。 提案モデルでは,光学フローなどの前処理を必要とせず,推定時に100FPS近い速度に達することができる。
  論文  参考訳（メタデータ） (2022-08-01T15:56:19Z)
• Action Forecasting with Feature-wise Self-Attention [20.068238091354583]
  ビデオからの人間の行動予測のための新しいアーキテクチャを提案する。 テンポラリカレントエンコーダは、入力ビデオの時間情報をキャプチャする。 自己アテンションモデルは、入力空間の関連する特徴次元に対応するために使用される。
  論文  参考訳（メタデータ） (2021-07-19T01:55:30Z)
• ST-HOI: A Spatial-Temporal Baseline for Human-Object Interaction Detection in Videos [91.29436920371003]
  時空間HoI検出(ST-HOI)という,シンプルで効果的なアーキテクチャを提案する。 我々は、人や物体の軌跡、正しく位置付けられた視覚的特徴、空間的マスキングのポーズ特徴などの時間的情報を利用する。 我々は、VidHOIと呼ばれる新しいビデオHOIベンチマークを構築し、提案手法は安定したベースラインとして機能する。
  論文  参考訳（メタデータ） (2021-05-25T07:54:35Z)
• DS-Net: Dynamic Spatiotemporal Network for Video Salient Object Detection [78.04869214450963]
  時間情報と空間情報のより効果的な融合のための新しい動的時空間ネットワーク(DSNet)を提案する。 提案手法は最先端アルゴリズムよりも優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-12-09T06:42:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。