論文の概要: Do Transformer Temporal Heads and Post-Pooling Motion Gates Help CorrNet-based CSLR? An Empirical Study
- arxiv url: http://arxiv.org/abs/2607.09890v1
- Date: Fri, 10 Jul 2026 18:28:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 15:40:48.239147
- Title: Do Transformer Temporal Heads and Post-Pooling Motion Gates Help CorrNet-based CSLR? An Empirical Study
- Title（参考訳）: トランスフォーマーの頭とポストポーリング運動ゲートはCorrNetベースのCSLRに役立つか : 実証的研究
- Abstract要約: 再生されたCorrNetシステムの2つの自然な拡張について検討し、BiLSTM時間ヘッドをTransformerエンコーダに置き換え、時間プーリング後にモーションキューを注入した。
トランスフォーマーのトレーニング戦略を調整しても,トランスフォーマーヘッドはBiLSTMベースラインを上回りません。
第2の拡張のために、我々はMotionGateと呼ばれる軽量モジュールを設計する。我々の実験では、MotionGateは一貫してアイデンティティライクなマッピングへと崩壊し、ゲートは運動選択性を失い、注入された残余はプールされた特徴の弱い非選択的摂動となる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: CorrNet is a strong baseline for continuous sign language recognition (CSLR) because it models inter-frame correlations inside the visual encoding stage. In this paper, we study two natural extensions of a reproduced CorrNet system: replacing the BiLSTM temporal head with a Transformer encoder, and injecting motion cues after temporal pooling. We find that the Transformer head does not outperform the BiLSTM baseline, even with a training strategy adjusted for the Transformer, and the two heads have almost the same computational and runtime cost. For the second extension, we design a lightweight module called MotionGate. In our experiments, MotionGate consistently collapses to an identity-like mapping: the gate loses motion selectivity, and the injected residual becomes a weak, non-selective perturbation of the pooled features. These results suggest that explicit motion injection after CorrNet's correlation-based encoding is largely redundant, and that natural-looking architectural extensions in CSLR should be tested carefully instead of being assumed to help.
- Abstract（参考訳）: CorrNetは、ビジュアルエンコーディングステージ内のフレーム間の相関をモデル化するため、連続手話認識(CSLR)の強力なベースラインである。
本稿では, BiLSTM 時間ヘッドを Transformer エンコーダに置き換え, 時間プーリング後に動作キューを注入する, 再生された CorrNet システムの2つの自然な拡張について検討する。
トランスフォーマーのトレーニング戦略を調整しても,トランスフォーマーヘッドはBiLSTMベースラインを上回りません。
2つ目の拡張として、MotionGateという軽量モジュールを設計する。
ゲートは運動選択性を失い、注入された残留物はプールされた特徴の弱く非選択的な摂動になる。
これらの結果は、CorrNetの相関に基づく符号化後の明示的なモーションインジェクションは、ほとんど冗長であり、CSLRの自然なアーキテクチャ拡張は、助けとなると仮定されるのではなく、慎重にテストされるべきであることを示唆している。
関連論文リスト
- TERDNet: Transformer Encoder-Recurrent Decoder Network for Scene Change Detection [4.039245878626346]
SCD(Scene Change Detection)は、異なる時間に撮影された同じ位置の2つの画像の違いを特定することを目的としている。
既存のSCDモデルは、レイヤ間の機能の重要性の相違を見落とし、精細化を抑えるシングルステップデコーダを採用し、エンコーダの事前訓練戦略に関する限られた洞察を提供する。
本稿では,これらの制限を克服するために,トランスフォーマー・リカレントデコーダネットワークであるTERDNetを提案する。
論文 参考訳（メタデータ） (2026-05-20T07:18:24Z) - REALM: Retrospective Encoder Alignment for LFP Modeling [2.8036525859094823]
スパイク活動は、その空間分解能と時間分解能が高いため、行動復号において支配的な神経信号である。
脳-コンピュータインタフェース(BCI)が高チャネル数や無線操作へと移動するにつれ、スパイク信号の高サンプリング周波数がボトルネックとなる。
本稿では,因果LFPデコードを可能にする振り返り蒸留フレームワークREALMを提案する。
論文 参考訳（メタデータ） (2026-05-14T14:16:22Z) - Bidirectional Feature-aligned Motion Transformation for Efficient Dynamic Point Cloud Compression [97.66080040613726]
特徴空間における動きを暗黙的にモデル化する双方向特徴整合運動変換(Bi-FMT)フレームワークを提案する。
Bi-FMTは、時間的に一貫した潜在表現を生成するために、過去と将来の両方のフレームで機能を調整する。
圧縮効率とランタイムの両方において, Bi-FMT が D-DPCC と AdaDPCC を上回っていることを示す。
論文 参考訳（メタデータ） (2025-09-18T03:51:06Z) - Isomer: Isomerous Transformer for Zero-shot Video Object Segmentation [59.91357714415056]
コンテクスト共有変換器(CST)とセマンティックガザリング散乱変換器(SGST)の2つの変種を提案する。
CSTは、軽量な計算により、画像フレーム内のグローバル共有コンテキスト情報を学習し、SGSTは、前景と背景のセマンティック相関を別々にモデル化する。
多段核融合にバニラ変換器を使用するベースラインと比較して,我々は13倍の速度向上を実現し,新しい最先端ZVOS性能を実現する。
論文 参考訳（メタデータ） (2023-08-13T06:12:00Z) - CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。
提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。
実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
論文 参考訳（メタデータ） (2021-12-31T04:37:11Z) - Learning Bounded Context-Free-Grammar via LSTM and the
Transformer:Difference and Explanations [51.77000472945441]
Long Short-Term Memory (LSTM) と Transformer は、自然言語処理タスクに使用される2つの一般的なニューラルネットワークアーキテクチャである。
実際には、トランスフォーマーモデルの方がLSTMよりも表現力が高いことがよく見られる。
本研究では,LSTMとTransformerの実践的差異について検討し,その潜在空間分解パターンに基づく説明を提案する。
論文 参考訳（メタデータ） (2021-12-16T19:56:44Z) - Unsupervised Motion Representation Learning with Capsule Autoencoders [54.81628825371412]
Motion Capsule Autoencoder (MCAE) は、2レベル階層のモーションをモデル化する。
MCAEは、新しいTrajectory20モーションデータセットと、様々な現実世界の骨格に基づく人間のアクションデータセットで評価されている。
論文 参考訳（メタデータ） (2021-10-01T16:52:03Z) - Shifted Chunk Transformer for Spatio-Temporal Representational Learning [24.361059477031162]
我々は、純粋な自己注意ブロックを持つシフトチャンク変換器を構築する。
このトランスフォーマーは、小さなパッチからグローバルなビデオクリップまで、階層的な時間的特徴を学習することができる。
Kinetics, Kinetics-600, UCF101, HMDB51の最先端のアプローチより優れている。
論文 参考訳（メタデータ） (2021-08-26T04:34:33Z) - Video Super-Resolution Transformer [85.11270760456826]
ビデオ超解像(VSR)は、高解像度映像を対応する低解像度バージョンから復元することを目的としており、時空間シーケンス予測問題である。
近年,シークエンス・ツー・シーケンス・モデリングの並列計算能力により,Transformerが人気を集めている。
本稿では,空間的・時間的畳み込み型自己認識層を理論的に理解し,局所性情報を活用する。
論文 参考訳（メタデータ） (2021-06-12T20:00:32Z) - Transformer Based Deliberation for Two-Pass Speech Recognition [46.86118010771703]
音声認識システムは、単語を素早く生成し、正確な結果を生成する必要がある。
2つのパスモデルは、単語を素早く出力する1次パスデコーダと、よりコンテキストを必要とするがより正確である2次パスデコーダを使用することで、これらの要求に優れる。
以前は、議論ネットワークが効果的な第2パスモデルになり得ることが証明されていた。
論文 参考訳（メタデータ） (2021-01-27T18:05:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。