論文の概要: TranStable: Towards Robust Pixel-level Online Video Stabilization by Jointing Transformer and CNN

• arxiv url: http://arxiv.org/abs/2501.15138v1
• Date: Sat, 25 Jan 2025 08:51:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:56:43.260500
• Title: TranStable: Towards Robust Pixel-level Online Video Stabilization by Jointing Transformer and CNN
• Title（参考訳）: TranStable:ジョイント変換器とCNNによるロバストな画素レベルのオンラインビデオ安定化を目指す
• Authors: zhizhen li, tianyi zhuo, Yifei Cao, Jizhe Yu, Yu Liu,
• Abstract要約: ビデオの安定化は、しばしば歪みと過剰な収穫に苦しむ。 本稿では,これらの課題に対処する新しいエンドツーエンドフレームワークであるTranStableを提案する。 NUS、DeepStab、Selfieベンチマークの実験は、最先端のパフォーマンスを示している。
• 参考スコア（独自算出の注目度）: 3.0980248517369158
• License:
• Abstract: Video stabilization often struggles with distortion and excessive cropping. This paper proposes a novel end-to-end framework, named TranStable, to address these challenges, comprising a genera tor and a discriminator. We establish TransformerUNet (TUNet) as the generator to utilize the Hierarchical Adaptive Fusion Module (HAFM), integrating Transformer and CNN to leverage both global and local features across multiple visual cues. By modeling frame-wise relationships, it generates robust pixel-level warping maps for stable geometric transformations. Furthermore, we design the Stability Discriminator Module (SDM), which provides pixel-wise supervision for authenticity and consistency in training period, ensuring more complete field-of-view while minimizing jitter artifacts and enhancing visual fidelity. Extensive experiments on NUS, DeepStab, and Selfie benchmarks demonstrate state-of-the-art performance.
• Abstract（参考訳）: ビデオの安定化は、しばしば歪みと過剰な収穫に苦しむ。 本稿では,これらの課題に対処する新しいエンドツーエンドフレームワークTranStableを提案する。 我々はTransformerUNet(TUNet)を階層型適応核融合モジュール(HAFM)を利用するジェネレータとして確立し、TransformerとCNNを統合し、複数のビジュアルキューをまたいだグローバル機能とローカル機能の両方を活用する。 フレームワイズ関係をモデル化することにより、安定な幾何変換のための堅牢な画素レベルのワープマップを生成する。 さらに, 安定度判定モジュール (SDM) を設計し, トレーニング期間中の精度と一貫性を画素単位で監視し, ジッタアーティファクトを最小化し, 視力の向上を図る。 NUS、DeepStab、Selfieベンチマークに関する大規模な実験は、最先端のパフォーマンスを示している。

関連論文リスト

• CFAT: Unleashing TriangularWindows for Image Super-resolution [5.130320840059732]
  トランスフォーマーモデルが画像超解像(SR)の分野に革命をもたらした 境界レベルの歪みを軽減するために,矩形ウィンドウと同期して動作する非重なりの三角形ウィンドウ手法を提案する。 提案モデルでは,他の最先端SRアーキテクチャに比べて0.7dB性能が向上した。
  論文  参考訳（メタデータ） (2024-03-24T13:31:31Z)
• Self-Supervised Pre-Training for Table Structure Recognition Transformer [25.04573593082671]
  テーブル構造認識変換器のための自己教師付き事前学習(SSP)手法を提案する。 線形射影変換器とハイブリッドCNN変換器のパフォーマンスギャップは、TSRモデルにおける視覚エンコーダのSSPにより緩和できる。
  論文  参考訳（メタデータ） (2024-02-23T19:34:06Z)
• Distance Weighted Trans Network for Image Completion [52.318730994423106]
  本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
  論文  参考訳（メタデータ） (2023-10-11T12:46:11Z)
• Cross-Spatial Pixel Integration and Cross-Stage Feature Fusion Based Transformer Network for Remote Sensing Image Super-Resolution [13.894645293832044]
  変換器を用いたモデルでは、リモートセンシング画像超解像(RSISR)の競合性能が示されている。 本稿では,RSISRのための新しいトランスアーキテクチャであるCross-Spatial Pixel IntegrationとCross-Stage Feature Fusion Based Transformer Network (SPIFFNet)を提案する。 提案手法は,画像全体のグローバル認知と理解を効果的に促進し,機能統合の効率化を図っている。
  論文  参考訳（メタデータ） (2023-07-06T13:19:06Z)
• Alignment-free HDR Deghosting with Semantics Consistent Transformer [76.91669741684173]
  高ダイナミックレンジイメージングは、複数の低ダイナミックレンジ入力から情報を取得し、リアルな出力を生成することを目的としている。 既存の手法では、前景やカメラの動きによって引き起こされる入力フレーム間の空間的ずれに焦点を当てることが多い。 本研究では,SCTNet(Semantics Consistent Transformer)を用いたアライメントフリーネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T15:03:23Z)
• DynaST: Dynamic Sparse Transformer for Exemplar-Guided Image Generation [56.514462874501675]
  本稿では,動的スパースアテンションに基づくトランスフォーマーモデルを提案する。 このアプローチの核心は、ある位置がフォーカスすべき最適なトークン数の変化をカバーすることに特化した、新しいダイナミックアテンションユニットです。 3つの応用、ポーズ誘導型人物画像生成、エッジベース顔合成、歪みのない画像スタイル転送の実験により、DynaSTは局所的な詳細において優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2022-07-13T11:12:03Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• Multi-View Stereo with Transformer [31.83069394719813]
  本稿では,MVSTR(Multi-View Stereo)のためのネットワークを提案する。 Transformer上に構築されており、グローバルコンテキストと3D一貫性で高密度な特徴を抽出することができる。 実験結果から,提案したMVSTRは,DTUデータセット上で最高の総合性能を達成し,Turps & Templesベンチマークデータセット上での強力な一般化を実現していることがわかった。
  論文  参考訳（メタデータ） (2021-12-01T08:06:59Z)
• ViTAE: Vision Transformer Advanced by Exploring Intrinsic Inductive Bias [76.16156833138038]
  コンボリューション, ie, ViTAEから内在性IBを探索するビジョントランスフォーマーを提案する。 ViTAEはいくつかの空間ピラミッド縮小モジュールを備えており、入力イメージをリッチなマルチスケールコンテキストでトークンに埋め込む。 各トランス層では、ViTAEはマルチヘッド自己保持モジュールと平行な畳み込みブロックを持ち、その特徴は融合されフィードフォワードネットワークに供給される。
  論文  参考訳（メタデータ） (2021-06-07T05:31:06Z)
• Visual Saliency Transformer [127.33678448761599]
  RGBとRGB-Dの液状物体検出(SOD)のための、純粋な変圧器であるVST(Visual Saliency Transformer)に基づく新しい統一モデルを開発しました。 イメージパッチを入力として取り、トランスフォーマーを利用してイメージパッチ間のグローバルコンテキストを伝搬する。 実験結果から,RGBとRGB-D SODのベンチマークデータセットにおいて,本モデルが既存の最新結果を上回っていることが示された。
  論文  参考訳（メタデータ） (2021-04-25T08:24:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。