論文の概要: Local-Global Temporal Difference Learning for Satellite Video Super-Resolution

• arxiv url: http://arxiv.org/abs/2304.04421v2
• Date: Mon, 30 Oct 2023 06:29:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 03:20:41.151615
• Title: Local-Global Temporal Difference Learning for Satellite Video Super-Resolution
• Title（参考訳）: 衛星映像超解像のための局所-グローバル時間差学習
• Authors: Yi Xiao, Qiangqiang Yuan, Kui Jiang, Xianyu Jin, Jiang He, Liangpei Zhang, Chia-wen Lin
• Abstract要約: 本稿では,時間的差分を効果的かつ効果的な時間的補償に利用することを提案する。 フレーム内における局所的・大域的時間的情報を完全に活用するために,短期・長期的時間的相違を体系的にモデル化した。 5つの主流ビデオ衛星に対して行われた厳密な客観的および主観的評価は、我々の手法が最先端のアプローチに対して好適に機能することを実証している。
• 参考スコア（独自算出の注目度）: 55.69322525367221
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Optical-flow-based and kernel-based approaches have been extensively explored for temporal compensation in satellite Video Super-Resolution (VSR). However, these techniques are less generalized in large-scale or complex scenarios, especially in satellite videos. In this paper, we propose to exploit the well-defined temporal difference for efficient and effective temporal compensation. To fully utilize the local and global temporal information within frames, we systematically modeled the short-term and long-term temporal discrepancies since we observed that these discrepancies offer distinct and mutually complementary properties. Specifically, we devise a Short-term Temporal Difference Module (S-TDM) to extract local motion representations from RGB difference maps between adjacent frames, which yields more clues for accurate texture representation. To explore the global dependency in the entire frame sequence, a Long-term Temporal Difference Module (L-TDM) is proposed, where the differences between forward and backward segments are incorporated and activated to guide the modulation of the temporal feature, leading to a holistic global compensation. Moreover, we further propose a Difference Compensation Unit (DCU) to enrich the interaction between the spatial distribution of the target frame and temporal compensated results, which helps maintain spatial consistency while refining the features to avoid misalignment. Rigorous objective and subjective evaluations conducted across five mainstream video satellites demonstrate that our method performs favorably against state-of-the-art approaches. Code will be available at https://github.com/XY-boy/LGTD
• Abstract（参考訳）: 光フローベースおよびカーネルベースのアプローチは、衛星ビデオ超解法(VSR)における時間的補償のために広く研究されている。 しかし、これらの手法は大規模または複雑なシナリオ、特に衛星ビデオでは一般化されていない。 本稿では,その時間的差異を有効かつ効果的な時間的補償に活用することを提案する。 フレーム内の局所的および大域的時間的情報を完全に活用するために, 短期的および長期的時間的不整合を体系的にモデル化した。 具体的には、隣接フレーム間のRGB差分マップから局所的な動き表現を抽出するための短期時間差分モジュール(S-TDM)を考案し、より正確なテクスチャ表現の手がかりを得る。 フレーム列全体の大域的依存性を調べるために、時間的特徴の変調を導くために、前方セグメントと後方セグメントの差を組み込んで活性化する長期時間的差分モジュール(l-tdm)が提案されている。 さらに,対象フレームの空間分布と時間補正結果との相互作用を豊かにするための差分補償ユニット(dcu)を提案する。 5つのメインストリームビデオ衛星に対して厳密な客観的・主観評価を行った結果,本手法は最先端のアプローチに好適な効果を示した。 コードはhttps://github.com/XY-boy/LGTDで入手できる。

関連論文リスト

• Surgformer: Surgical Transformer with Hierarchical Temporal Attention for Surgical Phase Recognition [7.682613953680041]
  本稿では,空間時間モデルと冗長性の問題に終末的に対処する手術用トランスフォーマー(サージフォーマー)を提案する。 提案するサージフォーマーは,最先端の手法に対して良好に機能することを示す。
  論文  参考訳（メタデータ） (2024-08-07T16:16:31Z)
• Collaborative Feedback Discriminative Propagation for Video Super-Resolution [66.61201445650323]
  ビデオ超解像法(VSR)の主な成功は、主に空間情報と時間情報を探索することに由来する。 不正確なアライメントは通常、重要なアーティファクトを備えたアライメント機能につながる。 伝搬モジュールは同じタイムステップ機能のみを前方または後方に伝播する。
  論文  参考訳（メタデータ） (2024-04-06T22:08:20Z)
• Continuous Space-Time Video Super-Resolution Utilizing Long-Range Temporal Information [48.20843501171717]
  本稿では,任意のフレームレートと空間解像度に変換可能な連続ST-VSR(CSTVSR)手法を提案する。 本稿では,提案アルゴリズムの柔軟性が向上し,各種データセットの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-02-26T08:02:39Z)
• Temporal Consistency Learning of inter-frames for Video Super-Resolution [38.26035126565062]
  ビデオ超解像(VSR)は、低解像度(LR)参照フレームと複数の隣接フレームから高解像度(HR)フレームを再構成することを目的としたタスクである。 既存の手法は一般に情報伝達とフレームアライメントを探求し、VSRの性能を向上させる。 本稿では,再建されたビデオの一貫性を高めるため,VSRのための時間一貫性学習ネットワーク(TCNet)を提案する。
  論文  参考訳（メタデータ） (2022-11-03T08:23:57Z)
• Enhancing Space-time Video Super-resolution via Spatial-temporal Feature Interaction [9.456643513690633]
  時空ビデオ超解像(STVSR)の目的は、ビデオのフレームレートと空間解像度の両方を増加させることである。 近年のアプローチでは、エンドツーエンドのディープニューラルネットワークを用いてSTVSRを解く。 本研究では,空間的・時間的相関を利用してSTVSRを強化する空間的・時間的特徴相互作用ネットワークを提案する。
  論文  参考訳（メタデータ） (2022-07-18T22:10:57Z)
• Distortion-Aware Network Pruning and Feature Reuse for Real-time Video Segmentation [49.17930380106643]
  本稿では,リアルタイム視覚タスクのスキップ接続によるアーキテクチャの高速化を目的とした新しいフレームワークを提案する。 具体的には、各フレームの到着時に、前のフレームから特徴を変換し、特定の空間的ビンで再利用する。 次に、現在のフレームの領域におけるバックボーンネットワークの部分計算を行い、現在のフレームと前のフレームの時間差をキャプチャする。
  論文  参考訳（メタデータ） (2022-06-20T07:20:02Z)
• Look Back and Forth: Video Super-Resolution with Explicit Temporal Difference Modeling [105.69197687940505]
  本稿では,LR空間とHR空間における時間差の明示的モデル化の役割について検討する。 超解像結果をさらに高めるために、空間残留特徴を抽出するだけでなく、高周波領域における連続フレーム間の差も計算する。
  論文  参考訳（メタデータ） (2022-04-14T17:07:33Z)
• Confidence-guided Adaptive Gate and Dual Differential Enhancement for Video Salient Object Detection [47.68968739917077]
  ビデオサルエント物体検出(VSOD)は、ビデオシーケンスに隠された空間的手がかりと時間的手がかりの両方を活用することにより、最も魅力的な物体の探索と分割を目的としている。 信頼性誘導適応ゲート(CAG)モジュールとデュアルディファレンシャルエンハンスメント(DDE)モジュールを含む空間的および時間的キューから利用可能な情報を適応的にキャプチャする新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-05-14T08:49:37Z)
• Exploring Rich and Efficient Spatial Temporal Interactions for Real Time Video Salient Object Detection [87.32774157186412]
  メインストリーム方式は、主に2つの独立した場所、すなわち空間的分岐と時間的分岐からビデオ・サリエンシを定式化する。 本稿では,このような改善を実現するための時間的ネットワークを提案する。 提案手法は実装が簡単で,50FPSで高精細度をリアルタイムに検出できる。
  論文  参考訳（メタデータ） (2020-08-07T03:24:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。