論文の概要: Local-Global Temporal Difference Learning for Satellite Video Super-Resolution

• arxiv url: http://arxiv.org/abs/2304.04421v1
• Date: Mon, 10 Apr 2023 07:04:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-11 15:47:38.952297
• Title: Local-Global Temporal Difference Learning for Satellite Video Super-Resolution
• Title（参考訳）: 衛星映像超解像のための局所-グローバル時間差学習
• Authors: Yi Xiao, Qiangqiang Yuan, Kui Jiang, Xianyu Jin, Jiang He, Liangpei Zhang, Chia-wen Lin
• Abstract要約: 本稿では,時間差を適切に定義した時間差を有効かつ堅牢な時間補正に利用することを提案する。 短期時間差分モジュールは、フレーム間の残差マップから局所的な動き表現を抽出するように設計されている。 フレームシーケンス全体のグローバル依存性は、長期差分学習によって探索される。
• 参考スコア（独自算出の注目度）: 40.160295927545626
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Optical-flow-based and kernel-based approaches have been widely explored for temporal compensation in satellite video super-resolution (VSR). However, these techniques involve high computational consumption and are prone to fail under complex motions. In this paper, we proposed to exploit the well-defined temporal difference for efficient and robust temporal compensation. To fully utilize the temporal information within frames, we separately modeled the short-term and long-term temporal discrepancy since they provide distinctive complementary properties. Specifically, a short-term temporal difference module is designed to extract local motion representations from residual maps between adjacent frames, which provides more clues for accurate texture representation. Meanwhile, the global dependency in the entire frame sequence is explored via long-term difference learning. The differences between forward and backward segments are incorporated and activated to modulate the temporal feature, resulting in holistic global compensation. Besides, we further proposed a difference compensation unit to enrich the interaction between the spatial distribution of the target frame and compensated results, which helps maintain spatial consistency while refining the features to avoid misalignment. Extensive objective and subjective evaluation of five mainstream satellite videos demonstrates that the proposed method performs favorably for satellite VSR. Code will be available at \url{https://github.com/XY-boy/TDMVSR}
• Abstract（参考訳）: 光フローベースおよびカーネルベースのアプローチは、衛星ビデオ超解像(VSR)の時間的補償のために広く研究されている。 しかし、これらの技術は高い計算消費を伴い、複雑な動きで失敗する傾向にある。 本稿では,時間的差分を有効かつ堅牢な時間的補償に利用することを提案する。 フレーム内の時間的情報を完全に活用するために,異なる相補的特性を提供するため,短期・長期の時間的相違を別々にモデル化した。 具体的には、隣接フレーム間の残留マップから局所的な動き表現を抽出するために、短期時間差分モジュールを設計し、より正確なテクスチャ表現の手がかりを提供する。 一方、フレームシーケンス全体のグローバル依存性は、長期差分学習によって探索される。 前方セグメントと後方セグメントの違いは、時間的特徴を調節するために組み込まれて活性化され、総括的大域的補償をもたらす。 さらに,対象フレームの空間分布と補償結果との相互作用を充実させる差分補償器を提案し,不整合を回避するために特徴を洗練しながら空間の整合性を維持する。 5本のメインストリーム衛星映像の客観的・主観評価は,提案手法が衛星vsrに対して好適であることを示す。 コードは \url{https://github.com/XY-boy/TDMVSR} で入手できる。

関連論文リスト

• Surgformer: Surgical Transformer with Hierarchical Temporal Attention for Surgical Phase Recognition [7.682613953680041]
  本稿では,空間時間モデルと冗長性の問題に終末的に対処する手術用トランスフォーマー(サージフォーマー)を提案する。 提案するサージフォーマーは,最先端の手法に対して良好に機能することを示す。
  論文  参考訳（メタデータ） (2024-08-07T16:16:31Z)
• Collaborative Feedback Discriminative Propagation for Video Super-Resolution [66.61201445650323]
  ビデオ超解像法(VSR)の主な成功は、主に空間情報と時間情報を探索することに由来する。 不正確なアライメントは通常、重要なアーティファクトを備えたアライメント機能につながる。 伝搬モジュールは同じタイムステップ機能のみを前方または後方に伝播する。
  論文  参考訳（メタデータ） (2024-04-06T22:08:20Z)
• Continuous Space-Time Video Super-Resolution Utilizing Long-Range Temporal Information [48.20843501171717]
  本稿では,任意のフレームレートと空間解像度に変換可能な連続ST-VSR(CSTVSR)手法を提案する。 本稿では,提案アルゴリズムの柔軟性が向上し,各種データセットの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-02-26T08:02:39Z)
• Temporal Consistency Learning of inter-frames for Video Super-Resolution [38.26035126565062]
  ビデオ超解像(VSR)は、低解像度(LR)参照フレームと複数の隣接フレームから高解像度(HR)フレームを再構成することを目的としたタスクである。 既存の手法は一般に情報伝達とフレームアライメントを探求し、VSRの性能を向上させる。 本稿では,再建されたビデオの一貫性を高めるため,VSRのための時間一貫性学習ネットワーク(TCNet)を提案する。
  論文  参考訳（メタデータ） (2022-11-03T08:23:57Z)
• Enhancing Space-time Video Super-resolution via Spatial-temporal Feature Interaction [9.456643513690633]
  時空ビデオ超解像(STVSR)の目的は、ビデオのフレームレートと空間解像度の両方を増加させることである。 近年のアプローチでは、エンドツーエンドのディープニューラルネットワークを用いてSTVSRを解く。 本研究では,空間的・時間的相関を利用してSTVSRを強化する空間的・時間的特徴相互作用ネットワークを提案する。
  論文  参考訳（メタデータ） (2022-07-18T22:10:57Z)
• Distortion-Aware Network Pruning and Feature Reuse for Real-time Video Segmentation [49.17930380106643]
  本稿では,リアルタイム視覚タスクのスキップ接続によるアーキテクチャの高速化を目的とした新しいフレームワークを提案する。 具体的には、各フレームの到着時に、前のフレームから特徴を変換し、特定の空間的ビンで再利用する。 次に、現在のフレームの領域におけるバックボーンネットワークの部分計算を行い、現在のフレームと前のフレームの時間差をキャプチャする。
  論文  参考訳（メタデータ） (2022-06-20T07:20:02Z)
• Look Back and Forth: Video Super-Resolution with Explicit Temporal Difference Modeling [105.69197687940505]
  本稿では,LR空間とHR空間における時間差の明示的モデル化の役割について検討する。 超解像結果をさらに高めるために、空間残留特徴を抽出するだけでなく、高周波領域における連続フレーム間の差も計算する。
  論文  参考訳（メタデータ） (2022-04-14T17:07:33Z)
• Confidence-guided Adaptive Gate and Dual Differential Enhancement for Video Salient Object Detection [47.68968739917077]
  ビデオサルエント物体検出(VSOD)は、ビデオシーケンスに隠された空間的手がかりと時間的手がかりの両方を活用することにより、最も魅力的な物体の探索と分割を目的としている。 信頼性誘導適応ゲート(CAG)モジュールとデュアルディファレンシャルエンハンスメント(DDE)モジュールを含む空間的および時間的キューから利用可能な情報を適応的にキャプチャする新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-05-14T08:49:37Z)
• Exploring Rich and Efficient Spatial Temporal Interactions for Real Time Video Salient Object Detection [87.32774157186412]
  メインストリーム方式は、主に2つの独立した場所、すなわち空間的分岐と時間的分岐からビデオ・サリエンシを定式化する。 本稿では,このような改善を実現するための時間的ネットワークを提案する。 提案手法は実装が簡単で,50FPSで高精細度をリアルタイムに検出できる。
  論文  参考訳（メタデータ） (2020-08-07T03:24:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。