論文の概要: Dynamic Texture Synthesis By Incorporating Long-range Spatial and Temporal Correlations

• arxiv url: http://arxiv.org/abs/2104.05940v1
• Date: Tue, 13 Apr 2021 05:04:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-14 13:45:04.126087
• Title: Dynamic Texture Synthesis By Incorporating Long-range Spatial and Temporal Correlations
• Title（参考訳）: 長距離空間相関と時間相関を組み込んだ動的テクスチャ合成
• Authors: Kaitai Zhang, Bin Wang, Hong-Shuo Chen, Ye Wang, Shiyu Mou, and C.-C. Jay Kuo
• Abstract要約: 我々は、参照テクスチャビデオの構造的および長距離相関を捉えるために、Shifted Gram lossと呼ばれる新しい損失項を導入する。 また,複数フレーム間の長周期動作を利用したフレームサンプリング戦略も導入する。
• 参考スコア（独自算出の注目度）: 27.247382497265214
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The main challenge of dynamic texture synthesis lies in how to maintain spatial and temporal consistency in synthesized videos. The major drawback of existing dynamic texture synthesis models comes from poor treatment of the long-range texture correlation and motion information. To address this problem, we incorporate a new loss term, called the Shifted Gram loss, to capture the structural and long-range correlation of the reference texture video. Furthermore, we introduce a frame sampling strategy to exploit long-period motion across multiple frames. With these two new techniques, the application scope of existing texture synthesis models can be extended. That is, they can synthesize not only homogeneous but also structured dynamic texture patterns. Thorough experimental results are provided to demonstrate that our proposed dynamic texture synthesis model offers state-of-the-art visual performance.
• Abstract（参考訳）: 動的テクスチャ合成の主な課題は、合成ビデオにおける空間的・時間的一貫性の維持である。 既存の動的テクスチャ合成モデルの大きな欠点は、長距離テクスチャ相関と動き情報の扱いが悪いことである。 この問題に対処するために,参照テクスチャビデオの構造的および長距離的相関を捉えるために,シフトグラム損失という新たな損失項を組み込んだ。 さらに,複数フレーム間の長周期動作を利用したフレームサンプリング手法を提案する。 これら2つの新しい技術により、既存のテクスチャ合成モデルの応用範囲を拡大することができる。 すなわち、均質性だけでなく、構造的な動的テクスチャパターンも合成できる。 提案した動的テクスチャ合成モデルが最先端の視覚性能を提供することを示すための実験結果が得られた。

関連論文リスト

• Diffusion Priors for Dynamic View Synthesis from Monocular Videos [59.42406064983643]
  ダイナミックノベルビュー合成は、ビデオ内の視覚的コンテンツの時間的進化を捉えることを目的としている。 まず、ビデオフレーム上に予め訓練されたRGB-D拡散モデルをカスタマイズ手法を用いて微調整する。 動的および静的なニューラルレイディアンス場を含む4次元表現に、微調整されたモデルから知識を蒸留する。
  論文  参考訳（メタデータ） (2024-01-10T23:26:41Z)
• Motion-Conditioned Diffusion Model for Controllable Video Synthesis [75.367816656045]
  本稿では,開始画像フレームと一組のストロークから映像を生成する条件拡散モデルであるMCDiffを紹介する。 MCDiffはストローク誘導制御可能なビデオ合成における最先端の視覚的品質を実現する。
  論文  参考訳（メタデータ） (2023-04-27T17:59:32Z)
• ContraNeRF: Generalizable Neural Radiance Fields for Synthetic-to-real Novel View Synthesis via Contrastive Learning [102.46382882098847]
  まず,合成から現実への新規な視点合成における合成データの影響について検討した。 本稿では,幾何制約を伴う多視点一貫した特徴を学習するために,幾何対応のコントラスト学習を導入することを提案する。 提案手法は,PSNR,SSIM,LPIPSの点で,既存の一般化可能な新規ビュー合成手法よりも高い画質で精細な画像を描画することができる。
  論文  参考訳（メタデータ） (2023-03-20T12:06:14Z)
• Leaping Into Memories: Space-Time Deep Feature Synthesis [93.10032043225362]
  内部モデルから映像を合成するアーキテクチャ非依存の手法であるLEAPSを提案する。 我々は,Kineetics-400に基づく多種多様なアーキテクチャの進化的注目を反転させることにより,LEAPSの適用性を定量的かつ定性的に評価する。
  論文  参考訳（メタデータ） (2023-03-17T12:55:22Z)
• A geometrically aware auto-encoder for multi-texture synthesis [1.2891210250935146]
  マルチテクスチャ合成のための自動エンコーダアーキテクチャを提案する。 画像はコンパクトで幾何学的に整合した潜在空間に埋め込まれる。 テクスチャ合成とタスクは、これらの潜在コードから直接実行することができる。
  論文  参考訳（メタデータ） (2023-02-03T09:28:39Z)
• Texture Representation via Analysis and Synthesis with Generative Adversarial Networks [11.67779950826776]
  本稿では,データ駆動型テクスチャモデリングを生成合成を用いた解析と合成により検討する。 合成にStyleGAN3を採用し、トレーニングデータに表される以上の多様なテクスチャを生成することを示した。 テクスチャ解析のために,合成テクスチャに対する新しい遅延整合性基準と,実際のテクスチャに対するグラミアンロスによる反復的改善を用いたGANを提案する。
  論文  参考訳（メタデータ） (2022-12-20T03:57:11Z)
• Paying U-Attention to Textures: Multi-Stage Hourglass Vision Transformer for Universal Texture Synthesis [2.8998926117101367]
  ユニバーサルテクスチャ合成のための新しいU-Attention Vision Transformerを提案する。 注意機構によって実現された自然の長距離依存性を利用して,多様なテクスチャを合成する手法を提案する。 本研究では,グローバルな構造に参画し,様々なスケールでパッチマッピングを行う階層型時計バックボーンを提案する。
  論文  参考訳（メタデータ） (2022-02-23T18:58:56Z)
• Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes [70.76742458931935]
  本稿では,動的シーンを外観・幾何学・3次元シーン動作の時間変化連続関数としてモデル化する新しい表現を提案する。 私たちの表現は、観測された入力ビューに適合するようにニューラルネットワークを介して最適化されます。 我々の表現は、細い構造、ビュー依存効果、自然な動きの度合いなどの複雑な動的シーンに利用できることを示す。
  論文  参考訳（メタデータ） (2020-11-26T01:23:44Z)
• Co-occurrence Based Texture Synthesis [25.4878061402506]
  本稿では,共起統計に基づいて局所的に条件付けされた完全畳み込み生成対向ネットワークを提案し,任意に大きな画像を生成する。 本手法はテクスチャ合成のための安定的で直感的で解釈可能な潜在表現を提供する。
  論文  参考訳（メタデータ） (2020-05-17T08:01:44Z)
• Hierarchy Composition GAN for High-fidelity Image Synthesis [57.32311953820988]
  本稿では,革新的階層構成GAN(HIC-GAN)を提案する。 HIC-GANは、幾何学と外観領域における画像合成をエンドツーエンドのトレーニング可能なネットワークに組み込んでいる。 シーンテキスト画像合成, 肖像画編集, 室内レンダリングタスクの実験により, 提案したHIC-GANは, 質的, 定量的に優れた合成性能が得られることを示した。
  論文  参考訳（メタデータ） (2019-05-12T11:11:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。