論文の概要: Learning Graph Neural Networks for Image Style Transfer

• arxiv url: http://arxiv.org/abs/2207.11681v1
• Date: Sun, 24 Jul 2022 07:41:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-26 14:35:00.512704
• Title: Learning Graph Neural Networks for Image Style Transfer
• Title（参考訳）: 画像転送のための学習グラフニューラルネットワーク
• Authors: Yongcheng Jing, Yining Mao, Yiding Yang, Yibing Zhan, Mingli Song, Xinchao Wang, Dacheng Tao
• Abstract要約: 最先端のパラメトリックおよび非パラメトリックなスタイル転送アプローチは、グローバルな統計アライメントによる局所的なスタイルパターンの歪んだり、パッチミスマッチによるアーティファクトを減らしたりする傾向にある。 本稿では,パラメトリック型と非パラメトリック型の両方のスタイライゼーションの欠如を緩和する,新しい半パラメトリック型ニューラルスタイルトランスファーフレームワークについて検討する。
• 参考スコア（独自算出の注目度）: 131.73237185888215
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: State-of-the-art parametric and non-parametric style transfer approaches are prone to either distorted local style patterns due to global statistics alignment, or unpleasing artifacts resulting from patch mismatching. In this paper, we study a novel semi-parametric neural style transfer framework that alleviates the deficiency of both parametric and non-parametric stylization. The core idea of our approach is to establish accurate and fine-grained content-style correspondences using graph neural networks (GNNs). To this end, we develop an elaborated GNN model with content and style local patches as the graph vertices. The style transfer procedure is then modeled as the attention-based heterogeneous message passing between the style and content nodes in a learnable manner, leading to adaptive many-to-one style-content correlations at the local patch level. In addition, an elaborated deformable graph convolutional operation is introduced for cross-scale style-content matching. Experimental results demonstrate that the proposed semi-parametric image stylization approach yields encouraging results on the challenging style patterns, preserving both global appearance and exquisite details. Furthermore, by controlling the number of edges at the inference stage, the proposed method also triggers novel functionalities like diversified patch-based stylization with a single model.
• Abstract（参考訳）: 最先端のパラメトリックおよび非パラメトリックなスタイル転送アプローチは、グローバルな統計アライメントによる局所的なスタイルパターンの歪んだり、パッチミスマッチによるアーティファクトを減らしたりする傾向にある。 本稿では,パラメトリックスタイライゼーションと非パラメトリックスタイライゼーションの両方の欠如を緩和する,新しい半パラメトリックニューラルスタイルトランスファーフレームワークについて検討する。 我々のアプローチの中核となる考え方は、グラフニューラルネットワーク(GNN)を用いて、正確できめ細かなコンテンツスタイルの対応を確立することである。 この目的のために我々は,グラフ頂点としてコンテンツとスタイルの局所パッチを用いた,精巧なgnnモデルを開発した。 次に、スタイル転送手順は、スタイルとコンテンツノード間の注意に基づくヘテロジニアスメッセージパッシングを学習可能な方法でモデル化し、ローカルパッチレベルで適応的な多対一スタイル-コンテンツ相関をもたらす。 さらに、クロススケールなスタイル・コンテンツマッチングのために、精巧な変形可能なグラフ畳み込み演算を導入する。 実験により,半パラメトリック画像のスタイリング手法は,グローバルな外観と精巧な細部の両方を保ちながら,難易度の高いスタイルパターンを推し進めることを示す。 さらに,推定段階でのエッジ数を制御することにより,単一モデルによるパッチベーススタイリングの多様化など,新たな機能をトリガーする。

関連論文リスト

• ZePo: Zero-Shot Portrait Stylization with Faster Sampling [61.14140480095604]
  本稿では,4つのサンプリングステップでコンテンツとスタイルの融合を実現する拡散モデルに基づく,インバージョンフリーなポートレートスタイリングフレームワークを提案する。 本稿では,一貫性機能における冗長な特徴をマージする機能統合戦略を提案し,注意制御の計算負荷を低減させる。
  論文  参考訳（メタデータ） (2024-08-10T08:53:41Z)
• Locally Stylized Neural Radiance Fields [30.037649804991315]
  局所的なスタイル伝達に基づくニューラルレイディアンスフィールド(NeRF)のスタイリングフレームワークを提案する。 特に、ハッシュグリッド符号化を用いて外観や幾何学的要素の埋め込みを学習する。 提案手法は, 新規なビュー合成により, 可視なスタイリゼーション結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-09-19T15:08:10Z)
• WSAM: Visual Explanations from Style Augmentation as Adversarial Attacker and Their Influence in Image Classification [2.282270386262498]
  本稿では,一般線形変換におけるランダム化の改善に加えて,ノイズベースサンプリングを用いたスタイル拡張アルゴリズムについて概説する。 すべてのモデルは、画像のスタイリングに対して驚くべき堅牢性を示すだけでなく、以前のすべての手法よりも優れており、STL-10データセットの最先端性能を上回っている。
  論文  参考訳（メタデータ） (2023-08-29T02:50:36Z)
• A Unified Arbitrary Style Transfer Framework via Adaptive Contrastive Learning [84.8813842101747]
  Unified Contrastive Arbitrary Style Transfer (UCAST)は、新しいスタイルの学習・伝達フレームワークである。 入力依存温度を導入することで,スタイル伝達のための適応型コントラスト学習方式を提案する。 本フレームワークは,スタイル表現とスタイル伝達のための並列コントラスト学習方式,スタイル分布を効果的に学習するためのドメイン拡張モジュール,スタイル伝達のための生成ネットワークという,3つの重要なコンポーネントから構成される。
  論文  参考訳（メタデータ） (2023-03-09T04:35:00Z)
• G-MSM: Unsupervised Multi-Shape Matching with Graph-based Affinity Priors [52.646396621449]
  G-MSMは、非剛体形状対応のための新しい教師なし学習手法である。 学習形態の集合に親和性グラフを自己教師型で構築する。 近年の形状対応ベンチマークで最先端の性能を示す。
  論文  参考訳（メタデータ） (2022-12-06T12:09:24Z)
• Domain Enhanced Arbitrary Image Style Transfer via Contrastive Learning [84.8813842101747]
  Contrastive Arbitrary Style Transfer (CAST) は、新しいスタイル表現学習法である。 本フレームワークは,スタイルコード符号化のための多層スタイルプロジェクタ,スタイル分布を効果的に学習するためのドメイン拡張モジュール,画像スタイル転送のための生成ネットワークという,3つのキーコンポーネントから構成される。
  論文  参考訳（メタデータ） (2022-05-19T13:11:24Z)
• SSR-GNNs: Stroke-based Sketch Representation with Graph Neural Networks [34.759306840182205]
  本稿では,スケッチにおけるストローク情報,すなわちスケッチの一部が頂点にエンコードされ,エッジ上のストローク間情報であるスケッチのグラフ表現について検討する。 結果のグラフ表現は、分類タスクのためのグラフニューラルネットワークのトレーニングを容易にする。 提案した表現は,既存のデータセットから分離可能ながら,構造的に類似した斬新なスケッチの生成を可能にする。
  論文  参考訳（メタデータ） (2022-04-27T19:18:01Z)
• StyleMeUp: Towards Style-Agnostic Sketch-Based Image Retrieval [119.03470556503942]
  クロスモーダルマッチング問題は通常、写真とスケッチのモダリティ間で共有されるセマンティックコンテンツを保存する共同埋め込み空間を学習することによって解決される。 効果的なモデルには、このスタイルの多様性を明確に説明する必要がある。 我々のモデルは、モデム間で共有されるセマンティックコンテンツだけでなく、目に見えないユーザースタイルにも適応できるので、モデルは真に不可知的です。
  論文  参考訳（メタデータ） (2021-03-29T15:44:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。