論文の概要: Eliminating Gradient Conflict in Reference-based Line-art Colorization
- arxiv url: http://arxiv.org/abs/2207.06095v1
- Date: Wed, 13 Jul 2022 10:08:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-14 15:05:38.006516
- Title: Eliminating Gradient Conflict in Reference-based Line-art Colorization
- Title（参考訳）: 基準ベースラインアートカラー化におけるグラディエント・コンフリクトの除去
- Authors: Zekun Li, Zhengyang Geng, Zhao Kang, Wenyu Chen, Yibo Yang
- Abstract要約: 参照ベースのラインアートカラー化は、コンピュータビジョンにおいて難しい課題である。
SGA(Stop-Gradient Attention)を用いた新しい注意機構を提案する。
ラインアートカラー化における最先端モジュールと比較して,本手法は大幅に改善されている。
- 参考スコア（独自算出の注目度）: 26.46476996150605
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reference-based line-art colorization is a challenging task in computer
vision. The color, texture, and shading are rendered based on an abstract
sketch, which heavily relies on the precise long-range dependency modeling
between the sketch and reference. Popular techniques to bridge the cross-modal
information and model the long-range dependency employ the attention mechanism.
However, in the context of reference-based line-art colorization, several
techniques would intensify the existing training difficulty of attention, for
instance, self-supervised training protocol and GAN-based losses. To understand
the instability in training, we detect the gradient flow of attention and
observe gradient conflict among attention branches. This phenomenon motivates
us to alleviate the gradient issue by preserving the dominant gradient branch
while removing the conflict ones. We propose a novel attention mechanism using
this training strategy, Stop-Gradient Attention (SGA), outperforming the
attention baseline by a large margin with better training stability. Compared
with state-of-the-art modules in line-art colorization, our approach
demonstrates significant improvements in Fr\'echet Inception Distance (FID, up
to 27.21%) and structural similarity index measure (SSIM, up to 25.67%) on
several benchmarks. The code of SGA is available at
https://github.com/kunkun0w0/SGA .
- Abstract（参考訳）: 参照ベースのラインアートカラー化はコンピュータビジョンにおいて難しい課題である。
色、テクスチャ、シェーディングは抽象的なスケッチに基づいて描画され、スケッチと参照の間の正確な長距離依存性モデリングに大きく依存する。
クロスモーダル情報を橋渡し、長距離依存性をモデル化するための一般的なテクニックは、注意のメカニズムを採用している。
しかし、基準ベースラインアートカラー化の文脈では、既存のトレーニングの難しさ、例えば自己監督型トレーニングプロトコルやGANベースの損失が増すであろう。
トレーニングの不安定性を理解するため,注意の勾配流を検出し,注意枝間の勾配衝突を観察する。
この現象は、優占的な勾配分枝を保ちながら競合分枝を取り除き、勾配問題を緩和する動機づけとなる。
本稿では,この学習戦略であるstop-gradient attention (sga) を用いた新しい注意機構を提案する。
Fr'echet Inception Distance (FID, 最大27.21%) と構造類似度指数測定 (SSIM, 最大25.67%) のいくつかのベンチマークにおいて, ラインアートカラー化における最先端モジュールとの比較を行った。
SGAのコードはhttps://github.com/kun0w0/SGAで公開されている。
関連論文リスト
- Rethinking Dimensional Rationale in Graph Contrastive Learning from Causal Perspective [15.162584339143239]
グラフコントラスト学習(Graph contrastive learning)は、グラフの様々な摂動から不変情報を捉えるのに優れた一般的な学習パラダイムである。
最近の研究は、グラフから構造的理性を探究することに集中し、不変情報の識別可能性を高める。
本稿では,学習可能な次元理性獲得ネットワークと冗長性低減制約を導入した,次元理性対応グラフコントラスト学習手法を提案する。
論文 参考訳（メタデータ） (2023-12-16T10:05:18Z) - 2D Feature Distillation for Weakly- and Semi-Supervised 3D Semantic
Segmentation [92.17700318483745]
合成訓練された2Dセマンティックセマンティックセグメンテーションネットワークから高レベル特徴情報を蒸留するアイデアに基づく画像誘導ネットワーク(IGNet)を提案する。
IGNetは、ScribbleKITTI上の弱い教師付きLiDARセマンティックセマンティックセグメンテーションの最先端の結果を達成し、8%のラベル付きポイントしか持たない完全な教師付きトレーニングに対して最大98%のパフォーマンスを誇っている。
論文 参考訳（メタデータ） (2023-11-27T07:57:29Z) - Attention-Aware Anime Line Drawing Colorization [10.924683447616273]
本稿では,チャンネルワイド・空間ワイド・コンボリューショナル・アテンション・モジュールを用いたアニメラインドローイングカラー化のための注目モデルを提案する。
提案手法は,より正確な線構造と意味的色情報を用いて,他のSOTA法よりも優れている。
論文 参考訳（メタデータ） (2022-12-21T12:50:31Z) - Scaling Multimodal Pre-Training via Cross-Modality Gradient
Harmonization [68.49738668084693]
自己教師付き事前学習は、最近、大規模マルチモーダルデータで成功している。
クロスモダリティアライメント(CMA)は、弱くノイズの多い監視である。
CMAは、モダリティ間の衝突や偏見を引き起こす可能性がある。
論文 参考訳（メタデータ） (2022-11-03T18:12:32Z) - Adversarial Cross-View Disentangled Graph Contrastive Learning [30.97720522293301]
グラフデータから最小かつ十分な表現を学習するために,情報ボトルネックの原則に従う ACDGCL を導入する。
提案したモデルが,複数のベンチマークデータセット上でのグラフ分類タスクの最先端性より優れていることを実証的に実証した。
論文 参考訳（メタデータ） (2022-09-16T03:48:39Z) - Are Gradients on Graph Structure Reliable in Gray-box Attacks? [56.346504691615934]
従来のグレーボックス攻撃者は、グラフ構造を乱すために、サロゲートモデルからの勾配を用いて脆弱なエッジを見つける。
本稿では,構造勾配の不確実性に起因する誤差を考察し,解析する。
本稿では,構造勾配の誤差を低減する手法を用いた新しい攻撃モデルを提案する。
論文 参考訳（メタデータ） (2022-08-07T06:43:32Z) - GraphCoCo: Graph Complementary Contrastive Learning [65.89743197355722]
グラフコントラスト学習(GCL)は、手作業によるアノテーションの監督なしに、グラフ表現学習(GRL)において有望な性能を示した。
本稿では,この課題に対処するため,グラフココというグラフ補完型コントラスト学習手法を提案する。
論文 参考訳（メタデータ） (2022-03-24T02:58:36Z) - Attention-based Stylisation for Exemplar Image Colourisation [3.491870689686827]
この研究は、新しいエンドツーエンドカラーネットワークを導入する既存の方法論を改革する。
提案アーキテクチャでは,異なる解像度でアテンションモジュールを統合し,スタイル転送タスクの実行方法を学ぶ。
提案手法の有効性を実験的に検証し,高品質で視覚に訴える色彩を呈する手法を提案する。
論文 参考訳（メタデータ） (2021-05-04T18:56:26Z) - Diversified Multiscale Graph Learning with Graph Self-Correction [55.43696999424127]
2つのコア成分を組み込んだ多次元グラフ学習モデルを提案します。
情報埋め込みグラフを生成するグラフ自己補正(GSC)機構、および入力グラフの包括的な特性評価を達成するために多様性ブースト正規化(DBR)。
一般的なグラフ分類ベンチマークの実験は、提案されたGSCメカニズムが最先端のグラフプーリング方法よりも大幅に改善されることを示しています。
論文 参考訳（メタデータ） (2021-03-17T16:22:24Z) - SFANet: A Spectrum-aware Feature Augmentation Network for
Visible-Infrared Person Re-Identification [12.566284647658053]
クロスモダリティマッチング問題に対するSFANetという新しいスペクトル認識特徴量化ネットワークを提案する。
grayscale-spectrumイメージで学習すると、モダリティの不一致を低減し、内部構造関係を検出することができる。
特徴レベルでは、特定および粉砕可能な畳み込みブロックの数のバランスをとることにより、従来の2ストリームネットワークを改善します。
論文 参考訳（メタデータ） (2021-02-24T08:57:32Z) - Tensor Graph Convolutional Networks for Multi-relational and Robust
Learning [74.05478502080658]
本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。
提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
論文 参考訳（メタデータ） (2020-03-15T02:33:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。