論文の概要: MixSA: Training-free Reference-based Sketch Extraction via Mixture-of-Self-Attention

• arxiv url: http://arxiv.org/abs/2501.00816v1
• Date: Wed, 01 Jan 2025 12:03:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:14:27.023418
• Title: MixSA: Training-free Reference-based Sketch Extraction via Mixture-of-Self-Attention
• Title（参考訳）: MixSA:Mixture-of-Self-Attentionによるトレーニング不要な参照ベースのスケッチ抽出
• Authors: Rui Yang, Xiaojun Wu, Shengfeng He,
• Abstract要約: MixSAは、強い拡散先を生かし、スケッチ知覚を増強する訓練不要なスケッチ抽出手法である。 MixSAの中核となるのは、キーと値と参照スケッチの値とを置換することにより、自己認識層を操作する、自己認識の混合技術である。
• 参考スコア（独自算出の注目度）: 37.12177452494172
• License:
• Abstract: Current sketch extraction methods either require extensive training or fail to capture a wide range of artistic styles, limiting their practical applicability and versatility. We introduce Mixture-of-Self-Attention (MixSA), a training-free sketch extraction method that leverages strong diffusion priors for enhanced sketch perception. At its core, MixSA employs a mixture-of-self-attention technique, which manipulates self-attention layers by substituting the keys and values with those from reference sketches. This allows for the seamless integration of brushstroke elements into initial outline images, offering precise control over texture density and enabling interpolation between styles to create novel, unseen styles. By aligning brushstroke styles with the texture and contours of colored images, particularly in late decoder layers handling local textures, MixSA addresses the common issue of color averaging by adjusting initial outlines. Evaluated with various perceptual metrics, MixSA demonstrates superior performance in sketch quality, flexibility, and applicability. This approach not only overcomes the limitations of existing methods but also empowers users to generate diverse, high-fidelity sketches that more accurately reflect a wide range of artistic expressions.
• Abstract（参考訳）: 現在のスケッチ抽出法は、広範囲の訓練を必要とするか、広範囲の芸術的スタイルを捉えるのに失敗し、実用性や汎用性を制限している。 MixSA(Mixture-of-Self-Attention)は,スケッチ認識の強化に強い拡散前処理を利用する訓練不要なスケッチ抽出手法である。 MixSAの中核となるのは、キーと値と参照スケッチの値とを置換することにより、自己認識層を操作する、自己認識の混合技術である。 これにより、ブラシストローク要素を初期のアウトラインイメージにシームレスに統合し、テクスチャ密度を正確に制御し、スタイル間の補間により、新しい、目に見えないスタイルを作成することができる。 ブラシストロークスタイルを色画像のテクスチャや輪郭に合わせることで、特に局所的なテクスチャを扱う遅延デコーダ層において、初期輪郭を調整することで色平均化の一般的な問題に対処する。 さまざまな知覚的メトリクスから評価すると、MixSAはスケッチの品質、柔軟性、適用性において優れたパフォーマンスを示している。 このアプローチは既存の手法の限界を克服するだけでなく、幅広い芸術的表現をより正確に反映した多彩で高忠実なスケッチを作成できるようにする。

関連論文リスト

• VMix: Improving Text-to-Image Diffusion Model with Cross-Attention Mixing Control [8.685610154314459]
  拡散モデルはテキストから画像生成の素晴らしい才能を示すが、それでも高い美的イメージを生成できない可能性がある。 プラグイン・アンド・プレイの美学アダプタであるVMix Adapterを提案する。 我々の重要な洞察は、優れた条件制御法を設計することで、既存の拡散モデルの美的提示を強化することである。
  論文  参考訳（メタデータ） (2024-12-30T08:47:25Z)
• ZePo: Zero-Shot Portrait Stylization with Faster Sampling [61.14140480095604]
  本稿では,4つのサンプリングステップでコンテンツとスタイルの融合を実現する拡散モデルに基づく,インバージョンフリーなポートレートスタイリングフレームワークを提案する。 本稿では,一貫性機能における冗長な特徴をマージする機能統合戦略を提案し,注意制御の計算負荷を低減させる。
  論文  参考訳（メタデータ） (2024-08-10T08:53:41Z)
• Semi-supervised reference-based sketch extraction using a contrastive learning framework [6.20476217797034]
  本研究では,対象とする参照スケッチのスタイルを非ペアデータトレーニングで模倣できる,新しいマルチモーダルスケッチ抽出手法を提案する。 提案手法は,定量評価と定性評価の両面において,最先端のスケッチ抽出法と未完成画像翻訳法より優れる。
  論文  参考訳（メタデータ） (2024-07-19T04:51:34Z)
• Learning Inclusion Matching for Animation Paint Bucket Colorization [76.4507878427755]
  ネットワークにセグメント間の包摂関係を理解するための,学習に基づく新たな包摂的マッチングパイプラインを導入する。 提案手法では,粗いカラーワープモジュールと包括的マッチングモジュールを統合した2段階のパイプラインを特徴とする。 ネットワークのトレーニングを容易にするため,PaintBucket-Characterと呼ばれるユニークなデータセットも開発した。
  論文  参考訳（メタデータ） (2024-03-27T08:32:48Z)
• SMMix: Self-Motivated Image Mixing for Vision Transformers [65.809376136455]
  CutMixは視覚変換器(ViT)の性能と一般化能力を決定する重要な拡張戦略である 既存のCutMixの変種は、より一貫性のある混合画像やより正確な混合ラベルを生成することでこの問題に対処している。 本稿では,学習モデルによる画像とラベルの強調を動機づける,効率的かつ効果的な自己運動画像混合法を提案する。
  論文  参考訳（メタデータ） (2022-12-26T00:19:39Z)
• Interactive Style Transfer: All is Your Palette [74.06681967115594]
  本稿では,ユーザが対話的に調和したスタイルのイメージを作成できる,図形的な対話型スタイル転送(IST)手法を提案する。 私たちのISTメソッドは、どこからでもブラシやディップスタイルとして機能し、ターゲットのコンテンツイメージの任意の領域にペイントします。
  論文  参考訳（メタデータ） (2022-03-25T06:38:46Z)
• SnapMix: Semantically Proportional Mixing for Augmenting Fine-grained Data [124.95585891086894]
  提案はSemantically Proportional Mixing(SnapMix)と呼ばれる クラスアクティベーションマップ(CAM)を利用して、きめ細かいデータを強化する際にラベルノイズを低減します。 本手法は既存の混合型アプローチを一貫して上回っている。
  論文  参考訳（メタデータ） (2020-12-09T03:37:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。