論文の概要: AttentionPainter: An Efficient and Adaptive Stroke Predictor for Scene Painting

• arxiv url: http://arxiv.org/abs/2410.16418v2
• Date: Fri, 25 Oct 2024 11:39:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-28 13:36:42.315937
• Title: AttentionPainter: An Efficient and Adaptive Stroke Predictor for Scene Painting
• Title（参考訳）: AttentionPainter: シーンペイントのための効率的で適応的なストローク予測器
• Authors: Yizhe Tang, Yue Wang, Teng Hu, Ran Yi, Xin Tan, Lizhuang Ma, Yu-Kun Lai, Paul L. Rosin,
• Abstract要約: ストロークベースのレンダリング(SBR)は、入力画像をパラメータ化されたストロークのシーケンスに分解することを目的としており、入力画像に似た絵に描画することができる。 単一ステップのニューラルペイントのための効率よく適応的なモデルであるAttentionPainterを提案する。
• 参考スコア（独自算出の注目度）: 82.54770866332456
• License:
• Abstract: Stroke-based Rendering (SBR) aims to decompose an input image into a sequence of parameterized strokes, which can be rendered into a painting that resembles the input image. Recently, Neural Painting methods that utilize deep learning and reinforcement learning models to predict the stroke sequences have been developed, but suffer from longer inference time or unstable training. To address these issues, we propose AttentionPainter, an efficient and adaptive model for single-step neural painting. First, we propose a novel scalable stroke predictor, which predicts a large number of stroke parameters within a single forward process, instead of the iterative prediction of previous Reinforcement Learning or auto-regressive methods, which makes AttentionPainter faster than previous neural painting methods. To further increase the training efficiency, we propose a Fast Stroke Stacking algorithm, which brings 13 times acceleration for training. Moreover, we propose Stroke-density Loss, which encourages the model to use small strokes for detailed information, to help improve the reconstruction quality. Finally, we propose a new stroke diffusion model for both conditional and unconditional stroke-based generation, which denoises in the stroke parameter space and facilitates stroke-based inpainting and editing applications helpful for human artists design. Extensive experiments show that AttentionPainter outperforms the state-of-the-art neural painting methods.
• Abstract（参考訳）: ストロークベースのレンダリング(SBR)は、入力画像をパラメータ化されたストロークのシーケンスに分解することを目的としており、入力画像に似た絵に描画することができる。 近年、深層学習と強化学習モデルを用いてストロークシーケンスを予測するニューラルペイント法が開発されているが、より長い推論時間や不安定なトレーニングに悩まされている。 これらの問題に対処するために,単段階神経絵画の効率的かつ適応的なモデルであるAttentionPainterを提案する。 まず、従来の強化学習や自己回帰的手法を反復的に予測するのではなく、1つの前処理内で多数のストロークパラメータを予測する新しいスケーラブルなストローク予測器を提案する。 トレーニング効率をさらに高めるために,13倍の高速化を実現するFast Stroke Stackingアルゴリズムを提案する。 さらに,より詳細な情報に小さなストロークを使うことを奨励するストローク密度損失法を提案し,再現性の向上に寄与する。 最後に, 条件付きおよび非条件付ストロークベース生成のための新しいストローク拡散モデルを提案する。 大規模な実験の結果、AttentionPainterは最先端のニューラルペイント法よりも優れていた。

関連論文リスト

• PrefPaint: Aligning Image Inpainting Diffusion Model with Human Preference [62.72779589895124]
  画像インペイントのための拡散モデルと人間の審美基準との整合性を、強化学習フレームワークを用いて初めて試みる。 我々は、人間の好みを付加した約51,000枚の画像からなるデータセットで報酬モデルを訓練する。 画像拡張や3次元再構成などの下流タスクの塗装比較実験により, 提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-10-29T11:49:39Z)
• MambaPainter: Neural Stroke-Based Rendering in a Single Step [3.18005110016691]
  ストロークに基づくレンダリングは、ブラシストロークシーケンスを予測して入力画像を油絵スタイルに再構築することを目的としている。 単一推論ステップで100以上のブラシストロークのシーケンスを予測できるMambaPainterを提案する。
  論文  参考訳（メタデータ） (2024-10-16T13:02:45Z)
• ReNoise: Real Image Inversion Through Iterative Noising [62.96073631599749]
  本研究では,操作数を増やすことなく,高い品質と操作率の逆転法を導入し,再現精度を向上する。 我々は,近年の高速化拡散モデルを含む様々なサンプリングアルゴリズムとモデルを用いて,Renoise手法の性能を評価する。
  論文  参考訳（メタデータ） (2024-03-21T17:52:08Z)
• Stroke-based Neural Painting and Stylization with Dynamically Predicted Painting Region [66.75826549444909]
  ストロークベースのレンダリングは、ストロークのセットで画像を再現することを目的としている。 本研究では,現在のキャンバスに基づいて絵画領域を予測する合成ニューラルネットワークを提案する。 我々は、新しい微分可能な距離変換損失を伴って、ストロークベースのスタイル転送に拡張する。
  論文  参考訳（メタデータ） (2023-09-07T06:27:39Z)
• Stroke-based Rendering: From Heuristics to Deep Learning [0.17188280334580194]
  近年のディープラーニング手法の発展は,ストロークベースの絵画と画素写真生成のギャップを埋めるのに役立つ。 我々は,ストロークベースのレンダリングアルゴリズムにおける共通課題とアプローチについて,構造化された紹介と理解を提供することを目指している。
  論文  参考訳（メタデータ） (2022-12-30T05:34:54Z)
• Learning Prior Feature and Attention Enhanced Image Inpainting [63.21231753407192]
  本稿では,事前学習に基づくMasked AutoEncoder(MAE)を塗装モデルに組み込む。 マスク付き領域とマスキングされていない領域間の長距離依存性をより学習させるために,MAE の注意点を用いた手法を提案する。
  論文  参考訳（メタデータ） (2022-08-03T04:32:53Z)
• Adaptive Perturbation for Adversarial Attack [50.77612889697216]
  そこで本研究では,新たな逆例に対する勾配に基づく攻撃手法を提案する。 逆方向の摂動を発生させるために,スケーリング係数を用いた正確な勾配方向を用いる。 本手法は, 高い伝達性を示し, 最先端の手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2021-11-27T07:57:41Z)
• Paint Transformer: Feed Forward Neural Painting with Stroke Prediction [36.457204758975074]
  我々は,フィードフォワードネットワークを用いたストロークセットのパラメータを予測するために,Paint Transformerと呼ばれる新しいトランスフォーマーベースのフレームワークを提案する。 このようにして、我々のモデルは並列に一組のストロークを生成でき、ほぼリアルタイムでサイズ512 * 512の最終的な絵を得ることができる。 実験により,本手法はトレーニングコストと推論コストの低減により,従来の手法よりも優れた塗装性能が得られることが示された。
  論文  参考訳（メタデータ） (2021-08-09T04:18:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。