論文の概要: Neural Collage Transfer: Artistic Reconstruction via Material Manipulation

• arxiv url: http://arxiv.org/abs/2311.02202v1
• Date: Fri, 3 Nov 2023 19:10:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 18:58:06.158071
• Title: Neural Collage Transfer: Artistic Reconstruction via Material Manipulation
• Title（参考訳）: 神経コラージュ伝達:物質操作による芸術的再構築
• Authors: Ganghun Lee, Minji Kim, Yunsu Lee, Minsu Lee, Byoung-Tak Zhang
• Abstract要約: コラージュは、多種多様な素材のスクラップをベース単位として単一の画像を構成する創造的な芸術形式である。 画素ワイズ生成技術はコラージュ方式で対象画像を再現することができるが、コラージュ方式のストローク・バイ・ストローク特性のために適当ではない。 実演やコラージュアートデータを必要としない強化学習によるコラージュ作成の学習法を提案する。
• 参考スコア（独自算出の注目度）: 20.72219392904935
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Collage is a creative art form that uses diverse material scraps as a base unit to compose a single image. Although pixel-wise generation techniques can reproduce a target image in collage style, it is not a suitable method due to the solid stroke-by-stroke nature of the collage form. While some previous works for stroke-based rendering produced decent sketches and paintings, collages have received much less attention in research despite their popularity as a style. In this paper, we propose a method for learning to make collages via reinforcement learning without the need for demonstrations or collage artwork data. We design the collage Markov Decision Process (MDP), which allows the agent to handle various materials and propose a model-based soft actor-critic to mitigate the agent's training burden derived from the sophisticated dynamics of collage. Moreover, we devise additional techniques such as active material selection and complexity-based multi-scale collage to handle target images at any size and enhance the results' aesthetics by placing relatively more scraps in areas of high complexity. Experimental results show that the trained agent appropriately selected and pasted materials to regenerate the target image into a collage and obtained a higher evaluation score on content and style than pixel-wise generation methods. Code is available at https://github.com/northadventure/CollageRL.
• Abstract（参考訳）: コラージュは、様々な素材のスクラップをベース単位として単一の画像を構成する創造的な芸術形式である。 画素別生成技術はコラージュスタイルで対象画像を再現することができるが、コラージュ形式のストローク・バイ・ストローク性のため、適切な方法ではない。 ストロークベースのレンダリングのための以前の作品では、まともなスケッチや絵画が制作されたが、コラージュはスタイルとして人気があるにもかかわらず、研究にはあまり関心が寄せられていない。 本稿では,実演やコラージュアートデータを必要としない強化学習によるコラージュ作成の学習法を提案する。 我々は,コラージュマルコフ決定プロセス(MDP)を設計し,エージェントが様々な素材を扱えるようにし,コラージュの高度な力学からエージェントの訓練負担を軽減するためのモデルベースのソフトアクター批判を提案する。 さらに, 対象画像を任意のサイズで処理し, より複雑な領域に比較的多くのスクラップを配置することにより, 審美性を高めるために, 有効物質選択や複雑度に基づくマルチスケールコラージュなどの付加手法を考案した。 実験の結果,トレーニングしたエージェントは,対象画像をコラージュに再生するための材料を適切に選択・ペーストし,画素別生成法よりもコンテンツ・スタイルの評価スコアが高かった。 コードはhttps://github.com/northadventure/CollageRLで入手できる。

関連論文リスト

• MULAN: A Multi Layer Annotated Dataset for Controllable Text-to-Image Generation [54.64194935409982]
  44K MUlti-Layer-wise RGBA 分解からなる新しいデータセット MuLAn を紹介する。 MuLAnは、高品質な画像のインスタンス分解と空間情報を提供する最初のフォトリアリスティックなリソースである。 我々は,新しい生成・編集技術,特にレイヤワイドソリューションの開発を促進することを目的としている。
  論文  参考訳（メタデータ） (2024-04-03T14:58:00Z)
• Image Collage on Arbitrary Shape via Shape-Aware Slicing and Optimization [6.233023267175408]
  任意の形状の画像コラージュを作成することができる形状スライシングアルゴリズムと最適化方式を提案する。 形状認識スライシング(Shape-Aware Slicing)は、不規則な形状に特化して設計されており、人間の知覚と形状構造を考慮に入れ、視覚的に心地よい仕切りを生成する。
  論文  参考訳（メタデータ） (2023-11-17T09:41:30Z)
• Composite Diffusion | whole >= \Sigma parts [0.0]
  本稿では,サブシーンからの合成により,アーティストが高品質な画像を生成する手段として,複合拡散を導入する。 サブシーンの生成, 構成, 調和の代替手段を可能にする, 複合拡散の包括的かつモジュラーな方法を提案する。
  論文  参考訳（メタデータ） (2023-07-25T17:58:43Z)
• CLIP-CLOP: CLIP-Guided Collage and Photomontage [16.460669517251084]
  我々はコラージュを生成するために勾配に基づく発電機を設計する。 人間のアーティストはイメージパッチのライブラリをキュレートし、画像構成全体を(プロンプトで)記述する必要がある。 われわれは高解像度コラージュの美的可能性を探究し、オープンソースのGoogle Colabを芸術ツールとして提供する。
  論文  参考訳（メタデータ） (2022-05-06T11:33:49Z)
• Self-Similarity Priors: Neural Collages as Differentiable Fractal Representations [73.14227103400964]
  本稿では,自己相似性の自動発見における学習の役割と下流タスクの活用について検討する。 我々は、自己参照型構造化変換のパラメータとしてデータを表す暗黙演算子の新しいクラスであるニューラルコラージュを設計する。 本稿では,ニューラルコラージュが生成する表現を,データ圧縮や生成など様々なタスクで活用する方法を検討する。
  論文  参考訳（メタデータ） (2022-04-15T22:54:23Z)
• Aesthetic Photo Collage with Deep Reinforcement Learning [16.523810962786705]
  写真コラージュは、美的品質の高いキャンバスに複数の写真を自動的に配置することを目的としている。 ディープラーニングは有望な方法を提供するが、コラージュの複雑さとトレーニングデータの欠如のため、ソリューションはまだ見つからない。 本稿では,アスペクト比特定コラージュの自動生成のための新しいパイプラインを提案し,コラージュに強化学習技術を導入した。
  論文  参考訳（メタデータ） (2021-10-19T07:34:48Z)
• Deep Image Compositing [93.75358242750752]
  ユーザ入力なしで高品質の画像合成を自動生成する手法を提案する。 ラプラシアン・ピラミッド・ブレンディングにインスパイアされ、フォアグラウンドや背景画像からの情報を効果的に融合させるために、密結合型多ストリーム融合ネットワークが提案されている。 実験により,提案手法は高品質な合成物を自動生成し,定性的かつ定量的に既存手法より優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2020-11-04T06:12:24Z)
• Learning to Compose Hypercolumns for Visual Correspondence [57.93635236871264]
  本稿では,画像に条件付けされた関連レイヤを活用することで,動的に効率的な特徴を構成する視覚対応手法を提案する。 提案手法はダイナミックハイパーピクセルフロー(Dynamic Hyperpixel Flow)と呼ばれ,深層畳み込みニューラルネットワークから少数の関連層を選択することにより,高速にハイパーカラム機能を構成することを学習する。
  論文  参考訳（メタデータ） (2020-07-21T04:03:22Z)
• RetrieveGAN: Image Synthesis via Differentiable Patch Retrieval [76.87013602243053]
  本稿では,シーン記述からイメージを抽出したパッチを参照として合成する,識別可能な検索モジュールを提案する。 提案手法が現実的かつ多様な画像を生成可能であることを示すため,広範に定量的かつ定性的な実験を行った。
  論文  参考訳（メタデータ） (2020-07-16T17:59:04Z)
• SketchyCOCO: Image Generation from Freehand Scene Sketches [71.85577739612579]
  本稿では,シーンレベルのフリーハンドスケッチから画像の自動生成手法を提案する。 主要なコントリビューションは、EdgeGANと呼ばれる属性ベクトルをブリッジしたGeneversarative Adrial Networkである。 我々はSketchyCOCOと呼ばれる大規模複合データセットを構築し、ソリューションをサポートし評価した。
  論文  参考訳（メタデータ） (2020-03-05T14:54:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。