論文の概要: Aesthetic Photo Collage with Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2110.09775v1
• Date: Tue, 19 Oct 2021 07:34:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-20 13:17:41.386231
• Title: Aesthetic Photo Collage with Deep Reinforcement Learning
• Title（参考訳）: 深層強化学習による審美写真コラージュ
• Authors: Mingrui Zhang, Mading Li, Li Chen, Jiahao Yu
• Abstract要約: 写真コラージュは、美的品質の高いキャンバスに複数の写真を自動的に配置することを目的としている。 ディープラーニングは有望な方法を提供するが、コラージュの複雑さとトレーニングデータの欠如のため、ソリューションはまだ見つからない。 本稿では,アスペクト比特定コラージュの自動生成のための新しいパイプラインを提案し,コラージュに強化学習技術を導入した。
• 参考スコア（独自算出の注目度）: 16.523810962786705
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Photo collage aims to automatically arrange multiple photos on a given canvas with high aesthetic quality. Existing methods are based mainly on handcrafted feature optimization, which cannot adequately capture high-level human aesthetic senses. Deep learning provides a promising way, but owing to the complexity of collage and lack of training data, a solution has yet to be found. In this paper, we propose a novel pipeline for automatic generation of aspect ratio specified collage and the reinforcement learning technique is introduced in collage for the first time. Inspired by manual collages, we model the collage generation as sequential decision process to adjust spatial positions, orientation angles, placement order and the global layout. To instruct the agent to improve both the overall layout and local details, the reward function is specially designed for collage, considering subjective and objective factors. To overcome the lack of training data, we pretrain our deep aesthetic network on a large scale image aesthetic dataset (CPC) for general aesthetic feature extraction and propose an attention fusion module for structural collage feature representation. We test our model against competing methods on two movie datasets and our results outperform others in aesthetic quality evaluation. Further user study is also conducted to demonstrate the effectiveness.
• Abstract（参考訳）: photo collageは、所定のキャンバスに複数の写真を自動的に配置し、高い美的品質で提供する。 既存の手法は主に手作りの特徴最適化に基づいており、高いレベルの人間の美意識を適切に捉えることはできない。 ディープラーニングは有望な方法を提供するが、コラージュの複雑さとトレーニングデータの欠如のため、まだ解決策が見つかっていない。 本稿では,特定コラージュのアスペクト比自動生成のための新しいパイプラインを提案し,コラージュにおける強化学習手法を初めて紹介する。 手動コラージュにインスパイアされたコラージュ生成を逐次決定プロセスとしてモデル化し,空間的位置,方向角,配置順序,大域的レイアウトを調整する。 エージェントに全体レイアウトと局所的詳細の両方を改善するよう指示するため、報酬関数は主観的および客観的要因を考慮して特別にコラージュ用に設計されている。 トレーニングデータの欠如を克服するため,我々は大規模画像美的データセット(CPC)を用いて,一般的な美的特徴抽出のための深層美的ネットワークを事前訓練し,構造的コラージュ特徴表現のための注意融合モジュールを提案する。 2つの映画データセット上で競合する手法に対して本モデルを検証し,美的品質評価において他者よりも優れた結果を得た。 さらなるユーザスタディも実施し、その効果を実証する。

関連論文リスト

• Learning to Compose: Improving Object Centric Learning by Injecting Compositionality [27.364435779446072]
  構成表現は、オブジェクト指向学習の重要な側面である。 既存のアプローチのほとんどは、自動エンコーディングの目的に依存しています。 表現の合成性を明確に促進する新しい目的を提案する。
  論文  参考訳（メタデータ） (2024-05-01T17:21:36Z)
• ObjBlur: A Curriculum Learning Approach With Progressive Object-Level Blurring for Improved Layout-to-Image Generation [7.645341879105626]
  レイアウト・ツー・イメージ生成モデルを改善するための新しいカリキュラム学習手法であるBlurを提案する。 提案手法は,プログレッシブオブジェクトレベルのぼかしをベースとして,トレーニングを効果的に安定化し,生成画像の品質を向上させる。
  論文  参考訳（メタデータ） (2024-04-11T08:50:12Z)
• Neural Collage Transfer: Artistic Reconstruction via Material Manipulation [20.72219392904935]
  コラージュは、多種多様な素材のスクラップをベース単位として単一の画像を構成する創造的な芸術形式である。 画素ワイズ生成技術はコラージュ方式で対象画像を再現することができるが、コラージュ方式のストローク・バイ・ストローク特性のために適当ではない。 実演やコラージュアートデータを必要としない強化学習によるコラージュ作成の学習法を提案する。
  論文  参考訳（メタデータ） (2023-11-03T19:10:37Z)
• Cones 2: Customizable Image Synthesis with Multiple Subjects [50.54010141032032]
  本研究では,特定の対象を効率的に表現する方法と,異なる対象を適切に構成する方法について検討する。 クロスアテンションマップ内のアクティベーションを修正することにより、レイアウトはイメージ内の異なる被写体の位置を指定して分離する。
  論文  参考訳（メタデータ） (2023-05-30T18:00:06Z)
• Controllable Person Image Synthesis with Spatially-Adaptive Warped Normalization [72.65828901909708]
  制御可能な人物画像生成は、望ましい属性を持つ現実的な人間の画像を作成することを目的としている。 本稿では,学習フロー場とワープ変調パラメータを統合した空間適応型ワープ正規化(SAWN)を提案する。 本稿では,テクスチャ・トランスファータスクの事前学習モデルを洗練するための,新たな自己学習部分置換戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-31T07:07:44Z)
• Deep Image Compositing [93.75358242750752]
  ユーザ入力なしで高品質の画像合成を自動生成する手法を提案する。 ラプラシアン・ピラミッド・ブレンディングにインスパイアされ、フォアグラウンドや背景画像からの情報を効果的に融合させるために、密結合型多ストリーム融合ネットワークが提案されている。 実験により,提案手法は高品質な合成物を自動生成し,定性的かつ定量的に既存手法より優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2020-11-04T06:12:24Z)
• Bridging Composite and Real: Towards End-to-end Deep Image Matting [88.79857806542006]
  画像マッチングにおける意味論と細部の役割について検討する。 本稿では,共有エンコーダと2つの分離デコーダを用いた新しいGlance and Focus Matting Network(GFM)を提案する。 総合的な実証研究により、GFMは最先端の手法より優れていることが示されている。
  論文  参考訳（メタデータ） (2020-10-30T10:57:13Z)
• Perspective Plane Program Induction from a Single Image [85.28956922100305]
  本研究では,自然画像の全体像を推定する逆グラフ問題について検討する。 我々は、この問題を、入力画像の最もよく記述されたカメラポーズとシーン構造を共同で発見するものとして定式化する。 提案するフレームワークであるP3Iは,探索に基づくアルゴリズムと勾配に基づくアルゴリズムを組み合わせて効率よく問題を解く。
  論文  参考訳（メタデータ） (2020-06-25T21:18:58Z)
• AlphaNet: An Attention Guided Deep Network for Automatic Image Matting [0.0]
  本研究では,画像マッチングのためのエンドツーエンドソリューション,すなわち自然画像から前景オブジェクトを高精度に抽出する手法を提案する。 本稿では,セマンティックセグメンテーションと深層画像マッチングプロセスをひとつのネットワークに同化して意味行列を生成する手法を提案する。 また、高品質なアルファマットを用いたファッションeコマース型データセットを構築し、画像マッチングのトレーニングと評価を容易にする。
  論文  参考訳（メタデータ） (2020-03-07T17:25:21Z)
• SketchyCOCO: Image Generation from Freehand Scene Sketches [71.85577739612579]
  本稿では,シーンレベルのフリーハンドスケッチから画像の自動生成手法を提案する。 主要なコントリビューションは、EdgeGANと呼ばれる属性ベクトルをブリッジしたGeneversarative Adrial Networkである。 我々はSketchyCOCOと呼ばれる大規模複合データセットを構築し、ソリューションをサポートし評価した。
  論文  参考訳（メタデータ） (2020-03-05T14:54:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。