論文の概要: Learning to generate line drawings that convey geometry and semantics

• arxiv url: http://arxiv.org/abs/2203.12691v1
• Date: Wed, 23 Mar 2022 19:27:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-26 03:00:38.966815
• Title: Learning to generate line drawings that convey geometry and semantics
• Title（参考訳）: 幾何学と意味を伝達する線図を生成する学習
• Authors: Caroline Chan, Fredo Durand, Phillip Isola
• Abstract要約: 本稿では,写真から線画を作成する方法を提案する。 線画はシーン情報のエンコーディングであり,3次元形状と意味的意味を伝達しようとする。 線描画の画像特徴から深度情報を予測する幾何学的損失と、線描画のCLIP特徴と対応する写真とを一致させる意味的損失を導入する。
• 参考スコア（独自算出の注目度）: 22.932131011984513
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents an unpaired method for creating line drawings from photographs. Current methods often rely on high quality paired datasets to generate line drawings. However, these datasets often have limitations due to the subjects of the drawings belonging to a specific domain, or in the amount of data collected. Although recent work in unsupervised image-to-image translation has shown much progress, the latest methods still struggle to generate compelling line drawings. We observe that line drawings are encodings of scene information and seek to convey 3D shape and semantic meaning. We build these observations into a set of objectives and train an image translation to map photographs into line drawings. We introduce a geometry loss which predicts depth information from the image features of a line drawing, and a semantic loss which matches the CLIP features of a line drawing with its corresponding photograph. Our approach outperforms state-of-the-art unpaired image translation and line drawing generation methods on creating line drawings from arbitrary photographs. For code and demo visit our webpage carolineec.github.io/informative_drawings
• Abstract（参考訳）: 本稿では,写真から線画を作成する方法を提案する。 現在の手法は、しばしばライン描画を生成するために高品質なペアデータセットに依存している。 しかしながら、これらのデータセットは、特定のドメインに属する描画の主題や収集されたデータの量によって制限されることが多い。 教師なし画像間翻訳における最近の研究は、多くの進歩を示しているが、最新の手法は魅力的な線図を生成するのに依然として苦労している。 線画はシーン情報のエンコーディングであり,3次元形状と意味的意味を伝達しようとする。 これらの観察を目的のセットに構築し,画像変換を訓練し,画像を線画にマッピングする。 線描画の画像特徴から深度情報を予測する幾何学的損失と、線描画のCLIP特徴と対応する写真とを一致させる意味的損失を導入する。 任意の写真から線画を作成する際に,最先端の非ペア画像翻訳や線画生成手法に勝る手法を提案する。 コードとデモについては、webページ carolineec.github.io/informative_drawings をご覧ください。

関連論文リスト

• Equipping Sketch Patches with Context-Aware Positional Encoding for Graphic Sketch Representation [4.961362040453441]
  グラフィックスケッチ表現を学習するための変分描画保護手法を提案する。 スケッチ描画をグラフエッジに注入する代わりに、これらのシーケンシャル情報をグラフノードにのみ埋め込む。 実験結果から,本手法はスケッチのヒーリングと制御可能なスケッチ合成を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2024-03-26T09:26:12Z)
• Deep Geometrized Cartoon Line Inbetweening [98.35956631655357]
  インベントワイニングは、2つの白黒線図の間の中間フレームを生成する。 画像全体のマッチングとワープに依存する既存のフレームメソッドは、ラインインテワイニングには適していない。 本稿では,AnimeInbetを提案する。これは幾何学的な線描画をエンドポイントにジオメトリし,グラフ融合問題としてインベントワイニングタスクを再構成する。 本手法は,線画の細部と細部を包含しながら,線画の細部と特異な構造を効果的に捉えることができる。
  論文  参考訳（メタデータ） (2023-09-28T17:50:05Z)
• Picture that Sketch: Photorealistic Image Generation from Abstract Sketches [109.69076457732632]
  この論文は、あなたや私のような訓練を受けていないアマチュアの抽象的で変形した普通のスケッチから、それをフォトリアリスティックなイメージに変えます。 まず、エッジマップのようなスケッチを指示するのではなく、抽象的なフリーハンドな人間のスケッチで作業することを目指しています。 そうすることで、スケッチから写真までのパイプラインを民主化し、スケッチがどれだけよいかに関わらず、スケッチを"写真化"します。
  論文  参考訳（メタデータ） (2023-03-20T14:49:03Z)
• Quality Metric Guided Portrait Line Drawing Generation from Unpaired Training Data [88.78171717494688]
  本研究では,顔画像から肖像画への自動変換手法を提案する。 本手法は,(1)1つのネットワークを用いて複数のスタイルで高品質な肖像画を生成することを学習し,(2)トレーニングデータに見つからない「新しいスタイル」の肖像画を生成する。
  論文  参考訳（メタデータ） (2022-02-08T06:49:57Z)
• DeepFacePencil: Creating Face Images from Freehand Sketches [77.00929179469559]
  既存の画像から画像への変換には、大規模なスケッチと画像のデータセットが必要である。 本稿では,手描きスケッチから写真リアルな顔画像を生成するための効果的なツールであるDeepFacePencilを提案する。
  論文  参考訳（メタデータ） (2020-08-31T03:35:21Z)
• Cross-Modal Hierarchical Modelling for Fine-Grained Sketch Based Image Retrieval [147.24102408745247]
  我々は、これまで見過ごされてきたスケッチのさらなる特性、すなわち、詳細レベルの階層性について研究する。 本稿では,スケッチ固有の階層を育成し,それを利用して,対応する階層レベルでのスケッチと写真とのマッチングを行う新しいネットワークを設計する。
  論文  参考訳（メタデータ） (2020-07-29T20:50:25Z)
• Neural Contours: Learning to Draw Lines from 3D Shapes [20.650770317411233]
  本アーキテクチャでは,3次元モデルの幾何学的特徴を操作可能なモジュールと,ビューに基づく形状表現を操作可能なイメージベースモジュールが組み込まれている。 テスト時には、幾何学的およびビューに基づく推論とニューラルモジュールの助けが組み合わさって線図を作成する。
  論文  参考訳（メタデータ） (2020-03-23T15:37:49Z)
• SketchDesc: Learning Local Sketch Descriptors for Multi-view Correspondence [68.63311821718416]
  我々はマルチビュースケッチ対応の問題について検討し、同じオブジェクトの異なるビューを持つ複数のフリーハンドスケッチを入力として扱う。 異なる視点における対応する点の視覚的特徴は、非常に異なる可能性があるため、この問題は困難である。 我々は、深層学習アプローチを採用し、データから新しいローカルスケッチ記述子を学習する。
  論文  参考訳（メタデータ） (2020-01-16T11:31:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。