論文の概要: SketchingReality: From Freehand Scene Sketches To Photorealistic Images
- arxiv url: http://arxiv.org/abs/2602.14648v1
- Date: Mon, 16 Feb 2026 11:13:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-17 16:22:50.378105
- Title: SketchingReality: From Freehand Scene Sketches To Photorealistic Images
- Title（参考訳）: SketchingReality: フリーハンドのスケッチからフォトリアリスティックな画像へ
- Authors: Ahmed Bourouis, Mikhail Bessmeltsev, Yulia Gryaditskaya,
- Abstract要約: 我々は,フリーハンド入力から画像を生成する際に,スケッチの付着とフォトリアリズムのバランスに着目する。
鍵となる障害は、地平線、ピクセルアライメントされた画像がないことである。
スケッチの意味的解釈を優先する変調に基づく手法を提案する。
提案手法は,フリーハンドスケッチ入力のセマンティックアライメントと,生成した画像のリアリズムと全体的な品質の両方において,既存のアプローチよりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 13.38976025870454
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent years have witnessed remarkable progress in generative AI, with natural language emerging as the most common conditioning input. As underlying models grow more powerful, researchers are exploring increasingly diverse conditioning signals, such as depth maps, edge maps, camera parameters, and reference images, to give users finer control over generation. Among different modalities, sketches are a natural and long-standing form of human communication, enabling rapid expression of visual concepts. Previous literature has largely focused on edge maps, often misnamed 'sketches', yet algorithms that effectively handle true freehand sketches, with their inherent abstraction and distortions, remain underexplored. We pursue the challenging goal of balancing photorealism with sketch adherence when generating images from freehand input. A key obstacle is the absence of ground-truth, pixel-aligned images: by their nature, freehand sketches do not have a single correct alignment. To address this, we propose a modulation-based approach that prioritizes semantic interpretation of the sketch over strict adherence to individual edge positions. We further introduce a novel loss that enables training on freehand sketches without requiring ground-truth pixel-aligned images. We show that our method outperforms existing approaches in both semantic alignment with freehand sketch inputs and in the realism and overall quality of the generated images.
- Abstract（参考訳）: 近年、生成AIの顕著な進歩が見られ、自然言語が最も一般的な条件入力として登場した。
基盤となるモデルがより強力になるにつれて、深度マップやエッジマップ、カメラパラメータ、参照イメージといった、より多様な条件付け信号の探索が進められている。
様々なモダリティの中で、スケッチは自然で長く続く人間のコミュニケーションの形式であり、視覚概念の迅速な表現を可能にしている。
以前の文献は主にエッジマップに焦点を合わせており、しばしば「スケッチ」と誤って呼ばれるが、真のフリーハンドスケッチを効果的に処理するアルゴリズムは、その固有の抽象化と歪みは未解明のままである。
我々は、自由入力から画像を生成する際に、写実主義とスケッチの密着性とのバランスをとるという挑戦的な目標を追求する。
鍵となる障害は、地平線、ピクセルアライメントされた画像がないことである。
そこで本研究では,個々のエッジ位置への厳密な付着よりも,スケッチの意味論的解釈を優先する変調に基づくアプローチを提案する。
さらに,地平線画像を必要としないフリーハンドスケッチのトレーニングを可能にする新たな損失も導入する。
提案手法は,フリーハンドスケッチ入力のセマンティックアライメントと,生成した画像のリアリズムと全体的な品質の両方において,既存のアプローチよりも優れていることを示す。
関連論文リスト
- Adapt and Align to Improve Zero-Shot Sketch-Based Image Retrieval [85.39613457282107]
スケッチに基づく画像検索のクロスドメイン性は困難である。
重要な課題に対処する効果的なAdaptとAlignのアプローチを提案する。
ゼロショットシナリオにおける画像テキスト基盤モデル(例えばCLIP)の最近の進歩に触発されて、学習したイメージの埋め込みを、より意味的なテキスト埋め込みと明確に整合させ、見知らぬクラスから見つからないクラスへの所望の知識伝達を実現する。
論文 参考訳（メタデータ） (2023-05-09T03:10:15Z) - Picture that Sketch: Photorealistic Image Generation from Abstract
Sketches [109.69076457732632]
この論文は、あなたや私のような訓練を受けていないアマチュアの抽象的で変形した普通のスケッチから、それをフォトリアリスティックなイメージに変えます。
まず、エッジマップのようなスケッチを指示するのではなく、抽象的なフリーハンドな人間のスケッチで作業することを目指しています。
そうすることで、スケッチから写真までのパイプラインを民主化し、スケッチがどれだけよいかに関わらず、スケッチを"写真化"します。
論文 参考訳（メタデータ） (2023-03-20T14:49:03Z) - Text-Guided Scene Sketch-to-Photo Synthesis [5.431298869139175]
テキストガイダンスを用いたシーンレベルのスケッチ・ツー・フォト合成手法を提案する。
モデルのトレーニングには,写真の集合から自己教師付き学習を用いる。
実験により,カラー画像から抽出されていないオリジナルスケッチ画像を視覚的品質の高い写真に変換することを確認した。
論文 参考訳（メタデータ） (2023-02-14T08:13:36Z) - Semantics-Preserving Sketch Embedding for Face Generation [26.15479367792076]
本稿では,W+空間の高表現力を活用するために,新しいW-W+エンコーダアーキテクチャを提案する。
また、スケッチセマンティック埋め込みのための明示的な中間表現も導入する。
ベクトル化されたスケッチから意味を自動的に抽出する新しいスケッチ意味解釈手法が設計されている。
論文 参考訳（メタデータ） (2022-11-23T15:14:49Z) - DeepPortraitDrawing: Generating Human Body Images from Freehand Sketches [75.4318318890065]
本稿では、大まかに描かれたスケッチをリアルな人体画像に変換するためのフレームワークであるDeepDrawingを紹介する。
様々なポーズの下で複雑な体形を符号化するために,我々は局所的・言語的アプローチをとる。
本手法は,最新のスケッチ・ツー・イメージ合成技術よりもリアルな画像を生成する。
論文 参考訳（メタデータ） (2022-05-04T14:02:45Z) - DeepFacePencil: Creating Face Images from Freehand Sketches [77.00929179469559]
既存の画像から画像への変換には、大規模なスケッチと画像のデータセットが必要である。
本稿では,手描きスケッチから写真リアルな顔画像を生成するための効果的なツールであるDeepFacePencilを提案する。
論文 参考訳（メタデータ） (2020-08-31T03:35:21Z) - Deep Plastic Surgery: Robust and Controllable Image Editing with
Human-Drawn Sketches [133.01690754567252]
スケッチベースの画像編集は、人間の描いたスケッチによって提供される構造情報に基づいて、写真を合成し、修正することを目的としている。
Deep Plastic Surgeryは、手書きのスケッチ入力を使って画像のインタラクティブな編集を可能にする、新しくて堅牢で制御可能な画像編集フレームワークである。
論文 参考訳（メタデータ） (2020-01-09T08:57:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。