論文の概要: Sketch-based Creativity Support Tools using Deep Learning

• arxiv url: http://arxiv.org/abs/2111.09991v1
• Date: Fri, 19 Nov 2021 00:57:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-22 15:50:20.609941
• Title: Sketch-based Creativity Support Tools using Deep Learning
• Title（参考訳）: ディープラーニングを用いたスケッチベースクリエイティビティ支援ツール
• Authors: Forrest Huang, Eldon Schoop, David Ha, Jeffrey Nichols, John Canny
• Abstract要約: ディープラーニングモデルの最近の進歩は、視覚的コンテンツを理解および生成するマシンの能力を大幅に改善した。 開発中のエキサイティングな領域では、人間のスケッチをモデル化するためのディープラーニングアプローチを探求し、クリエイティブなアプリケーションに機会を与えている。 この章では、スケッチを消費し、生成するディープラーニング駆動の創造性支援ツールを開発するための3つの基本的なステップについて説明する。
• 参考スコア（独自算出の注目度）: 23.366634691081593
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sketching is a natural and effective visual communication medium commonly used in creative processes. Recent developments in deep-learning models drastically improved machines' ability in understanding and generating visual content. An exciting area of development explores deep-learning approaches used to model human sketches, opening opportunities for creative applications. This chapter describes three fundamental steps in developing deep-learning-driven creativity support tools that consumes and generates sketches: 1) a data collection effort that generated a new paired dataset between sketches and mobile user interfaces; 2) a sketch-based user interface retrieval system adapted from state-of-the-art computer vision techniques; and, 3) a conversational sketching system that supports the novel interaction of a natural-language-based sketch/critique authoring process. In this chapter, we survey relevant prior work in both the deep-learning and human-computer-interaction communities, document the data collection process and the systems' architectures in detail, present qualitative and quantitative results, and paint the landscape of several future research directions in this exciting area.
• Abstract（参考訳）: スケッチング(sketching)は、創造的プロセスで一般的に使用される、自然で効果的な視覚コミュニケーション媒体である。 ディープラーニングモデルの最近の進歩は、視覚的コンテンツを理解および生成するマシンの能力を大幅に改善した。 エキサイティングな開発領域は、人間のスケッチのモデル化に使用されるディープラーニングのアプローチを探求し、クリエイティブなアプリケーションへの機会を開く。 本章では、スケッチを消費し生成するディープラーニング駆動創造性支援ツールの開発における3つの基本的なステップについて記述する。 1) スケッチとモバイルユーザインターフェースの間に新たなペアデータセットを生成するデータ収集作業 2)最先端のコンピュータビジョン技術に適応したスケッチベースのユーザインタフェース検索システム,及び 3)自然言語に基づくスケッチ/批評オーサリングプロセスの新たなインタラクションを支援する会話スケッチシステム。 本章では、深層学習とヒューマン・コンピュータ・インタラクションの両コミュニティにおける先行研究について、データ収集プロセスとシステムのアーキテクチャの詳細を文書化し、質的かつ定量的な結果を提示し、このエキサイティングな領域における将来の研究方向性の風景を描く。

関連論文リスト

• SketchAgent: Language-Driven Sequential Sketch Generation [34.96339247291013]
  SketchAgentは言語駆動でシーケンシャルなスケッチ生成方法である。 テキスト内例を通してモデルに導入した直感的なスケッチ言語を提案する。 脳卒中をストロークで描くことで、スケッチに固有の進化的でダイナミックな性質を捉えます。
  論文  参考訳（メタデータ） (2024-11-26T18:32:06Z)
• Choreographing the Digital Canvas: A Machine Learning Approach to Artistic Performance [9.218587190403174]
  本稿では,属性記述に基づく芸術演奏のためのデザインツールについて紹介する。 このプラットフォームは、新しい機械学習(ML)モデルとインタラクティブインターフェースを統合して、芸術的な動きを生成、視覚化する。
  論文  参考訳（メタデータ） (2024-03-26T01:42:13Z)
• Sketch Input Method Editor: A Comprehensive Dataset and Methodology for Systematic Input Recognition [14.667745062352148]
  本研究の目的は,プロフェッショナルなC4Iシステム用に設計されたSketch Input Method Editor(SketchIME)を作成することである。 このシステム内では、スケッチは標準化されたシンボルを推奨する低忠実なプロトタイプとして利用される。 少数ショットのドメイン適応とクラス増分学習を取り入れることで、ネットワークの新規ユーザへの適応能力は大幅に向上する。
  論文  参考訳（メタデータ） (2023-11-30T05:05:38Z)
• SketchDreamer: Interactive Text-Augmented Creative Sketch Ideation [111.2195741547517]
  画像の画素表現に基づいて訓練されたテキスト条件付き拡散モデルを用いて,制御されたスケッチを生成する手法を提案する。 我々の目標は、プロでないユーザにスケッチを作成させ、一連の最適化プロセスを通じて物語をストーリーボードに変換することです。
  論文  参考訳（メタデータ） (2023-08-27T19:44:44Z)
• I Know What You Draw: Learning Grasp Detection Conditioned on a Few Freehand Sketches [74.63313641583602]
  そこで本研究では,スケッチ画像に関連のある潜在的な把握構成を生成する手法を提案する。 私たちのモデルは、現実世界のアプリケーションで簡単に実装できるエンドツーエンドで訓練され、テストされています。
  論文  参考訳（メタデータ） (2022-05-09T04:23:36Z)
• K-LITE: Learning Transferable Visual Models with External Knowledge [242.3887854728843]
  K-LITE (Knowledge-augmented Language- Image Training and Evaluation) は、外部知識を活用して伝達可能な視覚システムを構築する戦略である。 トレーニングでは、WordNetとWiktionaryの知識で自然言語のエンティティを豊かにする。 評価において、自然言語は外部知識で拡張され、学習された視覚概念を参照するために使用される。
  論文  参考訳（メタデータ） (2022-04-20T04:47:01Z)
• SketchEmbedNet: Learning Novel Concepts by Imitating Drawings [125.45799722437478]
  モデルを用いて画像のスケッチを作成することによって学習した画像表現の特性について検討する。 この生成型クラスに依存しないモデルでは,新規な例,クラス,さらには新規なデータセットからの画像の情報埋め込みが,数ショットで生成されることが示されている。
  論文  参考訳（メタデータ） (2020-08-27T16:43:28Z)
• SketchDesc: Learning Local Sketch Descriptors for Multi-view Correspondence [68.63311821718416]
  我々はマルチビュースケッチ対応の問題について検討し、同じオブジェクトの異なるビューを持つ複数のフリーハンドスケッチを入力として扱う。 異なる視点における対応する点の視覚的特徴は、非常に異なる可能性があるため、この問題は困難である。 我々は、深層学習アプローチを採用し、データから新しいローカルスケッチ記述子を学習する。
  論文  参考訳（メタデータ） (2020-01-16T11:31:21Z)
• Deep Learning for Free-Hand Sketch: A Survey [159.63186738971953]
  フリーハンドのスケッチは非常に図像的であり、古代から現代にかけての物や物語を描くために人間によって広く用いられてきた。 最近のタッチスクリーンデバイスの普及により、スケッチ作成はこれまでになく簡単になり、スケッチ指向のアプリケーションがますます人気を博している。
  論文  参考訳（メタデータ） (2020-01-08T16:23:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。