論文の概要: SketchGPT: Autoregressive Modeling for Sketch Generation and Recognition

• arxiv url: http://arxiv.org/abs/2405.03099v1
• Date: Mon, 6 May 2024 01:24:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-07 15:04:42.801363
• Title: SketchGPT: Autoregressive Modeling for Sketch Generation and Recognition
• Title（参考訳）: SketchGPT: 自動回帰モデリングによるスケッチ生成と認識
• Authors: Adarsh Tiwari, Sanket Biswas, Josep Lladós,
• Abstract要約: SketchGPTはフレキシブルなフレームワークで、シーケンスからシーケンスへの自動回帰モデルを用いてスケッチ生成と補完を行う。 複雑なスケッチを抽象的プリミティブの単純化されたシーケンスにマッピングすることで、自動回帰モデリングのための入力を大幅に合理化する。
• 参考スコア（独自算出の注目度）: 4.6519578789100215
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We present SketchGPT, a flexible framework that employs a sequence-to-sequence autoregressive model for sketch generation, and completion, and an interpretation case study for sketch recognition. By mapping complex sketches into simplified sequences of abstract primitives, our approach significantly streamlines the input for autoregressive modeling. SketchGPT leverages the next token prediction objective strategy to understand sketch patterns, facilitating the creation and completion of drawings and also categorizing them accurately. This proposed sketch representation strategy aids in overcoming existing challenges of autoregressive modeling for continuous stroke data, enabling smoother model training and competitive performance. Our findings exhibit SketchGPT's capability to generate a diverse variety of drawings by adding both qualitative and quantitative comparisons with existing state-of-the-art, along with a comprehensive human evaluation study. The code and pretrained models will be released on our official GitHub.
• Abstract（参考訳）: スケッチ生成と完了のためのシーケンス・ツー・シーケンス自動回帰モデルを用いたフレキシブルなフレームワークであるSketchGPTと、スケッチ認識のための解釈ケーススタディを提案する。 複雑なスケッチを抽象的プリミティブの単純化されたシーケンスにマッピングすることで、自動回帰モデリングのための入力を大幅に合理化する。 SketchGPTは次のトークン予測客観的戦略を活用してスケッチパターンを理解し、描画の作成と完了を容易にし、それらを正確に分類する。 このスケッチ表現戦略は、連続ストロークデータに対する自己回帰モデリングの既存の課題を克服し、よりスムーズなモデルトレーニングと競争性能を実現する。 以上の結果から,SketchGPTが既存の最先端技術と質的,定量的に比較し,多種多様な図を作成できることを示すとともに,総合的な人的評価研究を行った。 コードと事前トレーニングされたモデルは、私たちの公式GitHubでリリースされます。

関連論文リスト

• Customize StyleGAN with One Hand Sketch [0.0]
  本稿では,単一のユーザスケッチでスタイルGAN画像を制御するフレームワークを提案する。 我々は、エネルギーベース学習により、事前学習したStyleGANモデルの潜在空間における条件分布を学習する。 我々のモデルは、入力スケッチにセマンティックに整合したマルチモーダル画像を生成することができる。
  論文  参考訳（メタデータ） (2023-10-29T09:32:33Z)
• Sketch3T: Test-Time Training for Zero-Shot SBIR [106.59164595640704]
  ゼロショットのスケッチに基づく画像検索は、通常、未確認のカテゴリのように訓練されたモデルを適用するように要求する。 我々は、ZS-SBIRを拡張して、両方のカテゴリとスケッチ分布に転送するよう求めます。 私たちの重要な貢献は、ひとつのスケッチを使って適応できるテスト時のトレーニングパラダイムです。
  論文  参考訳（メタデータ） (2022-03-28T12:44:49Z)
• B\'ezierSketch: A generative model for scalable vector sketches [132.5223191478268]
  B'ezierSketchは、完全ベクトルスケッチのための新しい生成モデルであり、自動的にスケーラブルで高解像度である。 まず,各ストロークを最適なB'ezier曲線に埋め込むようにエンコーダを訓練する。 これにより、スケッチをパラマタライズされたストロークの短いシーケンスとして扱うことができ、これにより、より長いスケッチのために、より多くのキャパシティを持つ再帰的なスケッチジェネレータを訓練することができる。
  論文  参考訳（メタデータ） (2020-07-04T21:30:52Z)
• CoSE: Compositional Stroke Embeddings [52.529172734044664]
  本稿では、ストロークベースの描画タスクのような複雑な自由形式構造に対する生成モデルを提案する。 我々のアプローチは、自動補完図のようなインタラクティブなユースケースに適している。
  論文  参考訳（メタデータ） (2020-06-17T15:22:54Z)
• Sketch-BERT: Learning Sketch Bidirectional Encoder Representation from Transformers by Self-supervised Learning of Sketch Gestalt [125.17887147597567]
  我々は、トランスフォーマー(Sketch-BERT)からのSketch BiBERT表現の学習モデルを提案する。 BERTをドメインのスケッチに一般化し、新しいコンポーネントと事前学習アルゴリズムを提案する。 Sketch-BERTの学習表現は,スケッチ認識,スケッチ検索,スケッチゲットといった下流タスクの性能向上に有効であることを示す。
  論文  参考訳（メタデータ） (2020-05-19T01:35:44Z)
• Deep Self-Supervised Representation Learning for Free-Hand Sketch [51.101565480583304]
  フリーハンドスケッチにおける自己指導型表現学習の課題に対処する。 自己教師型学習パラダイムの成功の鍵は、スケッチ固有の設計にある。 提案手法は最先端の教師なし表現学習法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-02-03T16:28:29Z)
• Deep Plastic Surgery: Robust and Controllable Image Editing with Human-Drawn Sketches [133.01690754567252]
  スケッチベースの画像編集は、人間の描いたスケッチによって提供される構造情報に基づいて、写真を合成し、修正することを目的としている。 Deep Plastic Surgeryは、手書きのスケッチ入力を使って画像のインタラクティブな編集を可能にする、新しくて堅牢で制御可能な画像編集フレームワークである。
  論文  参考訳（メタデータ） (2020-01-09T08:57:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。