論文の概要: Sketch-BERT: Learning Sketch Bidirectional Encoder Representation from Transformers by Self-supervised Learning of Sketch Gestalt

• arxiv url: http://arxiv.org/abs/2005.09159v1
• Date: Tue, 19 May 2020 01:35:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 13:12:38.419987
• Title: Sketch-BERT: Learning Sketch Bidirectional Encoder Representation from Transformers by Self-supervised Learning of Sketch Gestalt
• Title（参考訳）: Sketch-BERT:Sketch Gestaltの自己教師学習による変換器からのスケッチ双方向エンコーダ表現の学習
• Authors: Hangyu Lin, Yanwei Fu, Yu-Gang Jiang, Xiangyang Xue
• Abstract要約: 我々は、トランスフォーマー(Sketch-BERT)からのSketch BiBERT表現の学習モデルを提案する。 BERTをドメインのスケッチに一般化し、新しいコンポーネントと事前学習アルゴリズムを提案する。 Sketch-BERTの学習表現は,スケッチ認識,スケッチ検索,スケッチゲットといった下流タスクの性能向上に有効であることを示す。
• 参考スコア（独自算出の注目度）: 125.17887147597567
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Previous researches of sketches often considered sketches in pixel format and leveraged CNN based models in the sketch understanding. Fundamentally, a sketch is stored as a sequence of data points, a vector format representation, rather than the photo-realistic image of pixels. SketchRNN studied a generative neural representation for sketches of vector format by Long Short Term Memory networks (LSTM). Unfortunately, the representation learned by SketchRNN is primarily for the generation tasks, rather than the other tasks of recognition and retrieval of sketches. To this end and inspired by the recent BERT model, we present a model of learning Sketch Bidirectional Encoder Representation from Transformer (Sketch-BERT). We generalize BERT to sketch domain, with the novel proposed components and pre-training algorithms, including the newly designed sketch embedding networks, and the self-supervised learning of sketch gestalt. Particularly, towards the pre-training task, we present a novel Sketch Gestalt Model (SGM) to help train the Sketch-BERT. Experimentally, we show that the learned representation of Sketch-BERT can help and improve the performance of the downstream tasks of sketch recognition, sketch retrieval, and sketch gestalt.
• Abstract（参考訳）: 以前のスケッチの研究は、しばしばピクセル形式のスケッチを考慮し、スケッチ理解においてCNNベースのモデルを活用していた。 基本的に、スケッチはピクセルのフォトリアリスティック画像ではなく、ベクトル形式表現であるデータポイントのシーケンスとして保存される。 SketchRNNは、Long Short Term Memory Network (LSTM) によるベクトルフォーマットのスケッチのための生成ニューラル表現を研究した。 残念ながら、SketchRNNが学んだ表現は主に、スケッチの認識と検索の他のタスクではなく、生成タスクのためのものである。 この目的のために、最近のBERTモデルに触発されて、Transformer (Sketch-BERT) から Sketch Bidirectional Encoder Representation を学ぶモデルを提案する。 我々は,新たに設計されたスケッチ埋め込みネットワークや,スケッチゲットの自己教師型学習を含む,新しいコンポーネントと事前学習アルゴリズムを用いて,BERTをスケッチドメインに一般化する。 特に,事前学習課題に向けて,スケッチベルトの訓練を支援する新しいスケッチジェスタルトモデル(sgm)を提案する。 実験により,Sketch-BERTの学習表現は,スケッチ認識,スケッチ検索,スケッチゲットといった下流タスクの性能向上に有効であることを示す。

関連論文リスト

• SketchTriplet: Self-Supervised Scenarized Sketch-Text-Image Triplet Generation [6.39528707908268]
  シーンスケッチ用の大規模なペアデータセットは引き続き欠如している。 本稿では,既存のシーンスケッチに依存しないシーンスケッチ生成のための自己教師型手法を提案する。 シーンスケッチを中心にした大規模なデータセットをコントリビュートし、セマンティックに一貫した「テキスト・スケッチ・イメージ」三つ子を含む。
  論文  参考訳（メタデータ） (2024-05-29T06:43:49Z)
• SketchDreamer: Interactive Text-Augmented Creative Sketch Ideation [111.2195741547517]
  画像の画素表現に基づいて訓練されたテキスト条件付き拡散モデルを用いて,制御されたスケッチを生成する手法を提案する。 我々の目標は、プロでないユーザにスケッチを作成させ、一連の最適化プロセスを通じて物語をストーリーボードに変換することです。
  論文  参考訳（メタデータ） (2023-08-27T19:44:44Z)
• SENS: Part-Aware Sketch-based Implicit Neural Shape Modeling [124.3266213819203]
  SENSは手描きスケッチから3Dモデルを生成し編集するための新しい手法である。 SENSはスケッチを分析し、部品をViTパッチエンコーディングにエンコードする。 SENSは部分再構成による精細化をサポートし、微調整とアーティファクトの除去を可能にする。
  論文  参考訳（メタデータ） (2023-06-09T17:50:53Z)
• Sketch Less Face Image Retrieval: A New Challenge [9.703239229149261]
  完全な顔のスケッチを描くには、しばしばスキルと時間が必要です。 そこで本研究では,各ストロークで顔画像検索を行い,ストロークの少ない部分スケッチを用いて対象の顔写真を検索することを目的とした,スケッチ少ない顔画像検索(SLFIR)を提案する。 実験は、新しいフレームワークが部分的またはプール描画スケッチを使用して検索を終了できることを示している。
  論文  参考訳（メタデータ） (2023-02-11T02:36:00Z)
• I Know What You Draw: Learning Grasp Detection Conditioned on a Few Freehand Sketches [74.63313641583602]
  そこで本研究では,スケッチ画像に関連のある潜在的な把握構成を生成する手法を提案する。 私たちのモデルは、現実世界のアプリケーションで簡単に実装できるエンドツーエンドで訓練され、テストされています。
  論文  参考訳（メタデータ） (2022-05-09T04:23:36Z)
• FS-COCO: Towards Understanding of Freehand Sketches of Common Objects in Context [112.07988211268612]
  フリーハンドシーンスケッチの最初のデータセットであるFS-COCOを用いてスケッチ研究を進めた。 本データセットは,100名の非専門家による1点あたりの時空間情報付きフリーハンドシーンベクトルスケッチからなる。 フリーハンドシーンのスケッチやスケッチのキャプションからきめ細かい画像検索の問題が初めて研究された。
  論文  参考訳（メタデータ） (2022-03-04T03:00:51Z)
• SketchLattice: Latticed Representation for Sketch Manipulation [30.092468954557468]
  スケッチ表現を設計する上で重要な課題は、スケッチの抽象的で象徴的な性質を扱うことである。 本稿では,ベクトルデータを必要とするボトルネックを除去するだけでなく,ベクトルデータが提供する構造的手がかりも保存する格子構造スケッチ表現を提案する。 格子表現はグラフモデルを用いて効果的に符号化することができ、既存の最先端モデルよりもモデルパラメータ(13.5倍)が大幅に少ない。
  論文  参考訳（メタデータ） (2021-08-26T08:02:21Z)
• B\'ezierSketch: A generative model for scalable vector sketches [132.5223191478268]
  B'ezierSketchは、完全ベクトルスケッチのための新しい生成モデルであり、自動的にスケーラブルで高解像度である。 まず,各ストロークを最適なB'ezier曲線に埋め込むようにエンコーダを訓練する。 これにより、スケッチをパラマタライズされたストロークの短いシーケンスとして扱うことができ、これにより、より長いスケッチのために、より多くのキャパシティを持つ再帰的なスケッチジェネレータを訓練することができる。
  論文  参考訳（メタデータ） (2020-07-04T21:30:52Z)
• Sketchformer: Transformer-based Representation for Sketched Structure [12.448155157592895]
  Sketchformerは、ベクトル形式で入力された自由ハンドスケッチを符号化するトランスフォーマーベースの表現である。 連続的およびトークン化された入力表現を探索するいくつかの変種を報告し、それらの性能を対比する。 我々の学習した埋め込みは辞書学習トークン化方式によって駆動され、分類および画像検索タスクにおける技術性能の状態を出力する。
  論文  参考訳（メタデータ） (2020-02-24T17:11:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。