論文の概要: Learning Geometry-aware Representations by Sketching

• arxiv url: http://arxiv.org/abs/2304.08204v1
• Date: Mon, 17 Apr 2023 12:23:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-18 15:26:10.061853
• Title: Learning Geometry-aware Representations by Sketching
• Title（参考訳）: スケッチによる幾何認識表現の学習
• Authors: Hyundo Lee, Inwoo Hwang, Hyunsung Go, Won-Seok Choi, Kibeom Kim, Byoung-Tak Zhang
• Abstract要約: 我々は,人間の行動にインスパイアされたスケッチによってシーンを表現する学習を提案する。 LBS(Learning by Sketching)と呼ばれる本手法では,映像をカラーストロークの集合に変換し,シーンの幾何学的情報を明示的に組み込む。
• 参考スコア（独自算出の注目度）: 20.957964436294873
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding geometric concepts, such as distance and shape, is essential for understanding the real world and also for many vision tasks. To incorporate such information into a visual representation of a scene, we propose learning to represent the scene by sketching, inspired by human behavior. Our method, coined Learning by Sketching (LBS), learns to convert an image into a set of colored strokes that explicitly incorporate the geometric information of the scene in a single inference step without requiring a sketch dataset. A sketch is then generated from the strokes where CLIP-based perceptual loss maintains a semantic similarity between the sketch and the image. We show theoretically that sketching is equivariant with respect to arbitrary affine transformations and thus provably preserves geometric information. Experimental results show that LBS substantially improves the performance of object attribute classification on the unlabeled CLEVR dataset, domain transfer between CLEVR and STL-10 datasets, and for diverse downstream tasks, confirming that LBS provides rich geometric information.
• Abstract（参考訳）: 距離や形状といった幾何学的概念を理解することは、現実世界や多くの視覚的タスクを理解する上でも不可欠である。 このような情報をシーンの視覚表現に組み込むために,人間の行動にインスパイアされたスケッチによってシーンを表現する学習を提案する。 LBS(Learning by Sketching)と呼ばれる本手法では,スケッチデータセットを必要とせずに,シーンの幾何学的情報を単一の推論ステップに明示的に組み込むカラーストロークの集合に画像を変換することを学ぶ。 スケッチは、CLIPベースの知覚的損失がスケッチとイメージのセマンティックな類似性を維持するストロークから生成される。 任意のアフィン変換に対してスケッチが同値であることを示し、幾何学的情報を確実に保存する。 実験の結果,LBSは未ラベルCLEVRデータセットのオブジェクト属性分類,CLEVRとSTL-10データセット間のドメイン転送,下流の多様なタスクの性能を大幅に改善し,LBSがリッチな幾何学情報を提供することを確認した。

関連論文リスト

• DiffFaceSketch: High-Fidelity Face Image Synthesis with Sketch-Guided Latent Diffusion Model [8.1818090854822]
  我々は,Sketch-Guided Latent Diffusion Model (SGLDM)を紹介した。 SGLDMは、さまざまな抽象レベルのスケッチから、異なる表情、顔のアクセサリー、ヘアスタイルで高品質な顔画像を合成することができる。
  論文  参考訳（メタデータ） (2023-02-14T08:51:47Z)
• SSR-GNNs: Stroke-based Sketch Representation with Graph Neural Networks [34.759306840182205]
  本稿では,スケッチにおけるストローク情報,すなわちスケッチの一部が頂点にエンコードされ,エッジ上のストローク間情報であるスケッチのグラフ表現について検討する。 結果のグラフ表現は、分類タスクのためのグラフニューラルネットワークのトレーニングを容易にする。 提案した表現は,既存のデータセットから分離可能ながら,構造的に類似した斬新なスケッチの生成を可能にする。
  論文  参考訳（メタデータ） (2022-04-27T19:18:01Z)
• Self-Supervised Image Representation Learning with Geometric Set Consistency [50.12720780102395]
  本稿では,3次元幾何整合性に基づく自己教師付き画像表現学習法を提案する。 具体的には、画像ビュー内の特徴整合性を強化するために、コントラスト学習フレームワークに3次元幾何学的整合性を導入する。
  論文  参考訳（メタデータ） (2022-03-29T08:57:33Z)
• FS-COCO: Towards Understanding of Freehand Sketches of Common Objects in Context [112.07988211268612]
  フリーハンドシーンスケッチの最初のデータセットであるFS-COCOを用いてスケッチ研究を進めた。 本データセットは,100名の非専門家による1点あたりの時空間情報付きフリーハンドシーンベクトルスケッチからなる。 フリーハンドシーンのスケッチやスケッチのキャプションからきめ細かい画像検索の問題が初めて研究された。
  論文  参考訳（メタデータ） (2022-03-04T03:00:51Z)
• CLIPasso: Semantically-Aware Object Sketching [34.53644912236454]
  本稿では,幾何学的および意味的単純化によって導かれる抽象レベルが異なるオブジェクトスケッチ手法を提案する。 スケッチをB'ezier曲線の集合として定義し、CLIPに基づく知覚的損失に対して曲線のパラメータを直接最適化するために微分器を使用する。
  論文  参考訳（メタデータ） (2022-02-11T18:35:25Z)
• One Sketch for All: One-Shot Personalized Sketch Segmentation [84.45203849671003]
  そこで本研究では,最初のワンショットパーソナライズドスケッチセグメンテーション手法を提案する。 我々は、同じカテゴリに属するすべてのスケッチを、特定の部分アノテーション付きの1つのスケッチでセグメント化することを目指している。 私たちは、例に埋め込まれた部分のセマンティクスを保存し、入力スタイルと抽象化に堅牢です。
  論文  参考訳（メタデータ） (2021-12-20T20:10:44Z)
• Semantically Tied Paired Cycle Consistency for Any-Shot Sketch-based Image Retrieval [55.29233996427243]
  ローショットスケッチに基づく画像検索はコンピュータビジョンの新たな課題である。 本稿では,ゼロショットおよび少数ショットのスケッチベース画像検索(SBIR)タスクについて述べる。 これらの課題を解決するために,SEM-PCYC(SEM-PCYC)を提案する。 以上の結果から,Sketchy,TU-Berlin,QuickDrawのデータセットを拡張したバージョンでは,最先端の撮影性能が大幅に向上した。
  論文  参考訳（メタデータ） (2020-06-20T22:43:53Z)
• Sketch-BERT: Learning Sketch Bidirectional Encoder Representation from Transformers by Self-supervised Learning of Sketch Gestalt [125.17887147597567]
  我々は、トランスフォーマー(Sketch-BERT)からのSketch BiBERT表現の学習モデルを提案する。 BERTをドメインのスケッチに一般化し、新しいコンポーネントと事前学習アルゴリズムを提案する。 Sketch-BERTの学習表現は,スケッチ認識,スケッチ検索,スケッチゲットといった下流タスクの性能向上に有効であることを示す。
  論文  参考訳（メタデータ） (2020-05-19T01:35:44Z)
• SketchDesc: Learning Local Sketch Descriptors for Multi-view Correspondence [68.63311821718416]
  我々はマルチビュースケッチ対応の問題について検討し、同じオブジェクトの異なるビューを持つ複数のフリーハンドスケッチを入力として扱う。 異なる視点における対応する点の視覚的特徴は、非常に異なる可能性があるため、この問題は困難である。 我々は、深層学習アプローチを採用し、データから新しいローカルスケッチ記述子を学習する。
  論文  参考訳（メタデータ） (2020-01-16T11:31:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。