論文の概要: CLIPDrawX: Primitive-based Explanations for Text Guided Sketch Synthesis
- arxiv url: http://arxiv.org/abs/2312.02345v1
- Date: Mon, 4 Dec 2023 21:11:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-06 17:39:54.303921
- Title: CLIPDrawX: Primitive-based Explanations for Text Guided Sketch Synthesis
- Title（参考訳）: clipdrawx:テキストガイドスケッチ合成のためのプリミティブベースの説明
- Authors: Nityanand Mathur, Shyam Marjit, Abhra Chaudhuri, Anjan Dutta
- Abstract要約: ここでは、CLIP の潜在空間は、円や直線のような単純な幾何学的原始体上の線型変換の観点でのみ視覚化可能であることを示す。
CLIPDrawXは,CLIPテキストの埋め込みにおいて,より優れた視覚化を提供するアルゴリズムである。
- 参考スコア（独自算出の注目度）: 4.025987274016071
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the goal of understanding the visual concepts that CLIP associates with
text prompts, we show that the latent space of CLIP can be visualized solely in
terms of linear transformations on simple geometric primitives like circles and
straight lines. Although existing approaches achieve this by
sketch-synthesis-through-optimization, they do so on the space of B\'ezier
curves, which exhibit a wastefully large set of structures that they can evolve
into, as most of them are non-essential for generating meaningful sketches. We
present CLIPDrawX, an algorithm that provides significantly better
visualizations for CLIP text embeddings, using only simple primitive shapes
like straight lines and circles. This constrains the set of possible outputs to
linear transformations on these primitives, thereby exhibiting an inherently
simpler mathematical form. The synthesis process of CLIPDrawX can be tracked
end-to-end, with each visual concept being explained exclusively in terms of
primitives. Implementation will be released upon acceptance. Project Page:
$\href{https://clipdrawx.github.io/}{\text{https://clipdrawx.github.io/}}$.
- Abstract（参考訳）: テキストプロンプトとCLIPが関連付ける視覚概念を理解することを目的として,CLIPの潜在空間を円や直線のような単純な幾何学的原始体上の線形変換のみで視覚化できることを示す。
既存のアプローチはスケッチ合成-スルー-最適化(英語版)によってこれを達成しているが、それらはB\'ezier曲線の空間で実現しており、それらは意味のあるスケッチを生成するのに必要ではないため、それらが進化できる構造を無駄に多く示している。
私たちはCLIPDrawXという,直線や円のような単純な原始形状のみを用いて,CLIPテキストの埋め込みをはるかによく視覚化するアルゴリズムを提案する。
これはこれらのプリミティブ上の線型変換に可能な出力の集合を制約し、本質的により単純な数学的形式を示す。
CLIPDrawXの合成プロセスはエンドツーエンドで追跡でき、各視覚概念はプリミティブの観点からのみ説明される。
実装は受け入れ次第リリースされる。
プロジェクトページ: $\href{https://clipdrawx.github.io/}{\text{https://clipdrawx.github.io/}}$
関連論文リスト
- Cascade-CLIP: Cascaded Vision-Language Embeddings Alignment for Zero-Shot Semantic Segmentation [72.47110803885235]
ゼロショットセマンティックセグメンテーションのための新しいフレームワークCascade-CLIPを提案する。
このフレームワークはCOCO-Stuff, Pascal-VOC, Pascal-Contextといったセグメンテーションベンチマークにおいて優れたゼロショット性能を実現する。
論文 参考訳（メタデータ） (2024-06-02T08:32:51Z) - SketchINR: A First Look into Sketches as Implicit Neural Representations [120.4152701687737]
暗黙的ニューラルモデルを用いてベクトルスケッチの表現を前進させるSketchINRを提案する。
可変長ベクトルスケッチは、時間とストロークの関数として下層の形状を暗黙的に符号化する固定次元の潜時空間に圧縮される。
初めてSketchINRは、ストロークの数と複雑さの点で、さまざまな抽象化でスケッチを再現する人間の能力をエミュレートする。
論文 参考訳（メタデータ） (2024-03-14T12:49:29Z) - Sketch Video Synthesis [52.134906766625164]
フレームワイドB'ezier曲線で表現されたビデオのスケッチを行うための新しいフレームワークを提案する。
本手法は、スケッチベースのビデオ編集やビデオ合成によるビデオ再生における応用を解放する。
論文 参考訳（メタデータ） (2023-11-26T14:14:04Z) - Improving Zero-Shot Generalization for CLIP with Synthesized Prompts [135.4317555866831]
既存のほとんどのメソッドは、実世界のアプリケーションでは保持できない全てのクラスにラベル付きデータを必要とする。
既存の微調整法を改善するために,textbfSynttextbfHestextbfIzed textbfPrompts(textbfSHIP)と呼ばれるプラグアンドプレイ生成手法を提案する。
論文 参考訳（メタデータ） (2023-07-14T15:15:45Z) - SketchXAI: A First Look at Explainability for Human Sketches [104.13322289903577]
本稿では,XAI(Explainable Artificial Intelligence)の風景に人間のスケッチを紹介する。
我々は、スケッチは人間中心のデータ形式であり、説明可能性を研究するための自然なインターフェースであると主張している。
我々は,ストロークの本質的な特性(形状,位置,順序)に対応するスケッチエンコーダを設計する。
論文 参考訳（メタデータ） (2023-04-23T20:28:38Z) - Linking Sketch Patches by Learning Synonymous Proximity for Graphic
Sketch Representation [8.19063619210761]
図形スケッチ表現のための順序不変な意味認識手法を提案する。
収穫されたスケッチのスケッチは、そのグローバルな意味や局所的な幾何学的形状、すなわち同義語に近い形でリンクされている。
本手法は, 制御可能なスケッチ合成とスケッチヒーリングの両方において, 性能を著しく向上することを示す。
論文 参考訳（メタデータ） (2022-11-30T09:28:15Z) - Abstracting Sketches through Simple Primitives [53.04827416243121]
人間は、オブジェクト情報を素早く通信する必要があるゲームにおいて、高いレベルの抽象化能力を示す。
本稿では,プリミティブをベースとしたスケッチ抽象化タスクを提案する。
我々のPrimitive-Matching Network(PMN)は、スケッチの解釈可能な抽象化を自己管理的に学習する。
論文 参考訳（メタデータ） (2022-07-27T14:32:39Z) - CLIPasso: Semantically-Aware Object Sketching [34.53644912236454]
本稿では,幾何学的および意味的単純化によって導かれる抽象レベルが異なるオブジェクトスケッチ手法を提案する。
スケッチをB'ezier曲線の集合として定義し、CLIPに基づく知覚的損失に対して曲線のパラメータを直接最適化するために微分器を使用する。
論文 参考訳（メタデータ） (2022-02-11T18:35:25Z) - CLIPDraw: Exploring Text-to-Drawing Synthesis through Language-Image
Encoders [0.7734726150561088]
CLIPDrawは、自然言語入力に基づいて新しい描画を合成するアルゴリズムである。
ピクセル画像ではなく、ベクターストローク(ベクトルストローク)上で動作します。
結果はCLIPDrawと他の合成-スルー-最適化法を比較した。
論文 参考訳（メタデータ） (2021-06-28T16:43:26Z) - SketchGen: Generating Constrained CAD Sketches [34.26732809515799]
異種性問題に対処するトランスフォーマーアーキテクチャに基づく生成モデルとしてSketchGenを提案する。
私たちの仕事のハイライトは、最終的なアウトプットをより規則化するための制約によってリンクされたプリミティブを生成する機能です。
論文 参考訳（メタデータ） (2021-06-04T20:45:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。