論文の概要: Describing Textures using Natural Language
- arxiv url: http://arxiv.org/abs/2008.01180v1
- Date: Mon, 3 Aug 2020 20:37:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-03 06:50:09.713552
- Title: Describing Textures using Natural Language
- Title(参考訳): 自然言語を用いたテクスチャ記述
- Authors: Chenyun Wu, Mikayla Timm, Subhransu Maji
- Abstract要約: 自然画像のテクスチャは、色、形状、内部の要素の周期性、および自然言語を用いて記述できるその他の属性によって特徴づけられる。
テクスチャの豊富な記述を含む新しいデータセットにおいて,テクスチャの視覚的属性を記述する問題について検討した。
我々は、いくつかのきめ細かいドメインを視覚化し、データセットで学んだテクスチャ属性が、Caltech-UCSD Birdsデータセットのエキスパート設計属性よりも改善できることを示します。
- 参考スコア(独自算出の注目度): 32.076605062485605
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Textures in natural images can be characterized by color, shape, periodicity
of elements within them, and other attributes that can be described using
natural language. In this paper, we study the problem of describing visual
attributes of texture on a novel dataset containing rich descriptions of
textures, and conduct a systematic study of current generative and
discriminative models for grounding language to images on this dataset. We find
that while these models capture some properties of texture, they fail to
capture several compositional properties, such as the colors of dots. We
provide critical analysis of existing models by generating synthetic but
realistic textures with different descriptions. Our dataset also allows us to
train interpretable models and generate language-based explanations of what
discriminative features are learned by deep networks for fine-grained
categorization where texture plays a key role. We present visualizations of
several fine-grained domains and show that texture attributes learned on our
dataset offer improvements over expert-designed attributes on the Caltech-UCSD
Birds dataset.
- Abstract(参考訳): 自然画像のテクスチャは、色、形状、内部の要素の周期性、および自然言語を用いて記述できるその他の属性によって特徴づけられる。
本稿では,テクスチャのリッチな記述を含む新しいデータセット上で,テクスチャの視覚的特性を記述する問題について検討し,このデータセット上の画像に対して言語を接地する現在の生成モデルおよび判別モデルについて体系的に検討する。
これらのモデルはテクスチャのいくつかの特性を捉えるが、ドットの色などいくつかの組成特性を捉えることができない。
異なる記述を持つ合成的だが現実的なテクスチャを生成することにより,既存モデルの批判的分析を行う。
我々のデータセットはまた、解釈可能なモデルをトレーニングし、テクスチャが重要な役割を果たすきめ細かな分類のためのディープネットワークによって学習される差別的特徴について言語ベースの説明を生成することができる。
我々は、いくつかのきめ細かいドメインを視覚化し、データセットで学んだテクスチャ属性が、Caltech-UCSD Birdsデータセットのエキスパート設計属性よりも改善できることを示します。
関連論文リスト
- Explorations in Texture Learning [1.9567015559455132]
我々は,CNNにおけるテクスチャとオブジェクトクラスの関係に関する新たな知見を明らかにするために,テクスチャオブジェクトアソシエーションを構築した。
本分析は,テクスチャ学習における研究が,新たな解釈可能性の方法を可能にし,予期せぬバイアスを明らかにする可能性を示唆している。
論文 参考訳(メタデータ) (2024-03-14T16:30:52Z) - TextureDreamer: Image-guided Texture Synthesis through Geometry-aware
Diffusion [64.49276500129092]
TextureDreamerは画像誘導型テクスチャ合成法である。
少数の入力画像から任意のカテゴリでターゲットの3D形状に光沢のあるテクスチャを転送することができる。
論文 参考訳(メタデータ) (2024-01-17T18:55:49Z) - Text2Scene: Text-driven Indoor Scene Stylization with Part-aware Details [12.660352353074012]
複数のオブジェクトからなる仮想シーンの現実的なテクスチャを自動生成するText2Sceneを提案する。
我々のパイプラインは、室内のラベル付き3Dジオメトリに詳細なテクスチャを追加し、生成した色が、しばしば類似の材料から構成される階層構造や意味的な部分を尊重するようにします。
論文 参考訳(メタデータ) (2023-08-31T17:37:23Z) - Parents and Children: Distinguishing Multimodal DeepFakes from Natural
Images [59.71861772648853]
我々は,最先端拡散モデルにより生成された偽画像の正当性に関する体系的研究を開拓した。
我々の分析は、偽画像は共通の低レベルな手がかりを共有しており、容易に認識できることを示している。
本設定では,偽検出手法の性能を定量的に評価し,コントラッシブ・ベース・ディエンタング・ストラテジーを導入する。
論文 参考訳(メタデータ) (2023-04-02T10:25:09Z) - Leveraging Textures in Zero-shot Understanding of Fine-Grained Domains [34.848408203825194]
自然画像におけるテクスチャ特性の認識における大規模言語と視覚モデル(例えばCLIP)の有効性について検討する。
筆者らはまず,CLIPをテクスチャデータセット上で体系的に研究し,幅広いテクスチャ用語に好適なカバレッジがあることを見出した。
次に、これらの属性が既存のデータセットに対して、ゼロショットのきめ細かい分類を可能にする方法を示す。
論文 参考訳(メタデータ) (2022-03-22T04:07:20Z) - Integrating Visuospatial, Linguistic and Commonsense Structure into
Story Visualization [81.26077816854449]
まず、構造的入力を符号化するための選挙区解析木の利用について検討する。
第二に、構造化されたインプットをコモンセンス情報で強化し、この外部知識が視覚的ストーリーの生成に与える影響について検討する。
第3に、境界ボックスと高密度キャプションによって視覚構造を組み込んで、生成された画像の文字やオブジェクトに関するフィードバックを提供する。
論文 参考訳(メタデータ) (2021-10-21T00:16:02Z) - Artificial Text Detection via Examining the Topology of Attention Maps [58.46367297712477]
トポロジカルデータ分析(TDA)に基づく3種類の解釈可能なトポロジカル特徴を提案する。
BERTモデルから派生した特徴が3つの共通データセットにおいて、カウントベースとニューラルベースベースラインを最大10%上回っていることを実証的に示す。
特徴の探索解析は表面に対する感度と構文的性質を明らかにしている。
論文 参考訳(メタデータ) (2021-09-10T12:13:45Z) - Texture Generation with Neural Cellular Automata [64.70093734012121]
一つのテンプレート画像からテクスチャジェネレータを学習する。
NCAモデルで示される振る舞いは、テクスチャを生成するための学習された分散されたローカルアルゴリズムであると主張します。
論文 参考訳(メタデータ) (2021-05-15T22:05:46Z) - Iconographic Image Captioning for Artworks [2.3859169601259342]
本研究は,Iconclass分類システムの概念を付加したアート画像の大規模データセットを利用する。
アノテーションはクリーンなテキスト記述に処理され、画像キャプションタスク上でディープニューラルネットワークモデルのトレーニングに適したデータセットを生成する。
画像データセットを用いて、トランスフォーマーに基づく視覚言語事前学習モデルを微調整する。
生成したキャプションの品質と新たなデータに一般化するモデルの能力について,新たな絵画コレクションにモデルを適用し,一般的なキャプションと芸術ジャンルの関係を解析することにより検討する。
論文 参考訳(メタデータ) (2021-02-07T23:11:33Z) - Deep Texture-Aware Features for Camouflaged Object Detection [69.84122372541506]
本稿では, テクスチャ認識モジュールを定式化し, 深層畳み込みニューラルネットワークにおけるテクスチャ認識の特徴を学習する。
我々は,キャモフラージュされた物体検出のためのベンチマークデータセット上で,定性的かつ定量的にネットワークを評価した。
論文 参考訳(メタデータ) (2021-02-05T04:38:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。