論文の概要: Describing Textures using Natural Language
- arxiv url: http://arxiv.org/abs/2008.01180v1
- Date: Mon, 3 Aug 2020 20:37:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-03 06:50:09.713552
- Title: Describing Textures using Natural Language
- Title（参考訳）: 自然言語を用いたテクスチャ記述
- Authors: Chenyun Wu, Mikayla Timm, Subhransu Maji
- Abstract要約: 自然画像のテクスチャは、色、形状、内部の要素の周期性、および自然言語を用いて記述できるその他の属性によって特徴づけられる。
テクスチャの豊富な記述を含む新しいデータセットにおいて,テクスチャの視覚的属性を記述する問題について検討した。
我々は、いくつかのきめ細かいドメインを視覚化し、データセットで学んだテクスチャ属性が、Caltech-UCSD Birdsデータセットのエキスパート設計属性よりも改善できることを示します。
- 参考スコア（独自算出の注目度）: 32.076605062485605
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Textures in natural images can be characterized by color, shape, periodicity
of elements within them, and other attributes that can be described using
natural language. In this paper, we study the problem of describing visual
attributes of texture on a novel dataset containing rich descriptions of
textures, and conduct a systematic study of current generative and
discriminative models for grounding language to images on this dataset. We find
that while these models capture some properties of texture, they fail to
capture several compositional properties, such as the colors of dots. We
provide critical analysis of existing models by generating synthetic but
realistic textures with different descriptions. Our dataset also allows us to
train interpretable models and generate language-based explanations of what
discriminative features are learned by deep networks for fine-grained
categorization where texture plays a key role. We present visualizations of
several fine-grained domains and show that texture attributes learned on our
dataset offer improvements over expert-designed attributes on the Caltech-UCSD
Birds dataset.
- Abstract（参考訳）: 自然画像のテクスチャは、色、形状、内部の要素の周期性、および自然言語を用いて記述できるその他の属性によって特徴づけられる。
本稿では,テクスチャのリッチな記述を含む新しいデータセット上で,テクスチャの視覚的特性を記述する問題について検討し,このデータセット上の画像に対して言語を接地する現在の生成モデルおよび判別モデルについて体系的に検討する。
これらのモデルはテクスチャのいくつかの特性を捉えるが、ドットの色などいくつかの組成特性を捉えることができない。
異なる記述を持つ合成的だが現実的なテクスチャを生成することにより,既存モデルの批判的分析を行う。
我々のデータセットはまた、解釈可能なモデルをトレーニングし、テクスチャが重要な役割を果たすきめ細かな分類のためのディープネットワークによって学習される差別的特徴について言語ベースの説明を生成することができる。
我々は、いくつかのきめ細かいドメインを視覚化し、データセットで学んだテクスチャ属性が、Caltech-UCSD Birdsデータセットのエキスパート設計属性よりも改善できることを示します。
関連論文リスト
- On Synthetic Texture Datasets: Challenges, Creation, and Curation [1.9567015559455132]
56のテクスチャにまたがる362,880のテクスチャイメージのデータセットを作成します。
画像生成過程において,画像生成パイプライン内のNSFW安全フィルタはテクスチャに非常に敏感であることがわかった。
論文 参考訳（メタデータ） (2024-09-16T14:02:18Z) - Compositional Neural Textures [25.885557234297835]
この研究は、合成ニューラルモデルを用いてテクスチャを表現するための、完全に教師なしのアプローチを導入する。
我々は,各テキストを,空間的支持がその形状を近似する2次元ガウス関数と,その詳細な外観を符号化する関連する特徴として表現する。
このアプローチは、画像テクスチャから他のイメージへの外観の移動、テクスチャの多様化、テクスチャのバリエーションの明示/修正、編集の伝播、テクスチャアニメーション、ダイレクトテキスト操作など、幅広いアプリケーションを可能にする。
論文 参考訳（メタデータ） (2024-04-18T21:09:34Z) - Explorations in Texture Learning [1.9567015559455132]
我々は,CNNにおけるテクスチャとオブジェクトクラスの関係に関する新たな知見を明らかにするために,テクスチャオブジェクトアソシエーションを構築した。
本分析は,テクスチャ学習における研究が,新たな解釈可能性の方法を可能にし,予期せぬバイアスを明らかにする可能性を示唆している。
論文 参考訳（メタデータ） (2024-03-14T16:30:52Z) - TextureDreamer: Image-guided Texture Synthesis through Geometry-aware
Diffusion [64.49276500129092]
TextureDreamerは画像誘導型テクスチャ合成法である。
少数の入力画像から任意のカテゴリでターゲットの3D形状に光沢のあるテクスチャを転送することができる。
論文 参考訳（メタデータ） (2024-01-17T18:55:49Z) - Text2Scene: Text-driven Indoor Scene Stylization with Part-aware Details [12.660352353074012]
複数のオブジェクトからなる仮想シーンの現実的なテクスチャを自動生成するText2Sceneを提案する。
我々のパイプラインは、室内のラベル付き3Dジオメトリに詳細なテクスチャを追加し、生成した色が、しばしば類似の材料から構成される階層構造や意味的な部分を尊重するようにします。
論文 参考訳（メタデータ） (2023-08-31T17:37:23Z) - Leveraging Textures in Zero-shot Understanding of Fine-Grained Domains [34.848408203825194]
自然画像におけるテクスチャ特性の認識における大規模言語と視覚モデル(例えばCLIP)の有効性について検討する。
筆者らはまず,CLIPをテクスチャデータセット上で体系的に研究し,幅広いテクスチャ用語に好適なカバレッジがあることを見出した。
次に、これらの属性が既存のデータセットに対して、ゼロショットのきめ細かい分類を可能にする方法を示す。
論文 参考訳（メタデータ） (2022-03-22T04:07:20Z) - Integrating Visuospatial, Linguistic and Commonsense Structure into
Story Visualization [81.26077816854449]
まず、構造的入力を符号化するための選挙区解析木の利用について検討する。
第二に、構造化されたインプットをコモンセンス情報で強化し、この外部知識が視覚的ストーリーの生成に与える影響について検討する。
第3に、境界ボックスと高密度キャプションによって視覚構造を組み込んで、生成された画像の文字やオブジェクトに関するフィードバックを提供する。
論文 参考訳（メタデータ） (2021-10-21T00:16:02Z) - Artificial Text Detection via Examining the Topology of Attention Maps [58.46367297712477]
トポロジカルデータ分析(TDA)に基づく3種類の解釈可能なトポロジカル特徴を提案する。
BERTモデルから派生した特徴が3つの共通データセットにおいて、カウントベースとニューラルベースベースラインを最大10%上回っていることを実証的に示す。
特徴の探索解析は表面に対する感度と構文的性質を明らかにしている。
論文 参考訳（メタデータ） (2021-09-10T12:13:45Z) - Texture Generation with Neural Cellular Automata [64.70093734012121]
一つのテンプレート画像からテクスチャジェネレータを学習する。
NCAモデルで示される振る舞いは、テクスチャを生成するための学習された分散されたローカルアルゴリズムであると主張します。
論文 参考訳（メタデータ） (2021-05-15T22:05:46Z) - Deep Texture-Aware Features for Camouflaged Object Detection [69.84122372541506]
本稿では, テクスチャ認識モジュールを定式化し, 深層畳み込みニューラルネットワークにおけるテクスチャ認識の特徴を学習する。
我々は,キャモフラージュされた物体検出のためのベンチマークデータセット上で,定性的かつ定量的にネットワークを評価した。
論文 参考訳（メタデータ） (2021-02-05T04:38:32Z) - Reverse Engineering Configurations of Neural Text Generation Models [86.9479386959155]
モデル選択の結果、機械が生成したテキストに現れるアーティファクトの研究は、新しい研究領域である。
我々は、モデリング選択が検出可能なアーティファクトを生成テキストに残すかどうかを確認するために、広範囲な診断テストを実行する。
我々の重要な発見は、厳密な実験によって裏付けられ、そのような成果物が存在することと、生成されたテキストのみを観察することで異なるモデリング選択を推測できることである。
論文 参考訳（メタデータ） (2020-04-13T21:02:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。