論文の概要: Extracting associations and meanings of objects depicted in artworks
through bi-modal deep networks
- arxiv url: http://arxiv.org/abs/2203.07026v1
- Date: Mon, 14 Mar 2022 12:10:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-15 13:17:57.934917
- Title: Extracting associations and meanings of objects depicted in artworks
through bi-modal deep networks
- Title（参考訳）: バイモーダル深層ネットワークによるアートワークにおける物体の関連と意味の抽出
- Authors: Gregory Kell, Ryan-Rhys Griffiths, Anthony Bourached, David G. Stork
- Abstract要約: 本稿では,深層ネットワークに基づく新たなバイモーダルシステムを提案する。
本システムでは,画像と関連するテキストの両方を処理し,個々のオブジェクトのイメージ,それらのアイデンティティ,それらが意味する抽象的な意味の関連を学習する。
- 参考スコア（独自算出の注目度）: 3.1542695050861544
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a novel bi-modal system based on deep networks to address the
problem of learning associations and simple meanings of objects depicted in
"authored" images, such as fine art paintings and drawings. Our overall system
processes both the images and associated texts in order to learn associations
between images of individual objects, their identities and the abstract
meanings they signify. Unlike past deep net that describe depicted objects and
infer predicates, our system identifies meaning-bearing objects ("signifiers")
and their associations ("signifieds") as well as basic overall meanings for
target artworks. Our system had precision of 48% and recall of 78% with an F1
metric of 0.6 on a curated set of Dutch vanitas paintings, a genre celebrated
for its concentration on conveying a meaning of great import at the time of
their execution. We developed and tested our system on fine art paintings but
our general methods can be applied to other authored images.
- Abstract（参考訳）: 本稿では,絵や絵などの「著作」画像に表現された物体の学習関連や単純な意味の問題に対処するために,深層ネットワークに基づく新しいバイモーダルシステムを提案する。
本システムでは,画像と関連するテキストの両方を処理し,個々のオブジェクトのイメージ,それらのアイデンティティ,それらが意味する抽象的な意味の関連を学習する。
表現対象と推論対象を記述した過去のディープネットとは異なり、本システムは、対象とするアート作品の基本的な全体的意味だけでなく、意味を持つ対象(記号)とその関連(記号)を識別する。
本システムでは,オランダのバニタス絵画のキュレートセットにおいて,F1の0.6で48%の精度と78%のリコールを達成した。
我々は,美術絵画のシステムを開発し,実験を行ったが,その一般的な手法は他の権威ある画像にも適用できる。
関連論文リスト
- What Makes a Maze Look Like a Maze? [92.80800000328277]
本稿では,Deep Grounding(DSG)という,視覚的抽象化の明示的な構造化表現を活用してグラウンド化と推論を行うフレームワークを紹介する。
DSGの中核はスキーマ-依存性グラフによる抽象概念の記述で、より原始的なシンボルに分解される。
DSGは視覚言語モデルの抽象的視覚的推論性能を大幅に向上させることを示す。
論文 参考訳（メタデータ） (2024-09-12T16:41:47Z) - CLiC: Concept Learning in Context [54.81654147248919]
本稿では,視覚概念学習の最近の進歩に基づく。
ソースイメージから視覚概念を取得し、その後ターゲットイメージ内のオブジェクトに適用する。
概念学習のローカライズには,マスク内の概念と周囲の画像領域の両方を含むソフトマスクを用いる。
論文 参考訳（メタデータ） (2023-11-28T01:33:18Z) - Text-to-Image Generation for Abstract Concepts [76.32278151607763]
抽象概念のためのテキスト・画像生成フレームワーク(TIAC)を提案する。
抽象概念は曖昧さを避けるための詳細な定義で明確な意図に明確化されている。
LLM抽出フォームパターンセットから概念依存型フォームを検索する。
論文 参考訳（メタデータ） (2023-09-26T02:22:39Z) - MetaCLUE: Towards Comprehensive Visual Metaphors Research [43.604408485890275]
本稿では,視覚的メタファの視覚的タスクであるMetaCLUEを紹介する。
我々は、アノテーションに基づいて、視覚と言語における最先端モデルの包括的分析を行う。
この研究が、人間のようなクリエイティブな能力を持つAIシステムを開発するための具体的なステップを提供することを期待している。
論文 参考訳（メタデータ） (2022-12-19T22:41:46Z) - A domain adaptive deep learning solution for scanpath prediction of
paintings [66.46953851227454]
本稿では,ある絵画の視覚的体験における視聴者の眼球運動分析に焦点を当てた。
我々は、人間の視覚的注意を予測するための新しいアプローチを導入し、人間の認知機能に影響を及ぼす。
提案した新しいアーキテクチャは、画像を取り込んでスキャンパスを返す。
論文 参考訳（メタデータ） (2022-09-22T22:27:08Z) - Visual resemblance and communicative context constrain the emergence of
graphical conventions [21.976382800327965]
描画は視覚世界についてコミュニケーションするための多彩な媒体を提供する。
視聴者は、自分の参照するエンティティ(つまり画像)にのみ類似する能力に基づいて、図面を理解できますか?
彼らはこれらの実体(記号)との共有だが任意の関連に基づく図面を理解できますか。
論文 参考訳（メタデータ） (2021-09-17T23:05:36Z) - Constellation: Learning relational abstractions over objects for
compositional imagination [64.99658940906917]
静的な視覚シーンのリレーショナル抽象化を学習するネットワークであるConstellationを紹介する。
この研究は、視覚的関係を明確に表現し、それらを複雑な認知手続きに使用するための第一歩である。
論文 参考訳（メタデータ） (2021-07-23T11:59:40Z) - Automatic analysis of artistic paintings using information-based
measures [1.25456674968456]
美術絵画に存在する隠されたパターンと関係を,その複雑さを分析して同定する。
正規化圧縮(NC)とブロック分解法(BDM)を91名の著者による4,266点の絵のデータセットに適用した。
アーティストのスタイル、その芸術的影響、および共有技術に関する重要な情報を記述した指紋を定義する。
論文 参考訳（メタデータ） (2021-02-02T21:40:30Z) - ArtEmis: Affective Language for Visual Art [46.643106054408285]
我々は視覚アートワークによって引き起こされる情緒体験に焦点を当てる。
ある画像に対して感じている支配的な感情を示すために、注釈を付けます。
これにより、目的コンテンツとイメージの感情的影響の両方に対して、リッチな信号セットが導かれる。
論文 参考訳（メタデータ） (2021-01-19T01:03:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。