論文の概要: Graph Neural Networks for Knowledge Enhanced Visual Representation of Paintings

• arxiv url: http://arxiv.org/abs/2105.08190v1
• Date: Mon, 17 May 2021 23:05:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-20 02:11:44.742514
• Title: Graph Neural Networks for Knowledge Enhanced Visual Representation of Paintings
• Title（参考訳）: 絵画の視覚表現の知識向上のためのグラフニューラルネットワーク
• Authors: Athanasios Efthymiou, Stevan Rudinac, Monika Kackovic, Marcel Worring, Nachoem Wijnberg
• Abstract要約: ArtSAGENetは、グラフニューラルネットワーク(GNN)と畳み込みニューラルネットワーク(CNN)を統合する新しいアーキテクチャである。 提案したArtSAGENetは,アーティストとアートワーク間の重要な依存関係をキャプチャし,エンコードする。 本研究は美術品の分析とキュレーションにビジュアルコンテンツとセマンティクスを統合する大きな可能性を秘めている。
• 参考スコア（独自算出の注目度）: 14.89186519385364
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose ArtSAGENet, a novel multimodal architecture that integrates Graph Neural Networks (GNNs) and Convolutional Neural Networks (CNNs), to jointly learn visual and semantic-based artistic representations. First, we illustrate the significant advantages of multi-task learning for fine art analysis and argue that it is conceptually a much more appropriate setting in the fine art domain than the single-task alternatives. We further demonstrate that several GNN architectures can outperform strong CNN baselines in a range of fine art analysis tasks, such as style classification, artist attribution, creation period estimation, and tag prediction, while training them requires an order of magnitude less computational time and only a small amount of labeled data. Finally, through extensive experimentation we show that our proposed ArtSAGENet captures and encodes valuable relational dependencies between the artists and the artworks, surpassing the performance of traditional methods that rely solely on the analysis of visual content. Our findings underline a great potential of integrating visual content and semantics for fine art analysis and curation.
• Abstract（参考訳）: 本稿では,グラフニューラルネットワーク(gnns)と畳み込みニューラルネットワーク(cnns)を統合し,視覚と意味に基づく芸術表現を共同で学習する,新しいマルチモーダルアーキテクチャであるartsagenetを提案する。 まず, 美術品分析におけるマルチタスク学習の重要な利点を説明し, 概念的には, 単一タスクの代替品よりも, 美術品領域においてより適切な設定であると主張する。 さらに、いくつかのGNNアーキテクチャは、スタイル分類、アーティスト属性、作成期間推定、タグ予測など、さまざまな美術分析タスクにおいて強力なCNNベースラインを上回り、訓練には計算時間を大幅に削減し、少量のラベル付きデータしか必要としないことを示した。 最後に,提案したArtSAGENetはアーティストとアートワーク間の重要な関係関係関係をキャプチャし,エンコードし,ビジュアルコンテンツの分析にのみ依存する従来の手法の性能を上回ることを示す。 本研究は美術品の分析とキュレーションにビジュアルコンテンツとセマンティクスを統合する大きな可能性を秘めている。

関連論文リスト

• KALE: An Artwork Image Captioning System Augmented with Heterogeneous Graph [24.586916324061168]
  本稿では,アートワーク開発のための知識付加型視覚言語モデルを提案する。 KALEはメタデータを2つの方法で組み込む: 第一に直接テキスト入力、第二にマルチモーダルなヘテロジニアス知識グラフである。 実験結果から,KALEは複数のアートデータセットにまたがる既存の最先端の作業に対して高い性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-09-17T06:39:18Z)
• GalleryGPT: Analyzing Paintings with Large Multimodal Models [64.98398357569765]
  美術品の分析は、個人の審美性を豊かにし、批判的思考能力を促進することができる芸術鑑賞のための重要かつ基本的な技術である。 アートワークを自動解析する以前の作業は、主に分類、検索、その他の単純なタスクに焦点を当てており、AIの目標とは程遠い。 LLaVAアーキテクチャに基づいて微調整されたGalleryGPTと呼ばれる,絵画解析のための優れた大規模マルチモーダルモデルを提案する。
  論文  参考訳（メタデータ） (2024-08-01T11:52:56Z)
• Deep Ensemble Art Style Recognition [2.3369294168789203]
  過去数十年間の膨大な量のアートワークのデジタル化は、抽象概念に関連する膨大な量のデータの分類、分析、管理の必要性を生み出した。 美術作品における様々な芸術的特徴の認識は、深層学習社会において注目されている。 本稿では,深層ネットワークを用いた美術スタイル認識の問題について考察する。
  論文  参考訳（メタデータ） (2024-05-19T21:26:11Z)
• Coarse-to-Fine Contrastive Learning in Image-Text-Graph Space for Improved Vision-Language Compositionality [50.48859793121308]
  対照的に訓練された視覚言語モデルは、視覚と言語表現学習において顕著な進歩を遂げた。 近年の研究では、対象、属性、関係性に対して構成的推論を行う能力に厳しい制限が強調されている。
  論文  参考訳（メタデータ） (2023-05-23T08:28:38Z)
• Synergy of Machine and Deep Learning Models for Multi-Painter Recognition [0.0]
  我々は,62名のアーティストを含む絵画認識タスクのための大規模データセットを新たに導入し,良好な結果を得た。 RegNetは、機能をエクスポートする上で、SVMは、最大85%のパフォーマンスを持つ画家に基づいて、イメージの最高の分類を行う。
  論文  参考訳（メタデータ） (2023-04-28T11:34:53Z)
• ALADIN-NST: Self-supervised disentangled representation learning of artistic style through Neural Style Transfer [60.6863849241972]
  我々は、画像に描かれた意味的内容から、より強く絡み合った視覚芸術スタイルの表現を学習する。 スタイルと内容の絡み合いに強く対処することで、スタイル固有のメトリクスが大きく向上することを示します。
  論文  参考訳（メタデータ） (2023-04-12T10:33:18Z)
• Inching Towards Automated Understanding of the Meaning of Art: An Application to Computational Analysis of Mondrian's Artwork [0.0]
  本稿では,セマンティック処理に関連する能力の同定を試みる。 提案手法は,モンドリアン絵画の理解過程と電子回路設計の理解過程を比較することで,不足する機能を明らかにする。 本手法の有用性を説明するために,モンドリアンの絵画を他の美術品と区別する新しい3段階の計算手法について論じる。
  論文  参考訳（メタデータ） (2022-12-29T23:34:19Z)
• A domain adaptive deep learning solution for scanpath prediction of paintings [66.46953851227454]
  本稿では,ある絵画の視覚的体験における視聴者の眼球運動分析に焦点を当てた。 我々は、人間の視覚的注意を予測するための新しいアプローチを導入し、人間の認知機能に影響を及ぼす。 提案した新しいアーキテクチャは、画像を取り込んでスキャンパスを返す。
  論文  参考訳（メタデータ） (2022-09-22T22:27:08Z)
• Tensor Composition Net for Visual Relationship Prediction [115.14829858763399]
  画像の視覚的関係を予測するための新しいコンポジションネットワーク(TCN)を提案する。 TCNの鍵となる考え方は、視覚的関係テンソルの低階特性を利用することである。 本稿では,ttcnの画像レベルの視覚関係予測により,画像検索の簡便かつ効率的なメカニズムを示す。
  論文  参考訳（メタデータ） (2020-12-10T06:27:20Z)
• Node Masking: Making Graph Neural Networks Generalize and Scale Better [71.51292866945471]
  グラフニューラルネットワーク(GNN)は近年,多くの関心を集めている。 本稿では,芸術空間のGNNの状態によって実行される操作をよりよく可視化するために,いくつかの理論ツールを利用する。 私たちはNode Maskingというシンプルなコンセプトを導入しました。
  論文  参考訳（メタデータ） (2020-01-17T06:26:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。