論文の概要: Iconographic Image Captioning for Artworks
- arxiv url: http://arxiv.org/abs/2102.03942v1
- Date: Sun, 7 Feb 2021 23:11:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-09 15:41:15.192693
- Title: Iconographic Image Captioning for Artworks
- Title（参考訳）: アートワークのための図像キャプション
- Authors: Eva Cetinic
- Abstract要約: 本研究は,Iconclass分類システムの概念を付加したアート画像の大規模データセットを利用する。
アノテーションはクリーンなテキスト記述に処理され、画像キャプションタスク上でディープニューラルネットワークモデルのトレーニングに適したデータセットを生成する。
画像データセットを用いて、トランスフォーマーに基づく視覚言語事前学習モデルを微調整する。
生成したキャプションの品質と新たなデータに一般化するモデルの能力について,新たな絵画コレクションにモデルを適用し,一般的なキャプションと芸術ジャンルの関係を解析することにより検討する。
- 参考スコア（独自算出の注目度）: 2.3859169601259342
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Image captioning implies automatically generating textual descriptions of
images based only on the visual input. Although this has been an extensively
addressed research topic in recent years, not many contributions have been made
in the domain of art historical data. In this particular context, the task of
image captioning is confronted with various challenges such as the lack of
large-scale datasets of image-text pairs, the complexity of meaning associated
with describing artworks and the need for expert-level annotations. This work
aims to address some of those challenges by utilizing a novel large-scale
dataset of artwork images annotated with concepts from the Iconclass
classification system designed for art and iconography. The annotations are
processed into clean textual description to create a dataset suitable for
training a deep neural network model on the image captioning task. Motivated by
the state-of-the-art results achieved in generating captions for natural
images, a transformer-based vision-language pre-trained model is fine-tuned
using the artwork image dataset. Quantitative evaluation of the results is
performed using standard image captioning metrics. The quality of the generated
captions and the model's capacity to generalize to new data is explored by
employing the model on a new collection of paintings and performing an analysis
of the relation between commonly generated captions and the artistic genre. The
overall results suggest that the model can generate meaningful captions that
exhibit a stronger relevance to the art historical context, particularly in
comparison to captions obtained from models trained only on natural image
datasets.
- Abstract（参考訳）: 画像キャプションは、視覚入力のみに基づいて自動的に画像のテキスト記述を生成することを意味する。
これは近年、広く取り上げられている研究テーマですが、美術史データの分野ではあまり貢献されていません。
この文脈では、画像キャプションのタスクは、画像テキストペアの大規模なデータセットの欠如、アートワークの記述に関連する意味の複雑さ、専門家レベルのアノテーションの必要性など、様々な課題に直面している。
本研究は,Iconclass分類システムの概念を付加したアート画像の大規模データセットを活用することで,これらの課題に対処することを目的とする。
アノテーションはクリーンなテキスト記述に処理され、画像キャプションタスク上でディープニューラルネットワークモデルのトレーニングに適したデータセットを生成する。
自然画像のキャプションを生成するという最先端の成果に動機づけられ、トランスフォーマーベースの視覚言語事前学習モデルがアートワーク画像データセットを用いて微調整される。
結果の定量的評価は,標準画像キャプション指標を用いて行う。
生成したキャプションの品質と新たなデータに一般化するモデルの能力について,新たな絵画コレクションにモデルを適用し,一般的なキャプションと芸術ジャンルの関係を解析することにより検討する。
その結果,自然画像データセットでのみトレーニングされたモデルから得られたキャプションと比較して,美術史の文脈に強い関連性を示す有意義なキャプションを生成できることが示唆された。
関連論文リスト
- Towards Retrieval-Augmented Architectures for Image Captioning [81.11529834508424]
本研究は,外部kNNメモリを用いた画像キャプションモデルの構築に向けた新しい手法を提案する。
具体的には、視覚的類似性に基づく知識検索コンポーネントを組み込んだ2つのモデル変種を提案する。
我々はCOCOデータセットとnocapsデータセットに対する我々のアプローチを実験的に検証し、明示的な外部メモリを組み込むことでキャプションの品質を著しく向上させることができることを示した。
論文 参考訳（メタデータ） (2024-05-21T18:02:07Z) - Visual Analytics for Efficient Image Exploration and User-Guided Image
Captioning [35.47078178526536]
事前訓練された大規模言語画像モデルの最近の進歩は、視覚的理解の新しい時代を後押ししている。
本稿では,視覚分析の領域でよく知られた2つの問題に取り組み,(1)大規模画像データセットの効率的な探索と潜在的なデータバイアスの同定,(2)画像キャプションの評価と生成過程のステアリングを行う。
論文 参考訳（メタデータ） (2023-11-02T06:21:35Z) - CapText: Large Language Model-based Caption Generation From Image
Context and Description [0.0]
テキスト記述と文脈のみからキャプションを生成する新しいアプローチを提案し,評価する。
提案手法は,OSCAR-VinVL などの最先端画像テキストアライメントモデルにおいて,CIDEr メトリック上でのタスクにおいて優れる。
論文 参考訳（メタデータ） (2023-06-01T02:40:44Z) - FuseCap: Leveraging Large Language Models for Enriched Fused Image
Captions [11.274127953112574]
本稿では,「凍った」視覚専門家を用いて,既存のキャプションを視覚的詳細で拡張するための自動アプローチを提案する。
提案手法であるFuseCapは,そのような視覚専門家の出力を,大規模言語モデルを用いて原文のキャプションと融合する。
私たちはこの大規模な画像キャプチャーペアのデータセットをコミュニティ向けにリリースします。
論文 参考訳（メタデータ） (2023-05-28T13:16:03Z) - Language Does More Than Describe: On The Lack Of Figurative Speech in
Text-To-Image Models [63.545146807810305]
テキスト・ツー・イメージ拡散モデルでは、テキスト入力プロンプトから高品質な画像を生成することができる。
これらのモデルは、コンテンツベースのラベル付けプロトコルから収集されたテキストデータを用いて訓練されている。
本研究では,現在使用されているテキスト・画像拡散モデルのトレーニングに使用されている公開テキストデータの感情性,目的性,抽象化の程度を特徴付ける。
論文 参考訳（メタデータ） (2022-10-19T14:20:05Z) - Generating More Pertinent Captions by Leveraging Semantics and Style on
Multi-Source Datasets [56.018551958004814]
本稿では,データソースの非一様結合をトレーニングすることで,流動的な記述を生成するタスクに対処する。
ノイズの多い画像とテキストのペアを持つ大規模データセットは、サブ最適の監視源を提供する。
本稿では,検索コンポーネントから抽出したスタイルトークンとキーワードを組み込むことにより,セマンティクスと記述スタイルを活用・分離することを提案する。
論文 参考訳（メタデータ） (2021-11-24T19:00:05Z) - Partially-supervised novel object captioning leveraging context from
paired data [11.215352918313577]
既存の画像キャプチャー・ペアからコンテキストを活用することで、新しいオブジェクトに対する合成ペアキャプションデータを作成する。
さらに、これらの部分的なペアイメージを新しいオブジェクトと再使用し、擬似ラベルキャプションを作成します。
提案手法は,MS COCOの領域外テスト分割における最先端結果を実現する。
論文 参考訳（メタデータ） (2021-09-10T21:31:42Z) - Matching Visual Features to Hierarchical Semantic Topics for Image
Paragraph Captioning [50.08729005865331]
本稿では,階層的トピック誘導画像段落生成フレームワークを開発した。
複数の抽象レベルでの画像とテキストの相関をキャプチャするために、変分推論ネットワークを設計します。
段落生成を導くために、学習した階層的トピックと視覚的特徴を言語モデルに統合する。
論文 参考訳（メタデータ） (2021-05-10T06:55:39Z) - Improving Image Captioning with Better Use of Captions [65.39641077768488]
本稿では,画像表現とキャプション生成の両方を強化するために,キャプションで利用可能なセマンティクスをよりよく探求するための新しい画像キャプションアーキテクチャを提案する。
我々のモデルはまず,弱教師付きマルチインスタンス学習を用いて,有益な帰納バイアスをもたらすキャプション誘導型視覚関係グラフを構築した。
生成期間中、このモデルは、単語とオブジェクト/述語タグのシーケンスを共同で予測するために、マルチタスク学習を用いた視覚関係をさらに取り入れる。
論文 参考訳（メタデータ） (2020-06-21T14:10:47Z) - Egoshots, an ego-vision life-logging dataset and semantic fidelity
metric to evaluate diversity in image captioning models [63.11766263832545]
我々は,字幕のない実生活画像978枚からなる新しい画像キャプションデータセット,Egoshotsを提案する。
生成されたキャプションの品質を評価するために,新しい画像キャプション指標,オブジェクトベースセマンティックフィデリティ(SF)を提案する。
論文 参考訳（メタデータ） (2020-03-26T04:43:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。