論文の概要: Diffusion Based Augmentation for Captioning and Retrieval in Cultural Heritage

• arxiv url: http://arxiv.org/abs/2308.07151v1
• Date: Mon, 14 Aug 2023 13:59:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-15 13:07:18.541297
• Title: Diffusion Based Augmentation for Captioning and Retrieval in Cultural Heritage
• Title（参考訳）: 文化遺産におけるキャプションと検索のための拡散に基づく増補
• Authors: Dario Cioni, Lorenzo Berlincioni, Federico Becattini, Alberto del Bimbo
• Abstract要約: 本稿では,文化遺産領域における限られた注釈付きデータとドメインシフトの課題に対処する新しいアプローチを提案する。 生成的視覚言語モデルを活用することで、キャプションに条件付けされた多種多様なアート作品を生成することにより、アートデータセットを増強する。
• 参考スコア（独自算出の注目度）: 28.301944852273746
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Cultural heritage applications and advanced machine learning models are creating a fruitful synergy to provide effective and accessible ways of interacting with artworks. Smart audio-guides, personalized art-related content and gamification approaches are just a few examples of how technology can be exploited to provide additional value to artists or exhibitions. Nonetheless, from a machine learning point of view, the amount of available artistic data is often not enough to train effective models. Off-the-shelf computer vision modules can still be exploited to some extent, yet a severe domain shift is present between art images and standard natural image datasets used to train such models. As a result, this can lead to degraded performance. This paper introduces a novel approach to address the challenges of limited annotated data and domain shifts in the cultural heritage domain. By leveraging generative vision-language models, we augment art datasets by generating diverse variations of artworks conditioned on their captions. This augmentation strategy enhances dataset diversity, bridging the gap between natural images and artworks, and improving the alignment of visual cues with knowledge from general-purpose datasets. The generated variations assist in training vision and language models with a deeper understanding of artistic characteristics and that are able to generate better captions with appropriate jargon.
• Abstract（参考訳）: 文化遺産アプリケーションと高度な機械学習モデルは、効果的でアクセス可能なアートワークとのインタラクション方法を提供するための実りあるシナジーを生み出しています。 スマートオーディオガイド、パーソナライズされたアート関連のコンテンツ、ゲーム化アプローチは、アーティストや展覧会に付加的な価値を提供するためにテクノロジーを活用できるいくつかの例にすぎない。 それでも、機械学習の観点からは、利用可能な芸術的データの量は、効果的なモデルをトレーニングするには不十分であることが多い。 既製のコンピュータビジョンモジュールはある程度は活用可能だが、アートイメージと、そのようなモデルのトレーニングに使用される標準的な自然画像データセットの間には、厳しいドメインシフトが存在する。 その結果、パフォーマンスが低下する可能性がある。 本稿では,文化遺産領域における限られた注釈付きデータとドメインシフトの課題に対処する新しいアプローチを提案する。 生成的視覚言語モデルを活用することで,キャプションを条件とした多種多様なアートワークを生成することにより,アートデータセットを拡張できる。 この拡張戦略はデータセットの多様性を高め、自然画像とアートワークのギャップを橋渡しし、汎用データセットからの知識と視覚手がかりのアラインメントを改善する。 生成されたバリエーションは、芸術的特徴をより深く理解し、適切なジャーゴンでより良いキャプションを生成することができる視覚と言語モデルのトレーニングを支援する。

関連論文リスト

• KALE: An Artwork Image Captioning System Augmented with Heterogeneous Graph [24.586916324061168]
  本稿では,アートワーク開発のための知識付加型視覚言語モデルを提案する。 KALEはメタデータを2つの方法で組み込む: 第一に直接テキスト入力、第二にマルチモーダルなヘテロジニアス知識グラフである。 実験結果から,KALEは複数のアートデータセットにまたがる既存の最先端の作業に対して高い性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-09-17T06:39:18Z)
• ARTIST: Improving the Generation of Text-rich Images with Disentangled Diffusion Models [52.23899502520261]
  テキスト構造学習に焦点を当てたARTISTという新しいフレームワークを提案する。 我々は、事前訓練されたテキスト構造モデルからテキスト構造情報を同化できるように、視覚拡散モデルを微調整する。 MARIO-Evalベンチマークの実証結果は,提案手法の有効性を裏付けるものであり,様々な指標において最大15%の改善が見られた。
  論文  参考訳（メタデータ） (2024-06-17T19:31:24Z)
• UniDiff: Advancing Vision-Language Models with Generative and Discriminative Learning [86.91893533388628]
  本稿では、画像テキストコントラスト学習(ITC)、テキスト条件付き画像合成学習(IS)、相互意味整合性モデリング(RSC)を統合した統合マルチモーダルモデルUniDiffを提案する。 UniDiffはマルチモーダル理解と生成タスクの両方において汎用性を示す。
  論文  参考訳（メタデータ） (2023-06-01T15:39:38Z)
• Visually-Situated Natural Language Understanding with Contrastive Reading Model and Frozen Large Language Models [24.456117679941816]
  Contrastive Reading Model (Cream)は、Large Language Models (LLM)の言語画像理解能力を高めるために設計された、新しいニューラルネットワークである。 我々のアプローチは、視覚と言語理解のギャップを埋め、より洗練されたドキュメントインテリジェンスアシスタントの開発の道を開く。
  論文  参考訳（メタデータ） (2023-05-24T11:59:13Z)
• Coarse-to-Fine Contrastive Learning in Image-Text-Graph Space for Improved Vision-Language Compositionality [50.48859793121308]
  対照的に訓練された視覚言語モデルは、視覚と言語表現学習において顕著な進歩を遂げた。 近年の研究では、対象、属性、関係性に対して構成的推論を行う能力に厳しい制限が強調されている。
  論文  参考訳（メタデータ） (2023-05-23T08:28:38Z)
• Language Does More Than Describe: On The Lack Of Figurative Speech in Text-To-Image Models [63.545146807810305]
  テキスト・ツー・イメージ拡散モデルでは、テキスト入力プロンプトから高品質な画像を生成することができる。 これらのモデルは、コンテンツベースのラベル付けプロトコルから収集されたテキストデータを用いて訓練されている。 本研究では,現在使用されているテキスト・画像拡散モデルのトレーニングに使用されている公開テキストデータの感情性,目的性,抽象化の程度を特徴付ける。
  論文  参考訳（メタデータ） (2022-10-19T14:20:05Z)
• Perceptual Grouping in Contrastive Vision-Language Models [59.1542019031645]
  画像内の物体の位置を視覚言語モデルで理解し,画像の視覚的関連部分をグループ化する方法について述べる。 本稿では,意味情報と空間情報の両方を一意に学習するモデルとして,最小限の修正を提案する。
  論文  参考訳（メタデータ） (2022-10-18T17:01:35Z)
• K-LITE: Learning Transferable Visual Models with External Knowledge [242.3887854728843]
  K-LITE (Knowledge-augmented Language- Image Training and Evaluation) は、外部知識を活用して伝達可能な視覚システムを構築する戦略である。 トレーニングでは、WordNetとWiktionaryの知識で自然言語のエンティティを豊かにする。 評価において、自然言語は外部知識で拡張され、学習された視覚概念を参照するために使用される。
  論文  参考訳（メタデータ） (2022-04-20T04:47:01Z)
• Iconographic Image Captioning for Artworks [2.3859169601259342]
  本研究は,Iconclass分類システムの概念を付加したアート画像の大規模データセットを利用する。 アノテーションはクリーンなテキスト記述に処理され、画像キャプションタスク上でディープニューラルネットワークモデルのトレーニングに適したデータセットを生成する。 画像データセットを用いて、トランスフォーマーに基づく視覚言語事前学習モデルを微調整する。 生成したキャプションの品質と新たなデータに一般化するモデルの能力について,新たな絵画コレクションにモデルを適用し,一般的なキャプションと芸術ジャンルの関係を解析することにより検討する。
  論文  参考訳（メタデータ） (2021-02-07T23:11:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。