論文の概要: Explain Me the Painting: Multi-Topic Knowledgeable Art Description
Generation
- arxiv url: http://arxiv.org/abs/2109.05743v1
- Date: Mon, 13 Sep 2021 07:08:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-14 16:16:33.889169
- Title: Explain Me the Painting: Multi-Topic Knowledgeable Art Description
Generation
- Title(参考訳): 絵画の解説:多分野の知識に富んだアート記述生成
- Authors: Zechen Bai, Yuta Nakashima, Noa Garcia
- Abstract要約: 本研究は、美術作品の包括的記述を生成することにより、芸術を人間に近づける枠組みを提示する。
このフレームワークは、量的および質的両方の徹底的な分析と、比較人間の評価によって検証される。
- 参考スコア(独自算出の注目度): 26.099306167995376
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Have you ever looked at a painting and wondered what is the story behind it?
This work presents a framework to bring art closer to people by generating
comprehensive descriptions of fine-art paintings. Generating informative
descriptions for artworks, however, is extremely challenging, as it requires to
1) describe multiple aspects of the image such as its style, content, or
composition, and 2) provide background and contextual knowledge about the
artist, their influences, or the historical period. To address these
challenges, we introduce a multi-topic and knowledgeable art description
framework, which modules the generated sentences according to three artistic
topics and, additionally, enhances each description with external knowledge.
The framework is validated through an exhaustive analysis, both quantitative
and qualitative, as well as a comparative human evaluation, demonstrating
outstanding results in terms of both topic diversity and information veracity.
- Abstract(参考訳): あなたは絵を見て、その背後にある物語が何なのか疑問に思ったことがありますか。
本研究は、美術絵画の総合的な描写を創り出すことにより、芸術を人々に近づける枠組みを提案する。
しかし、芸術作品に関する情報的な記述を生成することは、非常に難しい。
1)そのスタイル、内容、構成など、画像の複数の側面を記述し、
2)芸術家、その影響、歴史に関する背景的・文脈的知識を提供する。
これらの課題に対処するために,我々は,生成した文を3つの芸術的話題に従ってモジュール化し,さらに,各記述を外部知識で強化する多面的かつ知識に富んだアート記述フレームワークを提案する。
この枠組みは、量的および質的両方の徹底的な分析および比較人間の評価を通じて検証され、トピックの多様性と情報の妥当性の両方の観点から優れた結果を示す。
関連論文リスト
- Impressions: Understanding Visual Semiotics and Aesthetic Impact [66.40617566253404]
画像のセミオティックスを調べるための新しいデータセットであるImpressionsを提示する。
既存のマルチモーダル画像キャプションと条件付き生成モデルは、画像に対する可視的応答をシミュレートするのに苦労していることを示す。
このデータセットは、微調整と少数ショット適応により、画像の印象や美的評価をモデル化する能力を大幅に改善する。
論文 参考訳(メタデータ) (2023-10-27T04:30:18Z) - Text-to-Image Generation for Abstract Concepts [76.32278151607763]
抽象概念のためのテキスト・画像生成フレームワーク(TIAC)を提案する。
抽象概念は曖昧さを避けるための詳細な定義で明確な意図に明確化されている。
LLM抽出フォームパターンセットから概念依存型フォームを検索する。
論文 参考訳(メタデータ) (2023-09-26T02:22:39Z) - ARTxAI: Explainable Artificial Intelligence Curates Deep Representation
Learning for Artistic Images using Fuzzy Techniques [11.286457041998569]
芸術的画像分類における異なる課題から得られる特徴が、類似した性質の他の課題を解決するのにどのように適しているかを示す。
本稿では、画像の既知の視覚特性をディープラーニングモデルで用いる特徴にマッピングする、説明可能な人工知能手法を提案する。
論文 参考訳(メタデータ) (2023-08-29T13:15:13Z) - Text-Guided Synthesis of Eulerian Cinemagraphs [81.20353774053768]
テキスト記述からシネマグラフを作成する完全自動化された方法であるText2Cinemagraphを紹介する。
連続した動きと反復的なテクスチャを示す流れの川や漂流する雲などの流体要素のシネマグラフに焦点を当てる。
論文 参考訳(メタデータ) (2023-07-06T17:59:31Z) - Not Only Generative Art: Stable Diffusion for Content-Style
Disentanglement in Art Analysis [23.388338598125195]
五屋(ごや)は、近年の創作モデルで捉えた芸術的知識を蒸留して、内容や様式を乱す方法である。
実験により、合成された画像は、アートワークの実際の分布のプロキシとして十分に役立っていることが示された。
論文 参考訳(メタデータ) (2023-04-20T13:00:46Z) - Inversion-Based Style Transfer with Diffusion Models [78.93863016223858]
以前の任意の例として誘導された芸術的画像生成法は、しばしば形状変化の制御や要素の伝達に失敗する。
画像のキー情報を効率よく正確に学習できるインバージョンベースのスタイル転送手法(InST)を提案する。
論文 参考訳(メタデータ) (2022-11-23T18:44:25Z) - Language Does More Than Describe: On The Lack Of Figurative Speech in
Text-To-Image Models [63.545146807810305]
テキスト・ツー・イメージ拡散モデルでは、テキスト入力プロンプトから高品質な画像を生成することができる。
これらのモデルは、コンテンツベースのラベル付けプロトコルから収集されたテキストデータを用いて訓練されている。
本研究では,現在使用されているテキスト・画像拡散モデルのトレーニングに使用されている公開テキストデータの感情性,目的性,抽象化の程度を特徴付ける。
論文 参考訳(メタデータ) (2022-10-19T14:20:05Z) - Toward Understanding WordArt: Corner-Guided Transformer for Scene Text
Recognition [63.6608759501803]
我々は芸術的テキストを3つのレベルで認識することを提案する。
コーナーポイントは、文字内の局所的な特徴の抽出を誘導するために用いられる。
第二に、文字レベルの特徴をモデル化するために文字の対照的な損失を設計し、文字分類のための特徴表現を改善する。
第3に,Transformerを用いて画像レベルのグローバルな特徴を学習し,コーナーポイントのグローバルな関係をモデル化する。
論文 参考訳(メタデータ) (2022-07-31T14:11:05Z) - Automatic analysis of artistic paintings using information-based
measures [1.25456674968456]
美術絵画に存在する隠されたパターンと関係を,その複雑さを分析して同定する。
正規化圧縮(NC)とブロック分解法(BDM)を91名の著者による4,266点の絵のデータセットに適用した。
アーティストのスタイル、その芸術的影響、および共有技術に関する重要な情報を記述した指紋を定義する。
論文 参考訳(メタデータ) (2021-02-02T21:40:30Z) - Understanding Compositional Structures in Art Historical Images using
Pose and Gaze Priors [20.98603643788824]
画像合成は、アーティストとそのアートワークを研究するために、画像内の相互作用を分析するのに有用である。
本研究では,既存の機械学習技術を用いて,このプロセスの自動化を試みる。
本手法は, (a) 絵画のアクション領域とアクションラインの検出, (b) 前景と背景のポーズに基づくセグメンテーションの2つの中心的なテーマに焦点を当てる。
論文 参考訳(メタデータ) (2020-09-08T15:01:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。