論文の概要: Enhancing Human Pose Estimation in Ancient Vase Paintings via
Perceptually-grounded Style Transfer Learning
- arxiv url: http://arxiv.org/abs/2012.05616v1
- Date: Thu, 10 Dec 2020 12:08:03 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-15 06:22:08.501130
- Title: Enhancing Human Pose Estimation in Ancient Vase Paintings via
Perceptually-grounded Style Transfer Learning
- Title（参考訳）: パーセプタリー・グラウンドド・スタイル・トランスファー・ラーニングによる古代花瓶絵画におけるポーズ推定の強化
- Authors: Prathmesh Madhu, Angel Villar-Corrales, Ronak Kosti, Torsten
Bendschus, Corinna Reinhardt, Peter Bell, Andreas Maier, Vincent Christlein
- Abstract要約: 既知人物の自然画像のデータセットの適応方法を示し,画像のスタイル変換によってギリシアの花瓶絵のスタイルに注釈を付ける。
我々は,スタイル変換学習を用いることで,平均平均精度(mAP)と平均平均リコール(mAR)を6%以上向上させることを示す。
徹底的なアブレーション研究では、スタイル強度の影響をターゲットとした分析を行い、モデルがジェネリックドメインスタイルを学ぶことを明らかにします。
- 参考スコア（独自算出の注目度）: 17.98070699768431
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Human pose estimation (HPE) is a central part of understanding the visual
narration and body movements of characters depicted in artwork collections,
such as Greek vase paintings. Unfortunately, existing HPE methods do not
generalise well across domains resulting in poorly recognized poses. Therefore,
we propose a two step approach: (1) adapting a dataset of natural images of
known person and pose annotations to the style of Greek vase paintings by means
of image style-transfer. We introduce a perceptually-grounded style transfer
training to enforce perceptual consistency. Then, we fine-tune the base model
with this newly created dataset. We show that using style-transfer learning
significantly improves the SOTA performance on unlabelled data by more than 6%
mean average precision (mAP) as well as mean average recall (mAR). (2) To
improve the already strong results further, we created a small dataset
(ClassArch) consisting of ancient Greek vase paintings from the 6-5th century
BCE with person and pose annotations. We show that fine-tuning on this data
with a style-transferred model improves the performance further. In a thorough
ablation study, we give a targeted analysis of the influence of style
intensities, revealing that the model learns generic domain styles.
Additionally, we provide a pose-based image retrieval to demonstrate the
effectiveness of our method.
- Abstract（参考訳）: 人間のポーズ推定(HPE)は、ギリシアの花瓶絵などの絵画コレクションに描かれている人物の視覚的ナレーションと身体の動きを理解する中心的な部分である。
残念ながら、既存のHPE法はドメインをまたいでうまく一般化しないため、認識されていないポーズが生じる。
そこで本研究では,(1) 既知の人物の自然像のデータセットを適応させ, 画像スタイル変換によるギリシアの花瓶絵画の様式にアノテーションを付加する2つのアプローチを提案する。
知覚的一貫性を強制するために,知覚的接地型トランスファートレーニングを導入する。
そして、この新しく作成されたデータセットでベースモデルを微調整します。
スタイル変換学習を用いることで,平均精度(mAP)が6%以上,平均リコール(mAR)が6%以上向上することがわかった。
2) より強固な結果を改善するため,紀元前6～5世紀の古代ギリシアの花瓶絵と注釈を添えた小さなデータセット(ClassArch)を作成した。
このデータに対するスタイル変換モデルによる微調整により、パフォーマンスがさらに向上することを示す。
徹底的なアブレーション研究では,スタイル強度の影響を対象とした解析を行い,モデルが汎用的なドメインスタイルを学習していることを明らかにする。
さらに,提案手法の有効性を示すために,ポーズに基づく画像検索を行う。
関連論文リスト
- PrefPaint: Aligning Image Inpainting Diffusion Model with Human Preference [62.72779589895124]
画像インペイントのための拡散モデルと人間の審美基準との整合性を、強化学習フレームワークを用いて初めて試みる。
我々は、人間の好みを付加した約51,000枚の画像からなるデータセットで報酬モデルを訓練する。
画像拡張や3次元再構成などの下流タスクの塗装比較実験により, 提案手法の有効性が示された。
論文 参考訳（メタデータ） (2024-10-29T11:49:39Z) - GRPose: Learning Graph Relations for Human Image Generation with Pose Priors [21.971188335727074]
人間の画像生成のための制御情報を提供するために,ポーズ前のグラフ関係を探索するフレームワークを提案する。
提案モデルでは,最新のベンチマークモデルと比較して,ポーズ平均精度が9.98%向上した。
論文 参考訳（メタデータ） (2024-08-29T13:58:34Z) - Adapt and Align to Improve Zero-Shot Sketch-Based Image Retrieval [85.39613457282107]
スケッチに基づく画像検索のクロスドメイン性は困難である。
重要な課題に対処する効果的なAdaptとAlignのアプローチを提案する。
ゼロショットシナリオにおける画像テキスト基盤モデル(例えばCLIP)の最近の進歩に触発されて、学習したイメージの埋め込みを、より意味的なテキスト埋め込みと明確に整合させ、見知らぬクラスから見つからないクラスへの所望の知識伝達を実現する。
論文 参考訳（メタデータ） (2023-05-09T03:10:15Z) - A Unified Arbitrary Style Transfer Framework via Adaptive Contrastive
Learning [84.8813842101747]
Unified Contrastive Arbitrary Style Transfer (UCAST)は、新しいスタイルの学習・伝達フレームワークである。
入力依存温度を導入することで,スタイル伝達のための適応型コントラスト学習方式を提案する。
本フレームワークは,スタイル表現とスタイル伝達のための並列コントラスト学習方式,スタイル分布を効果的に学習するためのドメイン拡張モジュール,スタイル伝達のための生成ネットワークという,3つの重要なコンポーネントから構成される。
論文 参考訳（メタデータ） (2023-03-09T04:35:00Z) - StyleAdv: Meta Style Adversarial Training for Cross-Domain Few-Shot
Learning [89.86971464234533]
Cross-Domain Few-Shot Learning (CD-FSL)は、最近登場したタスクで、異なるドメインにわたる数ショットの学習に対処している。
本稿では,モデルに依存しないメタスタイル逆アタック(StyleAdv)手法と,新しいスタイル逆アタック手法を提案する。
本手法は視覚的スタイルに対して徐々に頑健であり,新たなターゲットデータセットの一般化能力を高める。
論文 参考訳（メタデータ） (2023-02-18T11:54:37Z) - Adversarial Style Augmentation for Domain Generalized Urban-Scene
Segmentation [120.96012935286913]
そこで本研究では,学習中にハードなスタイリング画像を生成可能な,新たな対向型拡張手法を提案する。
2つの合成から実のセマンティックセグメンテーションベンチマークの実験により、AdvStyleは目に見えない実領域におけるモデル性能を大幅に改善できることを示した。
論文 参考訳（メタデータ） (2022-07-11T14:01:25Z) - Semi-supervised Human Pose Estimation in Art-historical Images [9.633949256082763]
アート言語画像における人間のポーズを推定する新しい手法を提案する。
我々の手法は、事前訓練されたモデルやスタイル転送を使用する方法よりも、はるかに優れた結果が得られる。
論文 参考訳（メタデータ） (2022-07-06T21:20:58Z) - Domain Enhanced Arbitrary Image Style Transfer via Contrastive Learning [84.8813842101747]
Contrastive Arbitrary Style Transfer (CAST) は、新しいスタイル表現学習法である。
本フレームワークは,スタイルコード符号化のための多層スタイルプロジェクタ,スタイル分布を効果的に学習するためのドメイン拡張モジュール,画像スタイル転送のための生成ネットワークという,3つのキーコンポーネントから構成される。
論文 参考訳（メタデータ） (2022-05-19T13:11:24Z) - What Can Style Transfer and Paintings Do For Model Robustness? [12.543035508615896]
モデルロバスト性を改善するための一般的な戦略は、データ拡張である。
近年の研究では、任意のスタイル転送がデータ拡張の一形態として利用できることが示されている。
本研究では,絵からの学習を知覚的データ拡張の形で行うことにより,モデルロバスト性の向上が期待できることを示す。
論文 参考訳（メタデータ） (2020-11-30T00:25:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。