論文の概要: Object Retrieval and Localization in Large Art Collections using Deep
Multi-Style Feature Fusion and Iterative Voting
- arxiv url: http://arxiv.org/abs/2107.06935v1
- Date: Wed, 14 Jul 2021 18:40:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-16 14:03:00.156363
- Title: Object Retrieval and Localization in Large Art Collections using Deep
Multi-Style Feature Fusion and Iterative Voting
- Title（参考訳）: 深層多段階特徴融合と反復投票を用いた大規模美術コレクションのオブジェクト検索と局所化
- Authors: Nikolai Ufer, Sabine Lang, Bj\"orn Ommer
- Abstract要約: 本稿では,特定のモチーフやオブジェクトを含む画像領域を検索するアルゴリズムを提案する。
GPUによる近似近傍探索による領域ベースの投票では、広範囲なデータセット内の小さなモチーフを数秒で見つけ、ローカライズすることが可能です。
- 参考スコア（独自算出の注目度）: 10.807131260367298
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The search for specific objects or motifs is essential to art history as both
assist in decoding the meaning of artworks. Digitization has produced large art
collections, but manual methods prove to be insufficient to analyze them. In
the following, we introduce an algorithm that allows users to search for image
regions containing specific motifs or objects and find similar regions in an
extensive dataset, helping art historians to analyze large digitized art
collections. Computer vision has presented efficient methods for visual
instance retrieval across photographs. However, applied to art collections,
they reveal severe deficiencies because of diverse motifs and massive domain
shifts induced by differences in techniques, materials, and styles. In this
paper, we present a multi-style feature fusion approach that successfully
reduces the domain gap and improves retrieval results without labelled data or
curated image collections. Our region-based voting with GPU-accelerated
approximate nearest-neighbour search allows us to find and localize even small
motifs within an extensive dataset in a few seconds. We obtain state-of-the-art
results on the Brueghel dataset and demonstrate its generalization to
inhomogeneous collections with a large number of distractors.
- Abstract（参考訳）: 特定の対象やモチーフの探索は、美術史に欠かせないものであり、どちらも美術作品の意味を解読する助けとなる。
デジタル化は大規模な美術コレクションを生み出しているが、手作業による分析では不十分であることが証明されている。
以下では、ユーザが特定のモチーフやオブジェクトを含む画像領域を検索し、拡張データセットで類似の領域を見つけるアルゴリズムを紹介し、美術史家による大規模なデジタル化アートコレクションの分析を支援する。
コンピュータビジョンは、写真にまたがる視覚的なインスタンス検索の効率的な方法を提示した。
しかし、美術コレクションに適用すると、多様なモチーフや、技術や素材、スタイルの違いによって引き起こされる膨大なドメインシフトにより、深刻な欠陥が顕在化している。
本稿では,ラベル付きデータやキュレートされた画像コレクションを使わずに,ドメイン間ギャップを低減し,検索結果を改善するマルチスタイル特徴融合手法を提案する。
GPUによる近似近傍探索による領域ベースの投票では、広範囲なデータセット内の小さなモチーフを数秒で見つけ、ローカライズすることが可能です。
我々は,Brueghelデータセットの最先端結果を取得し,その非均一なコレクションへの一般化を実証した。
関連論文リスト
- Recognizing Artistic Style of Archaeological Image Fragments Using Deep Style Extrapolation [2.7233796151875245]
考古学的な発掘で得られた古代の美術品は通常、ある程度の断片化と物理的劣化に悩まされている。
本研究では,画像断片の芸術的スタイルを予測するための一般化されたディープラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2025-01-01T13:38:15Z) - Explainable Search and Discovery of Visual Cultural Heritage Collections with Multimodal Large Language Models [0.0]
本稿では,最先端のマルチモーダル言語モデル (LLM) を用いて,ビジュアルコレクションのためのオープンで説明可能な検索・発見インターフェースを実現する手法を提案する。
我々は,視覚的な埋め込みをベースとした手法の共通の落とし穴を避けるために,新しいクラスタリングとレコメンデーションシステムを構築する方法を示す。
論文 参考訳（メタデータ） (2024-11-07T12:48:39Z) - Retrieval Robust to Object Motion Blur [54.34823913494456]
本研究では,動きのぼやけの影響を受けやすい画像のオブジェクト検索手法を提案する。
ぼやけたオブジェクト検索のための最初の大規模データセットを提示する。
提案手法は,新しいぼやけた検索データセット上で,最先端の検索手法より優れている。
論文 参考訳（メタデータ） (2024-04-27T23:22:39Z) - Leveraging Open-Vocabulary Diffusion to Camouflaged Instance
Segmentation [59.78520153338878]
テキスト・ツー・イメージ拡散技術は、テキスト記述から高品質な画像を生成する素晴らしい能力を示している。
そこで本研究では,オープン語彙を応用した最先端拡散モデルを用いて,多スケールのテキスト・視覚的特徴を学習する手法を提案する。
論文 参考訳（メタデータ） (2023-12-29T07:59:07Z) - Leveraging Computer Vision Application in Visual Arts: A Case Study on
the Use of Residual Neural Network to Classify and Analyze Baroque Paintings [0.0]
本稿ではヨハン・クペツキーの「画家シャルル・ブルニの肖像」の分類に焦点をあてる。
残余ネットワークトレーニングで抽出した特徴は,オンラインアートコレクションの検索システム内での画像検索に有用であることを示す。
論文 参考訳（メタデータ） (2022-10-27T10:15:36Z) - VizWiz-FewShot: Locating Objects in Images Taken by People With Visual
Impairments [74.72656607288185]
我々は、撮影した画像の視覚的内容について真に学ぼうとしていた写真家を起源とする、数発のローカライゼーションデータセットを紹介した。
視覚障害者が撮影した4500枚以上の画像に、100のカテゴリの約10,000のセグメンテーションが含まれている。
既存の数発のオブジェクト検出やインスタンスセグメンテーションデータセットと比較して、私たちのデータセットは、オブジェクトの穴を見つける最初のものです。
論文 参考訳（メタデータ） (2022-07-24T20:44:51Z) - ObjectFormer for Image Manipulation Detection and Localization [118.89882740099137]
画像操作の検出とローカライズを行うObjectFormerを提案する。
画像の高周波特徴を抽出し,マルチモーダルパッチの埋め込みとしてRGB特徴と組み合わせる。
各種データセットについて広範な実験を行い,提案手法の有効性を検証した。
論文 参考訳（メタデータ） (2022-03-28T12:27:34Z) - A deep learning approach to clustering visual arts [7.363576598794859]
本稿では,deep Learning approach to cLustering vIsUal artSを提案する。
この方法は、事前訓練された畳み込みネットワークを使用して特徴を抽出し、これらの特徴を深い組込みクラスタリングモデルに供給する。
生の入力データを潜在空間にマッピングするタスクは、この潜在空間内のクラスタセントロイドの集合を見つけるタスクと共同で最適化される。
論文 参考訳（メタデータ） (2021-06-11T08:35:26Z) - PhraseCut: Language-based Image Segmentation in the Wild [62.643450401286]
自然言語のフレーズを与えられた画像領域を分割する問題について考察する。
私たちのデータセットは、Visual Genomeデータセットの上に収集されます。
我々の実験は、我々のデータセットにおける概念のスケールと多様性が、既存の最先端技術に重大な課題をもたらすことを示している。
論文 参考訳（メタデータ） (2020-08-03T20:58:53Z) - Deep convolutional embedding for digitized painting clustering [14.228308494671703]
本稿では,デジタル絵画クラスタリングのための深層畳み込み埋め込みモデルを提案する。
このモデルは、同じ問題に対して他の最先端のディープクラスタリングアプローチより優れている。
提案手法は,絵画データセットにおける視覚的リンク検索や歴史的知識発見など,美術関連タスクに有用である。
論文 参考訳（メタデータ） (2020-03-19T06:49:38Z) - Object-Centric Image Generation from Layouts [93.10217725729468]
複数のオブジェクトを持つ複雑なシーンを生成するレイアウト・ツー・イメージ生成法を開発した。
本手法は,シーン内のオブジェクト間の空間的関係の表現を学習し,レイアウトの忠実度の向上につながる。
本稿では,Fr'echet Inception Distanceのオブジェクト中心適応であるSceneFIDを紹介する。
論文 参考訳（メタデータ） (2020-03-16T21:40:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。