論文の概要: Using Hierarchical Controlled Vocabularies to Understand CLIP Retrieval Failures in Historical Photo Collections

• arxiv url: http://arxiv.org/abs/2607.19836v1
• Date: Wed, 22 Jul 2026 07:16:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-23 18:51:38.011841
• Title: Using Hierarchical Controlled Vocabularies to Understand CLIP Retrieval Failures in Historical Photo Collections
• Title（参考訳）: 階層制御語彙を用いた歴史的写真集におけるCLIP検索失敗の理解
• Authors: Ratan Sebastian, Anett Hoppe, Christoph Rippe, Ralph Ewerth,
• Abstract要約: 視覚的コヒーレンスとテキスト画像のアライメントは、用語間ではほとんど無関係であることを示す。 ファインチューニングは全体の検索を改善するが、そのゲインは階層内のより浅い用語を好んでいる。
• 参考スコア（独自算出の注目度）: 5.829608861264842
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: GLAM institutions (Galleries, Libraries, Archives, and Museums) organise image access using controlled vocabularies such as the Art and Architecture Thesaurus (AAT). For content-based image retrieval in these settings, vision-language models like CLIP are increasingly used, but their performance varies. This variation is known to relate to measures like concept abstraction and concept frequency. However, no prior work explains this variation in terms of the structural properties of vocabularies like the AAT that GLAM professionals already use. The AAT groups concepts into broad facets (Objects, Activities, Agents, etc.) and arranges terms hierarchically within them. In this paper, we ask whether two structural properties (root facet type and hierarchy depth) explain where CLIP retrieval succeeds and fails, and where fine-tuning helps. Across three historical photographic collections annotated with AAT terms, we examine visual coherence (whether a term's photographs cluster in CLIP's embedding space), text-image alignment (whether its label is near that cluster), and standard retrieval measures, which conflate the two. We find that visual coherence and text-image alignment are nearly uncorrelated across terms and jointly separate distinct failure modes. Terms whose photographs cluster tightly but whose label is distant from the cluster retrieve poorly in every collection, in two of three collections even worse than terms that fail on both metrics. We also show that while retrieval metrics do not correlate significantly with either structural property, root facet type does significantly separate categories with varying visual coherence. Finally, we find that fine-tuning improves retrieval overall, but its gains favour shallower terms in the hierarchy, where text-image alignment improves most, beyond what concept frequency explains.
• Abstract（参考訳）: GLAM機関 (Galleries, Libraries, Archives, Museums) は、アート・アンド・アーキテクチャ・シソーラス (AAT) のような制御された語彙を用いた画像アクセスを組織している。 これらの設定におけるコンテンツベースの画像検索では、CLIPのような視覚言語モデルがますます使われているが、その性能は様々である。 この変化は、概念の抽象化や概念の周波数といった測度に関係していることが知られている。 しかしながら、GLAMの専門家が既に使用しているAATのような語彙の構造的特性の観点から、この変化を説明する以前の研究はない。 AATは、概念を広い面(オブジェクト、アクティビティ、エージェントなど)に分類し、その内部に階層的な用語を配置する。 本稿では,2つの構造特性(ルートファセット型と階層深度)について,CLIPの検索がどこで成功し,どこで失敗するか,微調整が役に立つのかを問う。 AAT用語に注釈を付した3つの歴史的写真コレクションにおいて、視覚的コヒーレンス(CLIPの埋め込み空間に写真群が集まるか否か)、テキスト画像アライメント(そのクラスタの近くにラベルがあるかどうか)、および標準的な検索手段について検討し、その2つを解説する。 視覚的コヒーレンスとテキストイメージのアライメントは、用語間ではほとんど相関がなく、相違する障害モードが相違していることが分かりました。 写真が密集しているが、クラスタから離れたラベルを持つ用語は、各コレクションにおいて、両方のメトリクスで失敗する用語よりもさらに悪い3つのコレクションのうちの2つにおいて、貧弱に回収される。 また,検索指標はどちらの構造特性とも大きく相関しないが,ルートファセット型は視覚的コヒーレンスが異なるカテゴリーを著しく分離することを示した。 最後に、微調整は全体の検索を改善するが、その優位性は、概念周波数の説明以上の、テキスト画像のアライメントがほとんど改善する階層の浅い項に有利である。

関連論文リスト

• Hierarchical Textual Knowledge for Enhanced Image Clustering [12.960683115404604]
  本稿では,階層的な概念-属性構造的知識を構成する知識強化クラスタリング(KEC)手法を提案する。 トレーニングなしのKECは、20データセット中14でゼロショットCLIPを上回っている。
  論文  参考訳（メタデータ） (2026-04-13T08:04:12Z)
• Explaining, Verifying, and Aligning Semantic Hierarchies in Vision-Language Model Embeddings [10.299190830046872]
  本稿では,VLMによって誘発されるセマンティック階層を,特定の子クラスに対して説明し,検証し,調整するためのポストホックフレームワークを提案する。 我々は,効率的な木認識とエッジレベルの整合性尺度を用いて,抽出した木と人間の検索を比較して妥当性を定量化し,説明可能な階層木トラバース推定による有用性を評価する。
  論文  参考訳（メタデータ） (2026-03-26T00:38:38Z)
• Hierarchical Semantic Alignment for Image Clustering [59.277605709780524]
  CAEと呼ばれる画像クラスタリングのためのhierarChical semAnticalignedmEnt法を提案する。 まず、WordNetから関連する名詞とキャプションデータセットから記述を選択し、画像特徴に整合した意味空間を構築する。 次に,画像特徴と選択した名詞とキャプションとを最適な輸送手段で一致させて,より識別的な意味空間を得る。
  論文  参考訳（メタデータ） (2025-11-30T14:14:51Z)
• Finetuning CLIP to Reason about Pairwise Differences [52.028073305958074]
  本稿では,CLIPのような視覚言語モデルの学習手法を提案する。 画像間の差異のテキスト記述が画像埋め込み空間の差に対応するようにCLIPを微調整する。 提案手法は,特定の属性によって画像のランク付け能力を大幅に向上させ,下流画像分類タスクにおけるゼロショット分類性能を向上する。
  論文  参考訳（メタデータ） (2024-09-15T13:02:14Z)
• Vocabulary-free Image Classification and Semantic Segmentation [71.78089106671581]
  本稿では,Vocabulary-free Image Classification (VIC)タスクを導入する。これは,制約のない言語による意味空間から,既知の語彙を必要とせずに,入力画像にクラスを割り当てることを目的としている。 VICは、細かなカテゴリを含む数百万の概念を含む意味空間の広さのために、挑戦的である。 本稿では,事前学習された視覚言語モデルと外部データベースを利用した学習自由度手法CaSEDを提案する。
  論文  参考訳（メタデータ） (2024-04-16T19:27:21Z)
• CLIP-GCD: Simple Language Guided Generalized Category Discovery [21.778676607030253]
  一般化カテゴリー発見(GCD)は、既知のカテゴリと未知のカテゴリをラベルのないデータで分類するモデルを必要とする。 従来の手法では、自己教師付き事前学習とラベル付きデータの教師付き微調整を併用し、続いて単純なクラスタリング手法を併用していた。 我々は2つの相補的な方法でマルチモーダル(ビジョンと言語)モデルを活用することを提案する。
  論文  参考訳（メタデータ） (2023-05-17T17:55:33Z)
• Betrayed by Captions: Joint Caption Grounding and Generation for Open Vocabulary Instance Segmentation [80.48979302400868]
  オープンな語彙のインスタンスセグメンテーションに注目し、セグメンテーションモデルを拡張して、インスタンスレベルの新しいカテゴリを分類し、セグメンテーションする。 これまでは、画像領域と名詞の字幕間の1対1のマッピングを確立するために、大量の字幕データセットと複雑なパイプラインに頼っていた。 我々は,一致したオブジェクトのみに着目して学習効率を向上させる新しいグラウンドニング損失を取り入れた,共同の textbf Caption Grounding and Generation (CGG) フレームワークを考案した。
  論文  参考訳（メタデータ） (2023-01-02T18:52:12Z)
• Hierarchical Image Classification using Entailment Cone Embeddings [68.82490011036263]
  まずラベル階層の知識を任意のCNNベースの分類器に注入する。 画像からの視覚的セマンティクスと組み合わせた外部セマンティクス情報の利用が全体的な性能を高めることを実証的に示す。
  論文  参考訳（メタデータ） (2020-04-02T10:22:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。