論文の概要: Art Beyond Semantics: Sheaf-Informed Contrastive Learning for Multi-Relational Representations
- arxiv url: http://arxiv.org/abs/2607.16321v1
- Date: Wed, 15 Jul 2026 09:28:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.11072
- Title: Art Beyond Semantics: Sheaf-Informed Contrastive Learning for Multi-Relational Representations
- Title（参考訳）: 意味論を超越した芸術:多関係表現のためのシーフインフォームドコントラスト学習
- Abstract要約: CANVASは,せん断理論に触発された関係認識型マルチモーダル表現を学習するためのフレームワークである。
マルチリレーショナルアート理解のための3つの新しいアートのベンチマークを評価した。
- 参考スコア（独自算出の注目度）: 21.379603872788127
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Understanding a painting is never a single act. Art historians may analyze the same work through concepts of style, iconography, or historical context, dimensions that are not interchangeable, and each carries distinct semantic relationships between the visual and the textual. Vision-Language Models (VLMs) like CLIP, which learn a single shared embedding space, collapse this richness into a single homogeneous alignment, thereby losing the multi-relational structure that defines art-historical reasoning. We introduce CANVAS (Contrastive Art-aware Network for Vision-Language Alignment with Sheaves), a framework for learning relation-aware multimodal representations inspired by sheaf theory. Each artwork is projected into multiple embeddings conditioned on the type of relation (i.e., the context), and a novel contrastive loss encodes contextual information during training, with no dependency on external data at inference. We evaluate on three newly introduced benchmarks of artworks for multi-relational art understanding: WikiArt+, derived from WikiArt and Wikipedia, HertzianaDP, from the Bibliotheca Hertziana collection, and SemArt+, refined from the SemArt dataset. In multimodal retrieval and art understanding, CANVAS outperforms the baselines, supporting the view that multi-relational alignment is not just theoretically motivated but also practically essential.
- Abstract（参考訳）: 絵画を理解することは決して一つの行為ではない。
美術史家は、スタイル、図形学、または歴史的文脈の概念を通じて同じ作品を分析できるが、それらは交換できない次元であり、それぞれが視覚とテクストの間に異なる意味的関係を持つ。
単一の共有埋め込み空間を学習するCLIPのような視覚言語モデル(VLM)は、このリッチネスを単一の均一なアライメントに分解し、美術史的推論を定義するマルチリレーショナル構造を失う。
本稿では,CANVAS(Contrastive Art-Aware Network for Vision-Language Alignment with Sheaves)を紹介する。
各アートワークは、関係のタイプ(つまりコンテキスト)に基づいて複数の埋め込みに投影され、新しいコントラスト損失は、推論時の外部データに依存することなく、トレーニング中にコンテキスト情報を符号化する。
WikiArtとWikipediaから派生したWikiArt+,Bibliotheca Hertzianaコレクションから派生したHertzianaDP,SemArtデータセットから改良したSemArt+の3つの新しい美術品のベンチマークを評価した。
マルチモーダル検索とアート理解において、CANVASはベースラインよりも優れており、マルチリレーショナルアライメントは理論的に動機づけられているだけでなく、事実上必要不可欠なものであるという見解を支持している。
関連論文リスト
- Conducting Stylistic Analysis of Paintings through an Art-History Agent [0.0]
絵画のスタイリスティック分析を自動化するAIフレームワークを提案する。
視覚変換器(ViT)を大量の絵画のコーパスにメタデータで訓練することにより,この美術史固有のデータを埋め込みとして符号化する。
大型言語モデル(LLM)は、関連するアートワークとその付随するキュレーターによるテキストを取得して、それらを記述に合成することによって、それぞれの特徴を解釈する。
論文 参考訳（メタデータ） (2026-08-30T08:10:58Z) - Does AI See like Art Historians? Interpreting How Vision Language Models Recognize Artistic Style [60.562013130566726]
VLMの芸術的スタイル予測能力の基盤となるメカニズムを特徴付ける。
我々は、アートスタイルの予測を駆動する概念を特定するために、潜在空間分解アプローチを採用する。
スタイルの予測に無関係な概念が使われた場合、美術史家はその成功の可能性がある理由を特定した。
論文 参考訳（メタデータ） (2026-03-11T17:49:45Z) - SmartCLIP: Modular Vision-language Alignment with Identification Guarantees [59.16312652369709]
Contrastive Language-Image Pre-Traiing (CLIP)citepradford2021 Learningは、コンピュータビジョンとマルチモーダル学習において重要なモデルとして登場した。
CLIPは、多くの画像テキストデータセットにおける潜在的な情報ミスアライメントに苦労し、絡み合った表現に悩まされている。
モジュラー方式で、最も関連性の高い視覚的およびテキスト的表現を特定し、調整する新しいアプローチである。
論文 参考訳（メタデータ） (2025-07-29T22:26:20Z) - ArtSeek: Deep artwork understanding via multimodal in-context reasoning and late interaction retrieval [8.94249680213101]
ArtSeekは、マルチモーダルな大規模言語モデルと検索強化世代を組み合わせた、アート分析のためのフレームワークである。
ArtSeekは、遅延インタラクション検索に基づくインテリジェントなマルチモーダル検索モジュール、アーティスト、ジャンル、スタイル、メディア、タグを予測するための対照的なマルチタスク分類ネットワーク、エージェント推論戦略の3つの重要なコンポーネントを統合している。
このフレームワークは,GraphCLIPによるスタイル分類の+8.4%,ArtPediaでのキャプションの+7.1BLEU@1向上など,複数のベンチマークで最先端の結果を実現している。
論文 参考訳（メタデータ） (2025-07-29T15:31:58Z) - ArtRAG: Retrieval-Augmented Generation with Structured Context for Visual Art Understanding [21.469839845171652]
ArtRAGは、構造化知識と検索強化世代(RAG)を組み合わせた新しいフレームワークである。
推測時には、構造化された検索者が意味的およびトポロジカルなサブグラフを選択して生成をガイドする。
SemArtとArtpediaのデータセットの実験では、ArtRAGがいくつかの高度に訓練されたベースラインを上回っている。
論文 参考訳（メタデータ） (2025-05-09T13:08:27Z) - Does CLIP perceive art the same way we do? [0.05833117322405446]
絵画から高レベルの意味情報や文体情報を抽出するCLIPの能力について検討する。
以上の結果から,CLIPの視覚的表現の長所と短所が明らかとなった。
我々の研究は、マルチモーダルシステムにおけるより深い解釈可能性の必要性を強調している。
論文 参考訳（メタデータ） (2025-05-08T13:21:10Z) - Compositional Entailment Learning for Hyperbolic Vision-Language Models [54.41927525264365]
画像とテキストのペアを超えて、双曲的埋め込みの自然的階層性を完全に活用する方法を示す。
双曲型視覚言語モデルのための構成的包摂学習を提案する。
数百万の画像テキストペアで訓練された双曲型視覚言語モデルに対する経験的評価は、提案手法が従来のユークリッドCLIP学習より優れていることを示している。
論文 参考訳（メタデータ） (2024-10-09T14:12:50Z) - KALE: An Artwork Image Captioning System Augmented with Heterogeneous Graph [24.586916324061168]
本稿では,アートワーク開発のための知識付加型視覚言語モデルを提案する。
KALEはメタデータを2つの方法で組み込む: 第一に直接テキスト入力、第二にマルチモーダルなヘテロジニアス知識グラフである。
実験結果から,KALEは複数のアートデータセットにまたがる既存の最先端の作業に対して高い性能を発揮することが示された。
論文 参考訳（メタデータ） (2024-09-17T06:39:18Z) - CreativeSynth: Cross-Art-Attention for Artistic Image Synthesis with Multimodal Diffusion [73.08710648258985]
レイアウト、視点、形状、意味といった重要な絵の属性は、しばしばスタイル転送によって伝達され、表現されない。
大規模な事前訓練された画像生成モデルは、大量の高品質な画像を合成できることを実証している。
我々の主要なアイデアは、スタイルを現実の世界に移すのではなく、多モーダルな意味情報を合成ガイドとしてアートに組み込むことである。
論文 参考訳（メタデータ） (2024-01-25T10:42:09Z) - Coarse-to-Fine Contrastive Learning in Image-Text-Graph Space for
Improved Vision-Language Compositionality [50.48859793121308]
対照的に訓練された視覚言語モデルは、視覚と言語表現学習において顕著な進歩を遂げた。
近年の研究では、対象、属性、関係性に対して構成的推論を行う能力に厳しい制限が強調されている。
論文 参考訳（メタデータ） (2023-05-23T08:28:38Z) - ALADIN-NST: Self-supervised disentangled representation learning of
artistic style through Neural Style Transfer [60.6863849241972]
我々は、画像に描かれた意味的内容から、より強く絡み合った視覚芸術スタイルの表現を学習する。
スタイルと内容の絡み合いに強く対処することで、スタイル固有のメトリクスが大きく向上することを示します。
論文 参考訳（メタデータ） (2023-04-12T10:33:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。