論文の概要: KARAMEL: Knowledge-Aware Ranking for Multimodal Entity Linking in the Arts via Heterogeneous Graphs

• arxiv url: http://arxiv.org/abs/2610.16502v1
• Date: Mon, 12 Oct 2026 09:52:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 22:53:53.949482
• Title: KARAMEL: Knowledge-Aware Ranking for Multimodal Entity Linking in the Arts via Heterogeneous Graphs
• Title（参考訳）: KARAMEL:異種グラフを用いたマルチモーダルエンティティリンクのための知識認識ランキング
• Abstract要約: KARAMELは、知識ベース内のエンティティへの視覚的およびテキスト的言及を調整するためのフレームワークである。 WikiMuSAは、画像、テキスト記述、構造化されたコンテキスト知識を介して、アートワークをWikidataエンティティにリンクする新しいデータセットである。
• 参考スコア（独自算出の注目度）: 46.52279893933176
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Discovering and disambiguating entities from multimodal and heterogeneous data is a key challenge in discovery science, where relevant knowledge is often implicit and distributed across modalities. We present KARAMEL, a framework for multimodal entity linking (MEL) - the task of aligning visual and textual mentions to entities in a knowledge base - in the cultural heritage domain. Unlike prior vision-language models that primarily rely on surface-level multimodal alignment, our approach incorporates sociohistorical and contextual knowledge through a knowledge-aware architecture that fuses a vision-language encoder with a heterogeneous graph neural network. This design enables contextual reasoning over complex relational structures and supports robust entity disambiguation under ambiguous or underspecified evidence. To benchmark multimodal discovery in this setting, we introduce WikiMuSA (Wikidata-based Multimodal Semantic data for Art), a new dataset that links artworks to Wikidata entities via images, textual descriptions, and structured contextual knowledge. Experimental results show that KARAMEL surpasses strong baselines, particularly on implicit or abstract mentions, while ablation studies highlight the critical role of domain-specific, structured context in learning expressive representations. While instantiated in the cultural heritage domain, KARAMEL addresses a general knowledge discovery problem and applies to other scientific settings involving multimodal observations and heterogeneous background knowledge. Both the dataset and source code are made publicly available.
• Abstract（参考訳）: マルチモーダルデータと異種データからエンティティを発見・曖昧化することは、発見科学において重要な課題であり、関連する知識が暗黙的にモダリティに分散されることがしばしばある。 本稿では,文化遺産ドメインにおけるマルチモーダル・エンティティ・リンク(MEL)の枠組みであるKARAMELについて紹介する。 表面レベルの多モードアライメントに主に依存する従来の視覚言語モデルとは異なり、我々のアプローチは、視覚言語エンコーダとヘテロジニアスグラフニューラルネットワークを融合した知識認識アーキテクチャを通じて、社会史的および文脈的知識を取り入れている。 この設計は、複雑な関係構造に対する文脈的推論を可能にし、曖昧または未特定な証拠の下で頑健な実体の曖昧さをサポートする。 WikiMuSA(Wikidata-based Multimodal Semantic data for Art)は,画像,テキスト記述,構造化コンテキスト知識を通じて,美術品をWikidataエンティティにリンクする新しいデータセットである。 実験結果から,KARAMELは特に暗黙的あるいは抽象的な言及において,強いベースラインを超越していることが明らかとなった。 文化遺産領域でインスタンス化されている間、KARAMELは一般的な知識発見問題に対処し、マルチモーダル観測や異種背景知識を含む他の科学的設定に適用する。 データセットとソースコードの両方が公開されている。

関連論文リスト

• Unifying Scientific Communication: Fine-Grained Correspondence Across Scientific Media [40.40617019402065]
  科学知識のコミュニケーションはますます多モーダルになりつつある。 フォーマット間の明示的なリンクの欠如は、概念、視覚、説明がどのように対応するかを追跡するのを難しくする。 研究論文、プレゼンテーションビデオ、解説ビデオ、同じ作品のスライドを統合する最初のベンチマーク。 我々は, 埋め込み型および視覚言語モデルを用いて, 微粒なクロスフォーマット対応を見つける能力を評価する。
  論文  参考訳（メタデータ） (2026-05-07T08:04:50Z)
• The Ontoverse: Democratising Access to Knowledge Graph-based Data Through a Cartographic Interface [33.861478826378054]
  我々は地理的視覚化と階層的に構造化されたドメイン知識に依存したデータナビゲーションにユニークなアプローチを開発した。 提案手法は自然言語処理技術を用いて,基礎となるデータから名前付きエンティティを抽出し,関連する意味領域参照やナビゲーション構造に対して正規化する。 これにより、エンドユーザは、ニーズに関連するエンティティを識別し、広範なグラフ分析にアクセスできるようになる。
  論文  参考訳（メタデータ） (2024-07-22T10:29:25Z)
• Contextualized Structural Self-supervised Learning for Ontology Matching [0.9402105308876642]
  我々はLaKERMapと呼ばれる新しい自己教師型学習フレームワークを導入する。 LaKERMapは暗黙の知識をトランスフォーマーに統合することで、概念の文脈的および構造的情報を活用する。 我々の革新的なアプローチから得られた知見は、LaKERMapがアライメント品質と推論時間で最先端のシステムを上回っていることを示している。
  論文  参考訳（メタデータ） (2023-10-05T18:51:33Z)
• Knowledge-Enhanced Hierarchical Information Correlation Learning for Multi-Modal Rumor Detection [82.94413676131545]
  マルチモーダルなうわさ検出のための知識強化型階層型情報相関学習手法(KhiCL)を提案する。 KhiCLは異質な一様性特徴を共通特徴空間に伝達するために、クロスモーダルな関節辞書を利用する。 画像やテキストから視覚的およびテキスト的実体を抽出し、知識関連推論戦略を設計する。
  論文  参考訳（メタデータ） (2023-06-28T06:08:20Z)
• Recognizing Unseen Objects via Multimodal Intensive Knowledge Graph Propagation [68.13453771001522]
  画像の領域と対応するセマンティック埋め込みとをマッチングする多モード集中型ZSLフレームワークを提案する。 我々は、大規模な実世界のデータに基づいて、広範囲な実験を行い、そのモデルを評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:07:48Z)
• Continual Multimodal Knowledge Graph Construction [62.77243705682985]
  現在のマルチモーダル知識グラフ構築(MKGC)モデルは、絶え間なく出現する実体と関係の現実的なダイナミズムに苦慮している。 本研究では,連続的なMKGCドメインの開発を促進するためのベンチマークを紹介する。 マルチメディアデータ処理における既存のMKGCアプローチの欠点を克服するMSPTフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-05-15T14:58:28Z)
• Knowledge Graph Augmented Network Towards Multiview Representation Learning for Aspect-based Sentiment Analysis [96.53859361560505]
  本稿では,知識グラフ拡張ネットワーク(KGAN)を提案する。 KGANは感情の特徴表現を、文脈、構文、知識に基づく複数の視点から捉えている。 3つの人気のあるABSAベンチマークの実験は、我々のKGANの有効性と堅牢性を示している。
  論文  参考訳（メタデータ） (2022-01-13T08:25:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。