論文の概要: DeepMEL: A Multi-Agent Collaboration Framework for Multimodal Entity Linking

• arxiv url: http://arxiv.org/abs/2508.15876v1
• Date: Thu, 21 Aug 2025 11:24:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-25 16:42:36.140229
• Title: DeepMEL: A Multi-Agent Collaboration Framework for Multimodal Entity Linking
• Title（参考訳）: DeepMEL: マルチモーダルエンティティリンクのためのマルチエージェントコラボレーションフレームワーク
• Authors: Fang Wang, Tianwei Yan, Zonghao Yang, Minghao Hu, Jun Zhang, Zhunchen Luo, Xiaoying Bai,
• Abstract要約: Multimodal Entity Linkingは、テキストとビジュアルの言及と、マルチモーダルな知識グラフのエンティティを関連付けることを目的としている。 現状の手法では、不完全文脈情報、粗いクロスモーダル融合、共同言語モデル(LLM)と大規模視覚モデル(LVM)の難しさといった課題に直面している。 マルチエージェント協調推論に基づく新しいフレームワークであるDeepMELを提案する。
• 参考スコア（独自算出の注目度）: 18.8210909297317
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Entity Linking (MEL) aims to associate textual and visual mentions with entities in a multimodal knowledge graph. Despite its importance, current methods face challenges such as incomplete contextual information, coarse cross-modal fusion, and the difficulty of jointly large language models (LLMs) and large visual models (LVMs). To address these issues, we propose DeepMEL, a novel framework based on multi-agent collaborative reasoning, which achieves efficient alignment and disambiguation of textual and visual modalities through a role-specialized division strategy. DeepMEL integrates four specialized agents, namely Modal-Fuser, Candidate-Adapter, Entity-Clozer and Role-Orchestrator, to complete end-to-end cross-modal linking through specialized roles and dynamic coordination. DeepMEL adopts a dual-modal alignment path, and combines the fine-grained text semantics generated by the LLM with the structured image representation extracted by the LVM, significantly narrowing the modal gap. We design an adaptive iteration strategy, combines tool-based retrieval and semantic reasoning capabilities to dynamically optimize the candidate set and balance recall and precision. DeepMEL also unifies MEL tasks into a structured cloze prompt to reduce parsing complexity and enhance semantic comprehension. Extensive experiments on five public benchmark datasets demonstrate that DeepMEL achieves state-of-the-art performance, improving ACC by 1%-57%. Ablation studies verify the effectiveness of all modules.
• Abstract（参考訳）: MEL(Multimodal Entity Linking)は、マルチモーダルな知識グラフのエンティティとテキストとビジュアルな言及を関連付けることを目的としている。 その重要性にもかかわらず、現在の手法では、不完全な文脈情報、粗いクロスモーダル融合、共同言語モデル(LLM)と大規模視覚モデル(LVM)の難しさといった課題に直面している。 これらの課題に対処するために,多エージェント協調推論に基づく新しいフレームワークであるDeepMELを提案する。 DeepMELは、Modal-Fuser、Candidate-Adapter、Entity-Clozer、Role-Orchestratorという4つの特殊エージェントを統合し、特殊な役割と動的調整を通じてエンドツーエンドのクロスモーダルリンクを完成させる。 DeepMELは、デュアルモーダルアライメントパスを採用し、LLMによって生成された微細なテキストセマンティクスとLVMによって抽出された構造化画像表現を組み合わせ、モーダルギャップを著しく狭める。 適応的な反復戦略を設計し、ツールベースの検索とセマンティック推論機能を組み合わせて、候補セットを動的に最適化し、リコールと精度のバランスをとる。 DeepMELはまた、MELタスクを構造化クローゼプロンプトに統合し、解析の複雑さを減らし、セマンティック理解を強化する。 5つの公開ベンチマークデータセットに対する大規模な実験は、DeepMELが最先端のパフォーマンスを達成し、ACCを1%から57%改善していることを示している。 アブレーション研究はすべての加群の有効性を検証する。

関連論文リスト

• True Multimodal In-Context Learning Needs Attention to the Visual Context [69.63677595066012]
  MLLM(Multimodal Large Language Models)は、新しいタスクに適応したMICL(Multimodal In-Context Learning)を実現する。 現在のMLLMは、視覚的手がかりを無視し、テキストパターンを過度に無視する傾向にあり、真のマルチモーダル適応よりも単なるテキスト模倣に繋がる。 視覚的コンテキストへのモデルへの参加を促す,効率的な微調整戦略であるDynamic Attention Reallocation (DARA)を紹介した。
  論文  参考訳（メタデータ） (2025-07-21T17:08:18Z)
• A Multi-Granularity Retrieval Framework for Visually-Rich Documents [4.804551482123172]
  本稿では,MMDocIRとM2KRの2つのベンチマークタスクに適した,統一されたマルチグラニュラリティマルチモーダル検索フレームワークを提案する。 提案手法は,階層型符号化戦略,モダリティ対応検索機構,視覚言語モデル(VLM)に基づく候補フィルタリングを統合する。 本フレームワークは,タスク固有の微調整を必要とせずに,堅牢な性能を示す。
  論文  参考訳（メタデータ） (2025-05-01T02:40:30Z)
• CUE-M: Contextual Understanding and Enhanced Search with Multimodal Large Language Model [9.224965304457708]
  本稿では,新しいマルチモーダル検索フレームワークであるMLLM (CUE-M) について述べる。 画像コンテキストの強化、インテントの洗練、コンテキストクエリ生成、外部APIの統合、関連ベースのフィルタリングなどが含まれている。 知識に基づくVQAと安全性に関する実単語データセットと公開ベンチマークの実験は、CUE-Mがベースラインを上回り、新しい最先端の結果を確立することを示した。
  論文  参考訳（メタデータ） (2024-11-19T07:16:48Z)
• UniMEL: A Unified Framework for Multimodal Entity Linking with Large Language Models [0.42832989850721054]
  MEL(Multimodal Entities Linking)は、ウィキペディアのようなマルチモーダル知識ベースの参照エンティティに、多モーダルコンテキスト内で曖昧な言及をリンクすることを目的とした重要なタスクである。 既存の方法はMELタスクを過度に複雑にし、視覚的意味情報を見渡す。 大規模言語モデルを用いたマルチモーダル・エンティティ・リンクタスクを処理するための新しいパラダイムを確立する統一フレームワークUniMELを提案する。
  論文  参考訳（メタデータ） (2024-07-23T03:58:08Z)
• Fine-tuning Multimodal Large Language Models for Product Bundling [53.01642741096356]
  Bundle-MLLMは,大規模言語モデル(LLM)をハイブリットアイテムトークン化アプローチにより微調整する新しいフレームワークである。 具体的には、テキスト、メディア、およびリレーショナルデータを統一トークン化に統合し、テキストトークンと非テキストトークンを区別するソフトな分離トークンを導入する。 1)バンドルパターンを学習し,2)製品バンドル固有のマルチモーダルセマンティック理解の強化を行う。
  論文  参考訳（メタデータ） (2024-07-16T13:30:14Z)
• Multi-Grained Multimodal Interaction Network for Entity Linking [65.30260033700338]
  マルチモーダルエンティティリンクタスクは、マルチモーダル知識グラフへの曖昧な言及を解決することを目的としている。 MELタスクを解決するための新しいMulti-Grained Multimodal InteraCtion Network $textbf(MIMIC)$ frameworkを提案する。
  論文  参考訳（メタデータ） (2023-07-19T02:11:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。