論文の概要: MGDT: MLLM-Guided Diffusion Transformer with Relation-Adaptive Mixture-of-Experts for Multimodal Knowledge Graph Completion

• arxiv url: http://arxiv.org/abs/2607.15592v1
• Date: Fri, 17 Jul 2026 03:39:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-20 17:56:52.742046
• Title: MGDT: MLLM-Guided Diffusion Transformer with Relation-Adaptive Mixture-of-Experts for Multimodal Knowledge Graph Completion
• Title（参考訳）: MGDT:マルチモーダル知識グラフ補完用MLLM誘導拡散変換器
• Abstract要約: MKGC(Multimodal Knowledge Graph Completion)は、構造的、テキスト的、視覚的キューから欠落したエンティティを推測することを必要とする。 既存の拡散に基づくMKGC法は、通常、生のマルチモーダルな特徴に直接依存する。 MLLM-Guided Diffusion Transformer with Relation-Adaptive Mixture-of-Experts。
• 参考スコア（独自算出の注目度）: 33.838877596911445
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Knowledge Graph Completion (MKGC) requires inferring missing entities from structural, textual, and visual cues. Existing diffusion-based MKGC methods usually denoise directly on raw multimodal features. Such a design forces the denoiser to simultaneously perform relation-dependent cue selection, cross-modal semantic alignment, and structure-aware entity generation, which introduces noisy and semantically inconsistent conditions for diffusion and consequently leads to suboptimal completion performance. To address this limitation, we propose MGDT: MLLM-Guided Diffusion Transformer with Relation-Adaptive Mixture-of-Experts (MGDT), a novel MKGC framework built on an align-then-diffuse paradigm. MGDT first employs a Relation-Adaptive Semantic Routing Mixture-of-Experts (RASR-MoE) module to select relation-relevant multimodal semantic transformation paths and suppress irrelevant modality interference. MGDT then uses a frozen Multimodal Large Language Model (MLLM) as a semantic anchor to align the routed multimodal representations into a unified latent space and reduce cross-modal semantic heterogeneity. Finally, a Knowledge Graph Diffusion Transformer (KGDT) performs graph-conditioned denoising generation in the aligned space to produce the missing entity representation. Experiments on three benchmark datasets show that MGDT consistently outperforms strong baselines.
• Abstract（参考訳）: MKGC(Multimodal Knowledge Graph Completion)は、構造的、テキスト的、視覚的キューから欠落したエンティティを推測することを必要とする。 既存の拡散に基づくMKGC法は、通常、生のマルチモーダルな特徴に直接依存する。 このような設計により、デノイザは関係依存のキュー選択、クロスモーダルなセマンティックアライメント、構造認識エンティティ生成を同時に実行せざるを得ない。 MLLM-Guided Diffusion Transformer with Relation-Adaptive Mixture-of-Experts (MGDT)。 MGDTはまずRASR-MoE(Relation-Adaptive Semantic Routing Mixture-of-Experts)モジュールを使用し、関係関連多モード意味変換パスを選択し、無関係なモダリティ干渉を抑制する。 MGDTは、凍結したMultimodal Large Language Model (MLLM) をセマンティックアンカーとして使用し、ルーティングされたMultimodal表現を統一された潜在空間に整列させ、クロスモーダルなセマンティックな不均一性を減少させる。 最後に、知識グラフ拡散変換器(KGDT)は、整列空間においてグラフ条件付き雑音発生を行い、欠落した実体表現を生成する。 3つのベンチマークデータセットの実験は、MGDTが強いベースラインを一貫して上回っていることを示している。

関連論文リスト

• Prototype-Anchored Generalized Manifold Regression for Unknown-Domain Object Detection [58.25418970608328]
  単一ソースドメイン上でトレーニングされた検出器を複数の未確認領域に転送することを目的としたシングルドメイン一般化オブジェクト検出(Single-DGOD)について検討する。 既存の手法は主に、トレーニング分布を拡大するために、データ拡張やテキストプロンプトといったシミュレーション駆動の戦略に依存している。 本稿では, 未知領域の一般化を多様体回帰問題として定式化する, Visual-Text Dual Chain-of-Thought (MR-DCoT) を用いたマニフォールド回帰を提案する。
  論文  参考訳（メタデータ） (2026-07-08T09:27:15Z)
• SAMA: Semantic Anchor-aligned Augmentation for Unified Low-Resource Multimodal Information Extraction [12.379572218573365]
  高忠実でタスク対応の合成データを生成するための統合フレームワークであるSemantic Anchor-aligned Multimodal Augmentation (SAMA)を導入する。 SAMAは,多言語多言語モデル(Multimodal Large Language Model,Multi-Experts Multi-Experts Multimodal Large Language Model)のガイドとして,地上構造ラベルから構造化されたセマンティックアンカーを構築する。 SAMAは、完全に教師された設定と低リソースの設定の両方で、最先端の強化ベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-06-17T07:43:33Z)
• SMGFM: Spectral Multimodal Graph Pretraining for Multimodal-Attributed Graphs [38.400117494307615]
  マルチモーダル分布グラフ (MAG) は、テキスト、画像、その他のモダリティからのノードセマンティクスとグラフトポロジーを結合する。 SMGFMは,各モード固有のノード信号をグラフ周波数帯域に分解する,スペクトルマルチモーダルグラフ事前学習フレームワークである。 SMGFMはグラフレベルおよびモダリティレベルのタスクにまたがって最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-06-11T03:54:35Z)
• Chain of Modality: From Static Fusion to Dynamic Orchestration in Omni-MLLMs [84.3271821505699]
  カオス・オブ・モダリティ(Chain of Modality, CoM)は、マルチモーダル融合を受動的結合から動的オーケストレーションに移行するエージェントフレームワークである。 CoMはトレーニングフリーまたはデータ効率のSFT設定で動作し、様々なベンチマークで堅牢で一貫した一般化を実現する。
  論文  参考訳（メタデータ） (2026-04-16T01:21:14Z)
• MAny: Merge Anything for Multimodal Continual Instruction Tuning [52.50936513604062]
  textbfMAny(textbfMAny)は、textbfCross-modal textbfProjection textbfMergingを通じてタスク固有の知識を統合するフレームワークである。 textbfLow-rank textbfParameter textbfMerging (textbfLPM)
  論文  参考訳（メタデータ） (2026-04-15T15:57:23Z)
• Diffusion-CAM: Faithful Visual Explanations for dMLLMs [8.78213424930081]
  Diffusion-CAMは、dMLLMに特化された最初の解釈可能性法である。 バックボーンの中間表現を微分して生の活性化マップを導出する。 実験の結果,Diffusion-CAMは局所化精度と視覚的忠実度の両方でSoTA法よりも優れていた。
  論文  参考訳（メタデータ） (2026-04-13T05:14:18Z)
• Parameter-Efficient Modality-Balanced Symmetric Fusion for Multimodal Remote Sensing Semantic Segmentation [8.840077295284393]
  MoBaNetはパラメータ効率とモダリティバランスを持つ対称核融合フレームワークである。 ほとんど凍結されたVFMバックボーン上に構築されたMoBaNetは、一般化可能な表現を維持するために対称なデュアルストリームアーキテクチャを採用している。 ISPRS VaihingenとPotsdamベンチマークの実験は、MoBaNetが最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2026-03-18T13:23:58Z)
• Towards Unified Semantic and Controllable Image Fusion: A Diffusion Transformer Approach [99.80480649258557]
  DiTFuseは命令駆動のフレームワークで、単一のモデル内でセマンティクスを意識した融合を実行する。 パブリックなIVIF、MFF、MEFベンチマークの実験では、より優れた量的および質的な性能、よりシャープなテクスチャ、より優れたセマンティック保持が確認されている。
  論文  参考訳（メタデータ） (2025-12-08T05:04:54Z)
• UniMRSeg: Unified Modality-Relax Segmentation via Hierarchical Self-Supervised Compensation [104.59740403500132]
  マルチモーダルイメージセグメンテーションは、不完全/破損したモダリティの劣化による実際のデプロイメント課題に直面している。 階層型自己教師型補償(HSSC)による統一Modality-relaxセグメンテーションネットワーク(UniMRSeg)を提案する。 我々のアプローチは、入力レベル、特徴レベル、出力レベルをまたいだ完全なモダリティと不完全なモダリティの間の表現ギャップを階層的に橋渡しします。
  論文  参考訳（メタデータ） (2025-09-19T17:29:25Z)
• MAGE: Multimodal Alignment and Generation Enhancement via Bridging Visual and Semantic Spaces [23.447713697204225]
  MAGEは、革新的なアライメント機構を通じて視覚とテキストの意味空間をブリッジする新しいフレームワークである。 我々は、クロスエントロピーと平均二乗誤差を組み合わせたトレーニング戦略を採用し、アライメント効果を著しく向上させる。 提案するマルチモーダル大規模モデルアーキテクチャであるMAGEは,様々な評価ベンチマークにおける類似の手法と比較して,性能が大幅に向上した。
  論文  参考訳（メタデータ） (2025-07-29T12:17:46Z)
• Multimodal Latent Language Modeling with Next-Token Diffusion [111.93906046452125]
  マルチモーダル生成モデルは、離散データ(テキストやコードなど)と連続データ(画像、オーディオ、ビデオなど)の両方を扱う統一的なアプローチを必要とする。 因果変換器を用いて連続データと離散データをシームレスに統合する潜在言語モデリング(LatentLM)を提案する。
  論文  参考訳（メタデータ） (2024-12-11T18:57:32Z)
• Modality Prompts for Arbitrary Modality Salient Object Detection [57.610000247519196]
  本論文は、任意のモーダリティ・サリエント物体検出(AM SOD)の課題について述べる。 任意のモダリティ、例えばRGBイメージ、RGB-Dイメージ、RGB-D-Tイメージから有能なオブジェクトを検出することを目的としている。 AM SODの2つの基本的な課題を解明するために,新しいモード適応トランス (MAT) を提案する。
  論文  参考訳（メタデータ） (2024-05-06T11:02:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。