論文の概要: Knowing When to Trust Images: Reliability-Aware Multi-modal Entity Alignment
- arxiv url: http://arxiv.org/abs/2609.23267v1
- Date: Sun, 20 Sep 2026 00:55:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:00.742288
- Title: Knowing When to Trust Images: Reliability-Aware Multi-modal Entity Alignment
- Title（参考訳）: 信頼すべき時期を知る: 信頼性に配慮したマルチモーダルエンティティアライメント
- Abstract要約: MMEA(RA-MMEA)のための新しい信頼性認識フレームワークを提案する。
視覚的信頼性を評価し、堅牢なエンティティアライメントのための信頼性の低い視覚表現を適応的に改善する。
RA-MMEAは、エンティティアライメントにおける信頼性の高い視覚的モダリティの重要性を検証し、最先端の結果を達成する。
- 参考スコア（独自算出の注目度）: 37.10965012007021
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The visual modality, i.e., images, plays a key role in multi-modal entity alignment (MMEA). Existing approaches often directly fuse the image with other modalities to align different entities. Although simple, such strategies overlook the potential noise in the images and their semantic misalignment with corresponding entities, resulting in suboptimal fusion and degraded performance. Addressing this, we propose a novel Reliability-Aware framework for MMEA (RA-MMEA), which assesses visual reliability and adaptively improves unreliable visual representations for robust entity alignment. The core lies in two modules, including dependency-aware visual reliability prediction (DA-VRP) and stability-regularized visual embedding generation (SR-VEG). The former aims to estimate the reliability of an image by leveraging multi-modal dependency within the entity, while the latter focuses on producing alternative visual representation conditioned on semantics encoded in textual modalities for multi-modal fusion. Compared to current methods, RA-MMEA enables more reliable visual representations for modality fusion, thereby improving performance. In extensive experiments, RA-MMEA achieves state-of-the-art results, verifying the importance of reliable visual modality for entity alignment and the effectiveness of RA-MMEA. The code and results will be released.
- Abstract（参考訳）: 視覚的モダリティ、すなわち画像は、マルチモーダル・エンティティアライメント(MMEA)において重要な役割を果たす。
既存のアプローチは、しばしば異なるエンティティを整合させるために、イメージを他のモダリティと直接融合させる。
このような戦略は単純ではあるが、画像の潜在的なノイズとそれらの意味的ミスアライメントを対応するエンティティで見落とし、準最適融合と劣化性能をもたらす。
そこで本稿では,視覚的信頼性を評価し,堅牢なエンティティアライメントのための信頼できない視覚表現を適応的に改善する,MMEA(RA-MMEA)のための新しい信頼性意識フレームワークを提案する。
コアは、依存性認識の視覚的信頼性予測(DA-VRP)と安定性調整された視覚的埋め込み生成(SR-VEG)の2つのモジュールに含まれている。
前者は、エンティティ内のマルチモーダル依存を利用して画像の信頼性を推定することを目的としており、後者は、マルチモーダル融合のためのテキストモーダルに符号化されたセマンティクスに基づく代替視覚表現を作成することに焦点を当てている。
現在の手法と比較して、RA-MMEAはモダリティ融合のためのより信頼性の高い視覚表現を可能にし、性能を向上させる。
広範な実験において、RA-MMEAは、エンティティアライメントにおける信頼性の高い視覚的モダリティの重要性と、RA-MMEAの有効性を検証し、最先端の結果を達成する。
コードと結果がリリースされる。
関連論文リスト
- Dual-Edged Homogeneous-Modality Similarity: Towards Visible-Infrared Modality-Incomplete Person Re-Identification with Modality Adaptive Matching [60.86381869046298]
我々は, Visible-Infrared Modality-Incomplete Re-Identification (VIMI-ReID) タスクを形式化する。
VIMI-ReIDにおける予測不可能なモダリティの組み合わせと、同質なモダリティサンプルの固有の類似性は、大きな性能低下を引き起こす。
モーダリティ固有およびモーダリティ共有特徴を抽出するMAMT(Modality Adaptive Matching Transformer)を提案する。
論文 参考訳（メタデータ） (2026-07-21T04:10:20Z) - SMFormer: Empowering Self-supervised Stereo Matching via Foundation Models and Data Augmentation [55.67206878777881]
本稿では、VFM(Vision Foundation Model)とデータ拡張によって導かれる、より信頼性の高いセルフスーパービジョンを統合するフレームワークであるSMFormerを提案する。
SMFormerは、自己教師付きメソッド間での最先端(SOTA)のパフォーマンスを達成し、教師付きメソッドと同等に競合する。
論文 参考訳（メタデータ） (2026-04-11T13:56:41Z) - URMF: Uncertainty-aware Robust Multimodal Fusion for Multimodal Sarcasm Detection [17.19666367498091]
マルチモーダルサルカズム検出(MSD)は,テキストと画像間の意味的不一致から皮肉な意図を識別することを目的としている。
本稿では,対話や融合におけるモダリティの信頼性を明示的にモデル化する統一フレームワークであるUncertainty-aware Robust Multimodal Fusion (URMF)を提案する。
URMFは、強い単調、マルチモーダル、MLLMベースのベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2026-04-08T06:50:43Z) - MICON-Bench: Benchmarking and Enhancing Multi-Image Context Image Generation in Unified Multimodal Models [89.89575486159795]
マルチイメージコンテキスト生成のためのベンチマークである textbfMICON-Bench を導入する。
本稿では,意味的および視覚的整合性の自動検証のためのMLLM駆動型評価-Checkpointフレームワークを提案する。
また、推論中に注意を動的に調整し、コヒーレンスを高め、幻覚を減らす訓練不要なプラグアンドプレイ機構であるtextbfDynamic Attention Rebalancing (DAR) を提案する。
論文 参考訳（メタデータ） (2026-02-23T04:32:52Z) - Towards Unified Semantic and Controllable Image Fusion: A Diffusion Transformer Approach [99.80480649258557]
DiTFuseは命令駆動のフレームワークで、単一のモデル内でセマンティクスを意識した融合を実行する。
パブリックなIVIF、MFF、MEFベンチマークの実験では、より優れた量的および質的な性能、よりシャープなテクスチャ、より優れたセマンティック保持が確認されている。
論文 参考訳（メタデータ） (2025-12-08T05:04:54Z) - Learning to Fuse: Modality-Aware Adaptive Scheduling for Robust Multimodal Foundation Models [0.0]
モーダリティ・アウェア・アダプティブ・フュージョン・スケジューリング(MA-AFS)は、各モーダリティの寄与をインスタンス単位で動的に調節することを学ぶ。
本研究は, 適応融合の重要性を強調し, 信頼性と不確実性を考慮したマルチモーダル学習に向けた有望な方向性を開く。
論文 参考訳（メタデータ） (2025-06-15T05:57:45Z) - Mitigating Modality Bias in Multi-modal Entity Alignment from a Causal Perspective [15.239882327601016]
本稿では,因果的視点から視覚的モダリティバイアスを研究するMMEAの非現実的脱バイアスフレームワークCDMEAを提案する。
本研究の目的は,モデル予測に対する視覚的モダリティの直接的な因果効果を抑えつつ,視覚的モダリティとグラフ的モダリティを両立させることである。
論文 参考訳（メタデータ） (2025-04-28T03:48:23Z) - Every SAM Drop Counts: Embracing Semantic Priors for Multi-Modality Image Fusion and Beyond [52.486290612938895]
本稿では,Segment Anything Model (SAM) のセグメンテーションモデルからのセグメンテーション知識を利用して,融合結果の質を向上し,下流タスク適応性を実現する手法を提案する。
具体的には、SAMから高レベルなセマンティック・セマンティック・セマンティック・セマンティック・セマンティック・アテンション(SPA)モジュールを抽出し、永続リポジトリを介してソース情報を効率的に保持する。
本手法は,実運用効率を維持しつつ,高品質な視覚結果と下流タスク適応性のバランスを実現する。
論文 参考訳（メタデータ） (2025-03-03T06:16:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。