論文の概要: Cross Modal Fine-grained Alignment via Granularity-aware and Region-uncertain Modeling

• arxiv url: http://arxiv.org/abs/2511.07710v1
• Date: Wed, 12 Nov 2025 01:12:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-12 20:17:03.444058
• Title: Cross Modal Fine-grained Alignment via Granularity-aware and Region-uncertain Modeling
• Title（参考訳）: 粒度認識と領域不確かさモデリングによるクロスモーダル微粒配向
• Authors: Jiale Liu, Haoming Zhou, Yishu Zhu, Bingzhi Chen, Yuncheng Jiang,
• Abstract要約: 微細な画像テキストアライメントは、マルチモーダル学習における重要な課題である。 本稿では,意味認識と地域レベルの不確実性モデリングを融合した統一アプローチを提案する。 提案手法は,各種バックボーンアーキテクチャにおける最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 17.78769812974246
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-grained image-text alignment is a pivotal challenge in multimodal learning, underpinning key applications such as visual question answering, image captioning, and vision-language navigation. Unlike global alignment, fine-grained alignment requires precise correspondence between localized visual regions and textual tokens, often hindered by noisy attention mechanisms and oversimplified modeling of cross-modal relationships. In this work, we identify two fundamental limitations of existing approaches: the lack of robust intra-modal mechanisms to assess the significance of visual and textual tokens, leading to poor generalization in complex scenes; and the absence of fine-grained uncertainty modeling, which fails to capture the one-to-many and many-to-one nature of region-word correspondences. To address these issues, we propose a unified approach that incorporates significance-aware and granularity-aware modeling and region-level uncertainty modeling. Our method leverages modality-specific biases to identify salient features without relying on brittle cross-modal attention, and represents region features as a mixture of Gaussian distributions to capture fine-grained uncertainty. Extensive experiments on Flickr30K and MS-COCO demonstrate that our approach achieves state-of-the-art performance across various backbone architectures, significantly enhancing the robustness and interpretability of fine-grained image-text alignment.
• Abstract（参考訳）: 微粒な画像テキストアライメントはマルチモーダル学習において重要な課題であり、視覚的質問応答、画像キャプション、視覚言語ナビゲーションといった重要な応用の基盤となっている。 大域的なアライメントとは異なり、微粒なアライメントは、局所的な視覚領域とテキストトークンの正確な対応を必要とする。 本研究では,視覚的およびテキスト的トークンの重要性を評価するための頑健なモーダル内機構の欠如と,複雑な場面における一般化の欠如と,一対多で多対一の性質を持つ地域語対応の詳細な不確実性モデリングの欠如という,既存のアプローチの基本的限界を明らかにする。 これらの問題に対処するために,重要度と粒度を考慮したモデリングと地域レベルの不確実性モデリングを組み合わせた統一的なアプローチを提案する。 本手法は, 細粒度不確かさを捉えるため, 細粒度分布の混合として, ゆるやかなクロスモーダルな注意を頼らずに, 局所的な特徴を同定するために, モダリティ特異的バイアスを利用する。 Flickr30K と MS-COCO の大規模な実験により,本手法は様々なバックボーンアーキテクチャにおける最先端性能を実現し,微細な画像テキストアライメントの堅牢性と解釈性を大幅に向上することを示した。

関連論文リスト

• SEPS: Semantic-enhanced Patch Slimming Framework for fine-grained cross-modal alignment [8.657941729790599]
  本稿では,パッチの冗長性と曖昧性に体系的に対処するセマンティック・エンハンスト・パッチ・スライミング(SEPS)フレームワークを紹介する。 提案手法では,密文と疎文の両方から統合されたセマンティクスを統合するための2段階の機構を用いて,視覚的パッチを識別する。 Flickr30KとMS-COCOデータセットの実験は、SEPSが優れたパフォーマンスを達成することを検証する。
  論文  参考訳（メタデータ） (2025-11-03T09:41:32Z)
• UniAlignment: Semantic Alignment for Unified Image Generation, Understanding, Manipulation and Perception [54.53657134205492]
  UniAlignmentは単一の拡散変換器内での統一されたマルチモーダル生成フレームワークである。 固有モード意味アライメントとクロスモーダル意味アライメントの両方を組み込むことで、モデルのクロスモーダル一貫性と命令追従ロバスト性を高める。 本稿では、複雑なテキスト命令下でのマルチモーダルなセマンティック一貫性を評価するために設計された新しいベンチマークであるSemGen-Benchを紹介する。
  論文  参考訳（メタデータ） (2025-09-28T09:11:30Z)
• Explaining multimodal LLMs via intra-modal token interactions [55.27436637894534]
  MLLM(Multimodal Large Language Models)は、様々な視覚言語タスクにおいて顕著な成功を収めているが、その内部決定機構は十分に理解されていない。 モーダル内相互作用を利用した解釈可能性の向上を提案する。
  論文  参考訳（メタデータ） (2025-09-26T14:39:13Z)
• RAGSR: Regional Attention Guided Diffusion for Image Super-Resolution [38.794214985205045]
  超高解像度画像における鮮明で正確な地域詳細を生成するための新しい手法を提案する。 本手法は、局所化されたきめ細かい情報を明示的に抽出し、新しい地域注意機構を介して符号化する。 ベンチマークによる実験結果から,本手法は知覚的視覚的詳細を生成する上で,優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2025-08-22T07:28:34Z)
• CLAMP: Contrastive Learning with Adaptive Multi-loss and Progressive Fusion for Multimodal Aspect-Based Sentiment Analysis [0.6961946145048322]
  本稿では,Adaptive Multi-lossとProgressive Attention Fusionを用いた,エンドツーエンドのコントラスト学習フレームワークを提案する。 このフレームワークは、Progressive Attention Fusion Network、Multi-task Contrastive Learning、Adaptive Multi-loss Aggregationの3つの新しいモジュールで構成されている。 標準の公開ベンチマークによる評価は、CLAMPが既存の最先端技術よりも一貫して優れていることを示している。
  論文  参考訳（メタデータ） (2025-07-21T11:49:57Z)
• Multi-task Visual Grounding with Coarse-to-Fine Consistency Constraints [15.541287957548771]
  本稿では,粗大な一貫性制約を持つビジュアルグラウンドアーキテクチャを提案する。 暗黙的かつ明示的なモデリングアプローチを2段階のフレームワークに統合する。 最先端のREC法とRIS法を実質的なマージンで大幅に上回っている。
  論文  参考訳（メタデータ） (2025-01-12T04:30:13Z)
• Unlocking the Potential of Text-to-Image Diffusion with PAC-Bayesian Theory [33.78620829249978]
  テキスト・ツー・イメージ(T2I)拡散モデルは、高忠実で多彩で視覚的にリアルな画像を生成することによって、生成モデルに革命をもたらした。 最近の注目度に基づく手法は、オブジェクトの包摂性や言語的バインディングを改善してきたが、それでも属性のミスバインディングのような課題に直面している。 そこで,ベイズ的手法を用いて,所望のプロパティを強制するために,注意分布を優先したカスタムプライドを設計する手法を提案する。 本手法では,アテンション機構を解釈可能なコンポーネントとして扱い,微粒化制御と属性オブジェクトアライメントの改善を実現している。
  論文  参考訳（メタデータ） (2024-11-25T10:57:48Z)
• MFCLIP: Multi-modal Fine-grained CLIP for Generalizable Diffusion Face Forgery Detection [64.29452783056253]
  フォトリアリスティック・フェイスジェネレーション手法の急速な発展は、社会やアカデミックにおいて大きな関心を集めている。 既存のアプローチは主に画像モダリティを用いて顔の偽造パターンをキャプチャするが、きめ細かいノイズやテキストのような他のモダリティは完全には探索されていない。 そこで本研究では,画像ノイズの多点にわたる包括的かつきめ細かなフォージェリートレースをマイニングする,MFCLIP(MF-modal Fine-fine-fine-fine-fine-fine CLIP)モデルを提案する。
  論文  参考訳（メタデータ） (2024-09-15T13:08:59Z)
• Learning Relation Alignment for Calibrated Cross-modal Retrieval [52.760541762871505]
  言語的・視覚的関係のセマンティックな距離を計測し,関係の一貫性を定量化するための新しい指標ISD(Intra-modal Self-attention Distance)を提案する。 ISDを最適化し、モダル間アライメントを介してモダル内アライメントを相互に調整するための正規化訓練法である、モダル内アライメント(IAIS)について述べる。
  論文  参考訳（メタデータ） (2021-05-28T14:25:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。