論文の概要: Hierarchical Fine-Grained Cross-Modal Alignment via Dynamic Granularity Discovery and Optimal Transport

• arxiv url: http://arxiv.org/abs/2610.30912v1
• Date: Thu, 22 Oct 2026 08:33:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.28384
• Title: Hierarchical Fine-Grained Cross-Modal Alignment via Dynamic Granularity Discovery and Optimal Transport
• Title（参考訳）: 動的粒度発見と最適輸送による階層的細粒クロスモーダルアライメント
• Abstract要約: 本稿では,HFCMAと呼ばれる階層的な細粒度クロスモーダルアライメントフレームワークを提案する。 Flickr30KとMS-COCOの実験では、HFCMAは動的セマンティックユニット構築とOTベースの構造化マッチングを効果的に組み合わせている。
• 参考スコア（独自算出の注目度）: 0.8374972423316773
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-grained image-text retrieval requires a model not only to assess global semantic consistency between an image and a text, but also to model visual evidence for local textual semantics, including objects, attributes, quantities, actions, and relations, so as to distinguish semantically similar candidates. Existing methods commonly use fixed image patches, detected regions, or text tokens as the basic matching units and then aggregate local interactions through max pooling, cross attention, or similarity accumulation. Such strategies remain limited in semantic unit construction and global matching consistency. This paper proposes a hierarchical fine-grained cross-modal alignment framework, termed HFCMA. The framework progressively transforms low-level patch and token representations into adaptive visual regions and textual phrases, and then performs structured region-phrase matching within a global retrieval scoring process. Specifically, HFCMA first adopts dynamic granularity discovery (DGD) to aggregate raw patches and tokens into semantically compact visual regions and textual phrases. It then formulates region-phrase matching as an entropy-regularized optimal transport problem, thereby estimating a structured alignment matrix under global marginal constraints. To reduce background noise and local semantic drift, HFCMA further introduces background debiasing, textual importance weighting, and prototype consistency regularization. Experiments on Flickr30K and MS-COCO show that HFCMA effectively combines dynamic semantic unit construction with OT-based structured matching under a dual-encoder retrieval framework. The resulting fine-grained score provides structured local alignment information for candidate ranking and improves the discrimination of subtle semantic differences.
• Abstract（参考訳）: きめ細かい画像テキスト検索は、画像とテキスト間のグローバルな意味的一貫性を評価するだけでなく、オブジェクト、属性、量、行動、関係などを含む局所的なテキスト意味論の視覚的証拠をモデル化し、意味的に類似した候補を区別するモデルを必要とする。 既存の手法では、固定画像パッチ、検出された領域、またはテキストトークンを基本的なマッチング単位として使用し、最大プール、クロスアテンション、類似性蓄積を通じて局所的な相互作用を集約する。 このような戦略は、意味的単位の構成と大域的整合性に制限される。 本稿では,HFCMAと呼ばれる階層的な細粒度クロスモーダルアライメントフレームワークを提案する。 このフレームワークは、低レベルパッチとトークン表現を適応的な視覚領域とテキストフレーズに段階的に変換し、グローバル検索スコアリングプロセス内で構造化された領域フレーズマッチングを実行する。 具体的には、HFCMAはまず動的粒度発見(DGD)を採用し、生のパッチやトークンを意味的にコンパクトな視覚領域やテキストのフレーズに集約する。 次に、領域-フレーズマッチングをエントロピー規則化された最適輸送問題として定式化し、大域境界制約の下で構造的アライメント行列を推定する。 バックグラウンドノイズと局所的なセマンティックドリフトを低減するため、HFCMAはさらにバックグラウンドデバイアス、テキストの重要度重み付け、プロトタイプの一貫性正則化を導入している。 Flickr30KとMS-COCOの実験では、HFCMAは動的セマンティックユニット構築とOTベースの構造化マッチングを、二重エンコーダ検索フレームワークで効果的に組み合わせている。 その結果得られた微粒なスコアは、候補ランキングのための構造化された局所的なアライメント情報を提供し、微妙な意味的差異の識別を改善する。

関連論文リスト

• S$^3$Geo: Structure-Semantic Synergistic Learning for Cross-View Geo-Localization [7.834035168358734]
  クロスビュージオローカライゼーション(CVGL)は、異なる視点から撮影された画像とマッチングすることで、地理的な位置を推定することを目的としている。 既存の手法は主に視覚表現に依存しているが、しばしば細粒度の構造的対応と意味的先行を共同でモデル化することができない。 textbfS$3$Geoは、クロスビューマッチングのための構造意味の相乗的学習フレームワークである。
  論文  参考訳（メタデータ） (2026-10-08T09:51:31Z)
• Seg4Diff: Unveiling Open-Vocabulary Segmentation in Text-to-Image Diffusion Transformers [56.76198904599581]
  テキストと画像の拡散モデルは、言語翻訳において優れているため、モーダル間の注意機構を通じて暗黙的に概念を基礎づける。 近年のマルチモーダル拡散トランスフォーマーでは, 共用画像とテキストトークンを導入し, よりリッチでスケーラブルなクロスモーダルアライメントを実現している。 MM-DiTの注意構造を分析するための体系的フレームワークであるSeg4Diffを導入し,テキストから画像への意味情報の伝達方法に着目した。
  論文  参考訳（メタデータ） (2025-09-22T17:59:54Z)
• HCMA: Hierarchical Cross-model Alignment for Grounded Text-to-Image Generation [27.770224730465237]
  画像生成のための階層的クロスモーダルアライメント(HCMA)フレームワークを提案する。 HCMAは2つのアライメントモジュールを各拡散サンプリングステップに統合する。 MS-COCO 2014検証セットの実験では、HCMAが最先端のベースラインを超えたことが示されている。
  論文  参考訳（メタデータ） (2025-05-10T05:02:58Z)
• FGAseg: Fine-Grained Pixel-Text Alignment for Open-Vocabulary Semantic Segmentation [63.31007867379312]
  Open-vocabulary segmentationは、テキストベースの記述に基づいて特定の領域やオブジェクトを識別し、分割することを目的としている。 一般的な解決策は、CLIPのような強力な視覚言語モデル(VLM)を活用して、視覚とテキスト情報のギャップを埋めることである。 対照的に、セグメンテーションタスクは細かいピクセルレベルのアライメントと詳細なカテゴリ境界情報を必要とする。 細粒度画素テキストアライメントとカテゴリ境界補間のためのモデルFGAsegを提案する。
  論文  参考訳（メタデータ） (2025-01-01T15:47:04Z)
• DIAL: Dense Image-text ALignment for Weakly Supervised Semantic Segmentation [8.422110274212503]
  弱教師付きセマンティックセグメンテーションアプローチは通常、初期シード生成にクラスアクティベーションマップ(CAM)に依存する。 DALNetは、テキストの埋め込みを利用して、さまざまなレベルの粒度のオブジェクトの包括的理解と正確な位置決めを強化する。 このアプローチは特に、シングルステージの手法として、より効率的なエンドツーエンドプロセスを可能にします。
  論文  参考訳（メタデータ） (2024-09-24T06:51:49Z)
• Spatial Semantic Recurrent Mining for Referring Image Segmentation [63.34997546393106]
  高品質なクロスモーダリティ融合を実現するために,Stextsuperscript2RMを提案する。 これは、言語特徴の分散、空間的意味的再帰的分離、パーセマンティック・セマンティック・バランシングという三部作の作業戦略に従う。 提案手法は他の最先端アルゴリズムに対して好適に機能する。
  論文  参考訳（メタデータ） (2024-05-15T00:17:48Z)
• LAW-Diffusion: Complex Scene Generation by Diffusion with Layouts [107.11267074981905]
  LAW拡散(LAW-Diffusion)と呼ばれる意味制御可能なレイアウト・AWare拡散モデルを提案する。 LAW拡散は、特にコヒーレントな対象関係を持つ最先端の生成性能をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-08-13T08:06:18Z)
• Image-Specific Information Suppression and Implicit Local Alignment for Text-based Person Search [61.24539128142504]
  テキストベースの人物検索(TBPS)は,問合せテキストが与えられた画像ギャラリーから同一の身元で歩行者画像を検索することを目的とした課題である。 既存の手法の多くは、モダリティ間の微粒な対応をモデル化するために、明示的に生成された局所的な部分に依存している。 TBPSのためのマルチレベルアライメントネットワーク(MANet)を提案する。
  論文  参考訳（メタデータ） (2022-08-30T16:14:18Z)
• A Unified Architecture of Semantic Segmentation and Hierarchical Generative Adversarial Networks for Expression Manipulation [52.911307452212256]
  セマンティックセグメンテーションと階層的GANの統一アーキテクチャを開発する。 我々のフレームワークのユニークな利点は、将来的なセマンティックセグメンテーションネットワーク条件を生成モデルに渡すことである。 我々は,AffectNetとRaFDの2つの難解な表情翻訳ベンチマークとセマンティックセグメンテーションベンチマークであるCelebAMask-HQについて評価を行った。
  論文  参考訳（メタデータ） (2021-12-08T22:06:31Z)
• Step-Wise Hierarchical Alignment Network for Image-Text Matching [29.07229472373576]
  画像テキストマッチングを多段階のクロスモーダル推論プロセスに分解するステップワイズ階層アライメントネットワーク(SHAN)を提案する。 具体的には,まず,グローバル・ローカル・グローバル・グローバル・グローバル・グローバル・アライメントを文脈レベルで逐次実行し,フラグメントレベルでローカル・ローカル・アライメントを実現する。
  論文  参考訳（メタデータ） (2021-06-11T17:05:56Z)
• Contextual-Relation Consistent Domain Adaptation for Semantic Segmentation [44.19436340246248]
  本稿では,革新的局所文脈相関整合ドメイン適応手法を提案する。 グローバルレベルのアライメントにおいて、地域レベルのコンピテンシーを達成することを目的としている。 実験では, 最先端手法と比較して, セグメンテーション性能が優れていることを示した。
  論文  参考訳（メタデータ） (2020-07-05T19:00:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。