論文の概要: Mitigating Saliency Collapse: Robust Saliency-Aware Long-Text Image-Text Alignment

• arxiv url: http://arxiv.org/abs/2610.31005v2
• Date: Fri, 23 Oct 2026 09:09:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.235806
• Title: Mitigating Saliency Collapse: Robust Saliency-Aware Long-Text Image-Text Alignment
• Title（参考訳）: 画像テキストアライメント機能を備えたロバスト・サリエンシ対応型画像テキストアライメント
• Abstract要約: 細かなシーン理解には長文画像テキストアライメントが不可欠である。 画像とテキストのペアを相補的なサリエントとコンテキストのビューに分解するサリエンシ対応の微調整フレームワークであるRoSAを提案する。 我々はこれらの見解を明確に整合させ、健全な特徴と文脈的な特徴の両方で堅牢な表現を確保するために補助的な目的を用いる。
• 参考スコア（独自算出の注目度）: 13.364860671883848
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Long-text image-text alignment is essential for fine-grained scene understanding, yet existing methods mainly focus on extending context length or improving local alignment. We identify an overlooked failure mode, saliency collapse, where models over-rely on text that features visual prominence while underutilizing non-salient context. Consequently, retrieval performance degrades sharply when salient content is reduced, despite that the non-salient context remains informative. To address this, we propose RoSA, a saliency-aware finetuning framework that decomposes image-text pairs into complementary salient and contextual views, enabling joint learning of prominent and contextual semantics. We propose a modality-independent decomposition strategy to combine object-level visual saliency estimation with LLM-based text decomposition to bridge vision and language. We employ auxiliary objectives to explicitly align these views, ensuring robust representation with both salient and contextual features. RoSA greatly improves long-text retrieval and demonstrates strong robustness to saliency collapse across benchmarks. Moreover, our auxiliary objectives are plug-and-play, bringing consistent gains to existing tuning methods. Code and checkpoints are available at: https://github.com/intelligolabs/RoSA.
• Abstract（参考訳）: シーン理解には長文画像テキストアライメントが不可欠であるが,既存の手法は主にコンテキスト長の拡張や局所アライメントの改善に重点を置いている。 我々は、見過ごされた障害モード、サリエンシ崩壊を識別し、非サリエントコンテキストを過小評価しながら、視覚的優位性を特徴とするテキストを過度に再現する。 これにより、非塩分文脈が情報的でありながら、有意な内容が減少しても、検索性能は急激に低下する。 これを解決するために,画像とテキストのペアを相補的,文脈的なビューに分解し,目立った,文脈的なセマンティクスの同時学習を可能にする,唾液度対応の微調整フレームワークRoSAを提案する。 本稿では,LLMに基づくテキスト分解とオブジェクトレベルの視覚塩分率推定を組み合わせたモダリティ非依存分解手法を提案する。 我々はこれらの見解を明確に整合させ、健全な特徴と文脈的な特徴の両方で堅牢な表現を確保するために補助的な目的を用いる。 RoSAは長期テキスト検索を大幅に改善し、ベンチマーク間でのサリエンシ崩壊に対して強い堅牢性を示す。 さらに,我々の補助的目的はプラグ・アンド・プレイであり,既存のチューニング手法に一貫した利得をもたらす。 コードとチェックポイントは、https://github.com/intelligolabs/RoSA.comで入手できる。

関連論文リスト

• Chaos in the Text: Revealing the Modality Preference in Mixed-Modality Retrievers [51.19177300042174]
  その結果,レトリバーの性能はモダリティの構成に非常に敏感であることがわかった。 本稿では,各文書のテキスト,画像,融合されたテキストイメージビューを同値な肯定値として構成するTridentを紹介する。 実験により, TridentはCLIPおよびVLMアーキテクチャの混合モダリティ検索を改善することが示された。
  論文  参考訳（メタデータ） (2026-10-08T12:21:08Z)
• The Illusion of High Utility in Safety Alignment of Text-to-Image Diffusion Models [49.67749928542536]
  テキスト・ツー・イメージ(T2I)拡散モデルの安全性の確保は,有害な世代を抑えることを目的としている。 近年の手法は高いユーティリティで高い安全性を提供するように思われるが、この結論は主に粗いグローバルユーティリティメトリクスに依存している。 構造的評価で実用性を測定すると、この錯覚は壊れる:OnA(質問回答を用いたテキストから画像への忠実度評価) 本研究では,組込み拡散とプロンプト間関係構造を明示的に保存する安全アライメント目標であるStructureAware Geometric Regularization (SAGE)を提案する。
  論文  参考訳（メタデータ） (2026-07-01T04:00:27Z)
• Cross-modal Fuzzy Alignment Network for Text-Aerial Person Retrieval and A Large-scale Benchmark [25.298039211481044]
  テキスト・エアリアル・パーソナリティ検索は、目撃者の記述からUAVが捉えた画像のターゲットを特定することを目的としている。 UAV撮像画像は、視角や飛行高度の急激な変化により、劣化した視覚情報に悩まされることが多い。 本稿では, ファジィアライメントネットワークを新たに提案し, 高精度な粒度アライメントを実現する。
  論文  参考訳（メタデータ） (2026-03-21T09:02:44Z)
• Relational Contrastive Learning for Scene Text Recognition [22.131554868199782]
  従来の文脈情報は、異種テキストや背景から、テキストプリミティブの関係と解釈できると論じる。 本稿では,再構成,階層化,インタラクションによるテキスト関係の強化と,RCLSTR: Contrastive Learning for Scene Text Recognitionと呼ばれる統合フレームワークの設計を提案する。
  論文  参考訳（メタデータ） (2023-08-01T12:46:58Z)
• Contrasting Intra-Modal and Ranking Cross-Modal Hard Negatives to Enhance Visio-Linguistic Compositional Understanding [6.798129852396113]
  視覚言語モデル(VLM)における合成推論を改善するためのシンプルで効果的な手法を提案する。 本手法は,標準画像テキストコントラスト学習フレームワークを改良・拡張することで,利用可能なデータセットをより活用する。 CLIPと統合すると、最先端のベースラインよりも顕著な改善が得られます。
  論文  参考訳（メタデータ） (2023-06-15T03:26:28Z)
• TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
  Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。 分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
  論文  参考訳（メタデータ） (2023-06-06T03:37:41Z)
• Image-Specific Information Suppression and Implicit Local Alignment for Text-based Person Search [61.24539128142504]
  テキストベースの人物検索(TBPS)は,問合せテキストが与えられた画像ギャラリーから同一の身元で歩行者画像を検索することを目的とした課題である。 既存の手法の多くは、モダリティ間の微粒な対応をモデル化するために、明示的に生成された局所的な部分に依存している。 TBPSのためのマルチレベルアライメントネットワーク(MANet)を提案する。
  論文  参考訳（メタデータ） (2022-08-30T16:14:18Z)
• Fine-Grained Semantically Aligned Vision-Language Pre-Training [151.7372197904064]
  大規模な視覚言語による事前学習は、幅広い下流タスクにおいて顕著な進歩を見せている。 既存の手法は主に、画像とテキストのグローバルな表現の類似性によって、モーダル間のアライメントをモデル化する。 ゲーム理論的相互作用の新たな視点から, 微粒なセマンティックアライメントを学習する, 微粒なセマンティックなvisiOn-langUage PrEトレーニングフレームワークであるLOを導入する。
  論文  参考訳（メタデータ） (2022-08-04T07:51:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。