論文の概要: Chaos in the Text: Revealing the Modality Preference in Mixed-Modality Retrievers

• arxiv url: http://arxiv.org/abs/2610.11816v1
• Date: Thu, 08 Oct 2026 12:21:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.019316
• Title: Chaos in the Text: Revealing the Modality Preference in Mixed-Modality Retrievers
• Title（参考訳）: テキストにおけるカオス:混合モダリティレトリバーにおけるモダリティの選好を明らかにする
• Abstract要約: その結果,レトリバーの性能はモダリティの構成に非常に敏感であることがわかった。 本稿では,各文書のテキスト,画像,融合されたテキストイメージビューを同値な肯定値として構成するTridentを紹介する。 実験により, TridentはCLIPおよびVLMアーキテクチャの混合モダリティ検索を改善することが示された。
• 参考スコア（独自算出の注目度）: 51.19177300042174
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dense retrievers have made significant progress on text and image corpora, but whether these capabilities extend reliably to mixed corpora containing text, image, and fused text-image documents remains unclear. In this paper, we systematically examine retrievers across architectures and find that their performance is highly sensitive to modality composition. As image documents are progressively replaced with semantically corresponding text representations, retrieval performance follows a pronounced V-shaped curve, remaining strong on single-modality corpora but degrading substantially when modalities coexist. In particular, irrelevant text causes more severe degradation than an equal number of irrelevant images, a phenomenon we term Chaos in the Text. Further analysis reveals modality preference, whereby text representations receive systematically higher similarity scores, allowing irrelevant text to outrank relevant images. To mitigate this bias, we introduce Trident, which constructs text, image, and fused text-image views of each document as co-equal positives and jointly optimizes relevance discrimination and positive-view balance through Multi-Positive View InfoNCE. Experiments across visual document and natural image benchmarks show that trident improves mixed-modality retrieval on both CLIP-based and VLM-based architectures, reduces sensitivity to modality composition and text distractors, and increases average single-modality retrieval performance.
• Abstract（参考訳）: デンスレトリバーはテキストと画像コーパスに大きな進歩を遂げているが、これらがテキスト、画像、融合されたテキストイメージドキュメントを含む混合コーパスに確実に拡張されるかどうかは不明だ。 本稿では,アーキテクチャ全体にわたるレトリバーを体系的に検討し,それらの性能がモダリティ構成に非常に敏感であることを示す。 画像文書が意味的に対応するテキスト表現に置き換わるにつれて、検索性能はV字型曲線に従い、単一のモダリティコーパスに強いが、モダリティが共存する場合には著しく低下する。 特に、無関係なテキストは、同数の無関係な画像よりも深刻な劣化を引き起こす。 さらに分析すると、モダリティの嗜好が明らかになり、そこではテキスト表現が体系的に高い類似度スコアを受け取り、無関係なテキストが関連した画像を上回ることができる。 このバイアスを軽減するためにTridentを導入し、各文書のテキスト、画像、融合したテキストイメージビューを同値な正として構築し、マルチポジティヴビューInfoNCEを通して関連性判別と肯定的なビューバランスを共同で最適化する。 ビジュアル文書と自然画像のベンチマークによる実験により、トリデントはCLIPベースとVLMベースのアーキテクチャの両方での混合モダリティ検索を改善し、モダリティ構成やテキストイントラクタに対する感度を低減し、平均的な単一モダリティ検索性能を向上させることが示されている。

関連論文リスト

• Deeply Interleaved Text-Image Contexts for Multimodal LLMs Assessment [57.41731607488101]
  TIC-Benchは、テキストイメージの手がかりを統合し、深くインターリーブされたコンテキストの中で真実の事実を復元するモデルの能力を評価するように設計されている。 また,10種類のMLLMを評価し,人的専門家と比較してかなりの性能差が認められた。
  論文  参考訳（メタデータ） (2026-09-02T13:19:51Z)
• FINEMATCH: Aspect-based Fine-grained Image and Text Mismatch Detection and Correction [66.98008357232428]
  我々は新しいアスペクトベースのきめ細かいテキストと画像マッチングベンチマークであるFineMatchを提案する。 FineMatchはテキストと画像のミスマッチの検出と修正に焦点を当てている。 FineMatchで訓練されたモデルは、きめ細かいテキストや画像のミスマッチを検出する能力の向上を示す。
  論文  参考訳（メタデータ） (2024-04-23T03:42:14Z)
• Dynamic Visual Semantic Sub-Embeddings and Fast Re-Ranking [0.5242869847419834]
  情報エントロピーを低減するために動的ビジュアルセマンティックサブエンベッドディングフレームワーク(DVSE)を提案する。 生成した候補埋め込みに様々な意味的変動を捉えるよう促すため,混合分布を構築した。 3つのベンチマークデータセット上の4つの画像特徴エンコーダと2つのテキスト特徴エンコーダを用いて,既存のセットベース手法と比較した。
  論文  参考訳（メタデータ） (2023-09-15T04:39:11Z)
• Text-guided Image Restoration and Semantic Enhancement for Text-to-Image Person Retrieval [12.057465578064345]
  テキスト・ツー・イメージ・パーソナリティ検索(TIPR)の目的は、与えられたテキスト記述に従って特定の人物画像を取得することである。 本稿では,人物画像と対応するテキスト間のきめ細かいインタラクションとアライメントを構築するための新しいTIPRフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-18T08:23:46Z)
• Efficient Token-Guided Image-Text Retrieval with Consistent Multimodal Contrastive Training [33.78990448307792]
  画像テキスト検索は、視覚と言語間の意味的関係を理解するための中心的な問題である。 以前の作品では、全体像とテキストの粗い粒度の表現を単に学習するか、画像領域またはピクセルとテキストワードの対応を精巧に確立する。 本研究では、粗い表現学習ときめ細かい表現学習を統一した枠組みに組み合わせて、新しい視点から画像テキストの検索を行う。
  論文  参考訳（メタデータ） (2023-06-15T00:19:13Z)
• Image-Specific Information Suppression and Implicit Local Alignment for Text-based Person Search [61.24539128142504]
  テキストベースの人物検索(TBPS)は,問合せテキストが与えられた画像ギャラリーから同一の身元で歩行者画像を検索することを目的とした課題である。 既存の手法の多くは、モダリティ間の微粒な対応をモデル化するために、明示的に生成された局所的な部分に依存している。 TBPSのためのマルチレベルアライメントネットワーク(MANet)を提案する。
  論文  参考訳（メタデータ） (2022-08-30T16:14:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。