論文の概要: Are Textual Residuals Truly Complementary? Learning Visual Complements under Semantic Superposition for Visible-Infrared Person Re-Identification
- arxiv url: http://arxiv.org/abs/2610.32709v1
- Date: Fri, 23 Oct 2026 14:31:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.547682
- Title: Are Textual Residuals Truly Complementary? Learning Visual Complements under Semantic Superposition for Visible-Infrared Person Re-Identification
- Title(参考訳): テクスチュアル残留物は真に相補的であるか? 可視的赤外人物再同定のための意味的重ね合わせ下での視覚的補足学習
- Abstract要約: テキストエンハンスな視覚的赤外線人物再識別(VI-ReID)は、テキスト記述を利用して、赤外線イメージングにおいて弱い、または利用できない外観の手がかりを補う。
本稿では,高密度テキストの差分を選択的かつ視覚的な補間に変換する重ね合わせ認識残差を提案する。
Tri-SYSU-MM01、Tri-RegDB、Tri-LLCMの実験は、SARCが常にVI-ReIDのバックボーンを改善し、テキストアシスト手法と競合し続けていることを示している。
- 参考スコア(独自算出の注目度): 10.312815833801391
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text-enhanced visible-infrared person re-identification (VI-ReID) exploits textual descriptions to compensate for appearance cues that are weak or unavailable under infrared imaging. Existing methods construct compensation from differences between modality-oriented textual representations, implicitly assuming that textual differences are visually complementary. We revisit this assumption through semantic superposition and show that dense textual residuals may entangle useful appearance variations with redundant, making direct residual fusion unreliable. We propose Superposition-Aware Residual Calibration, which transforms dense textual differences into selective and visually grounded complements. Low-Interference Sparse Residual Learning represents modality-oriented text embeddings as sparse activation strengths over a shared dictionary, selects positive strength differences, and suppresses both dictionary-level overlap and activation-weighted interference to reconstruct a compact, selectively controlled residual. Visual Complement and Counterfactual Calibration further calibrates the residual against identity-specific RGB-IR visual discrepancies, encouraging retained semantics to provide meaningful compensation while preserving the residual structure. Experiments on Tri-SYSU-MM01, Tri-RegDB, and Tri-LLCM show that SARC consistently improves the VI-ReID backbone and remains competitive with text-assisted methods. Mechanism analyses show that SARC produces more concentrated textual variations, reduces dictionary-level feature interference, and improves residual-visual-complement alignment for most samples. These results demonstrate that effective cross-modal compensation requires textual residuals to be selectively represented and explicitly calibrated, rather than directly treated as visual complements. Code and implementation details will be released upon publication.
- Abstract(参考訳): テキストエンハンスな視覚的赤外線人物再識別(VI-ReID)は、テキスト記述を利用して、赤外線イメージングにおいて弱い、または利用できない外観の手がかりを補う。
既存の手法は、モダリティ指向のテキスト表現の相違から補償を構成し、テキストの相違が視覚的に相補的であることを暗黙的に仮定する。
意味的重ね合わせによってこの仮定を再検討し、高密度なテキスト残基が冗長な形で有用な外観変化を絡み合わせる可能性を示し、直接的残基融合は信頼性が低いことを示す。
本稿では,高密度テキストの差分を選択的かつ視覚的な補間に変換する重ね合わせ型残差校正法を提案する。
低干渉スパース残差学習は、モダリティ指向のテキスト埋め込みを共有辞書上のスパース活性化強度として表現し、正の強度差を選択し、辞書レベルの重複とアクティベーション重み付き干渉の両方を抑制して、コンパクトで選択的に制御された残差を再構成する。
Visual Complement and Counterfactual Calibrationは、アイデンティティ固有のRGB-IR視覚的不一致に対する残留を校正し、残存構造を維持しながら意味のある補償を与えるようにセマンティクスを奨励する。
Tri-SYSU-MM01、Tri-RegDB、Tri-LLCMの実験は、SARCが常にVI-ReIDのバックボーンを改善し、テキストアシスト手法と競合し続けていることを示している。
メカニズム解析により、SARCはより集中的なテキストのバリエーションを生成し、辞書レベルの特徴干渉を低減し、ほとんどのサンプルの残像補間アライメントを改善することが示された。
これらの結果は、視覚的補体として直接扱われるのではなく、テキストの残差を選択的に表現し、明確に校正する必要があることを示す。
コードと実装の詳細は公開時に公表される。
関連論文リスト
- Chaos in the Text: Revealing the Modality Preference in Mixed-Modality Retrievers [51.19177300042174]
その結果,レトリバーの性能はモダリティの構成に非常に敏感であることがわかった。
本稿では,各文書のテキスト,画像,融合されたテキストイメージビューを同値な肯定値として構成するTridentを紹介する。
実験により, TridentはCLIPおよびVLMアーキテクチャの混合モダリティ検索を改善することが示された。
論文 参考訳(メタデータ) (2026-10-08T12:21:08Z) - Unleashing the Power of Text: Text-Guided Flow Matching for Image Fusion under Complex Degradations [50.60539317126614]
現実的な劣化シナリオ下での赤外線可視画像融合は難しい課題である。
最近の研究は、テキストが劣化特性に関する事前情報を提供できることを示している。
テキスト誘導型潜在空間フローマッチングフレームワークであるTGFusionを提案する。
論文 参考訳(メタデータ) (2026-08-01T08:43:26Z) - ExACT: Exemplar-Driven Calibrated Refinement for Training-Free Visual Grounding in Remote Sensing Images [51.53960096934913]
リモートセンシングビジュアルグラウンドティング(RSVG)は、自由形式の自然言語記述を用いて、高解像度のRS画像中の特定の物体を特定することを目的としている。
マルチモーダル大言語モデル(MLLM)の最近の進歩は、そのようなオープン語彙RSVGに大きな可能性を示している。
Inemplar-driven Calibrated Refinement (ExACT)を提案する。
論文 参考訳(メタデータ) (2026-06-27T13:50:39Z) - Text as Illumination: Spatial Contrastive Retinex Learning for Language-guided Medical Image Segmentation [81.21550084361755]
言語誘導医療画像(LMIS)は解剖学的構造や病変の描写を改善する大きな可能性を示している。
既存の手法では、テキストと視覚的特徴間の暗黙的な相互作用や、モーダル・アライメントのための粗いきめ細かな監督に依存している。
本稿では,テキスト埋め込みを意味的な照明として扱う新しいフレームワークであるText-as-Illumination Retinex Network (TIRNet)を提案する。
論文 参考訳(メタデータ) (2026-06-26T07:27:48Z) - Reward-Guided Semantic Evolution for Test-time Adaptive Object Detection [82.2968697030677]
Grounding DINOのような視覚言語モデル(VLM)を用いたオープン語彙オブジェクト検出は、テスト時間分布シフト時の性能劣化に悩まされる。
Reward-Guided Semantic Evolution (RGSE) は、テスト時にテキストの埋め込みを直接洗練するトレーニング不要のフレームワークである。
論文 参考訳(メタデータ) (2026-05-06T06:17:41Z) - Towards Robust Text-to-Image Person Retrieval: Multi-View Reformulation for Semantic Compensation [11.925230809051143]
本稿では,Large Language Models (LLM) によって駆動される意味的補償フレームワーク (MVR) を提案する。
マルチビューのセマンティックな再構成と特徴補償によって、クロスモーダルな表現の一貫性を高める。
実験により,本手法はトレーニングを伴わずに元のモデルの精度を向上できることを示すとともに,3つのテキスト対人物検索データセット上でSOTAを実行する。
論文 参考訳(メタデータ) (2026-04-20T15:03:01Z) - Diverse Semantics-Guided Feature Alignment and Decoupling for Visible-Infrared Person Re-Identification [31.011118085494942]
Visible-Infrared Person Re-Identification (VI-ReID) は、可視像と赤外線像の相違が大きいため、課題である。
本稿では,異なるモーダルからの識別関連特徴をテキスト埋め込み空間に整列させるために,DSFAD(Diverse Semantics-Guided Feature Alignment and Decoupling)ネットワークを提案する。
論文 参考訳(メタデータ) (2025-05-01T15:55:38Z) - PV2TEA: Patching Visual Modality to Textual-Established Information
Extraction [59.76117533540496]
我々は、その視覚的モダリティをテキスト化された属性情報抽出器にパッチする。
PV2TEAは3つのバイアス低減方式を備えたエンコーダデコーダアーキテクチャである。
実世界のeコマースデータセットに関する実証的な結果は、絶対値11.74%(相対値20.97%)のF1の増加を示す。
論文 参考訳(メタデータ) (2023-06-01T05:39:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。