論文の概要: Incentive Noise and Structural Prior Infusion for Multi-modal Object Re-Identification
- arxiv url: http://arxiv.org/abs/2609.24539v1
- Date: Mon, 21 Sep 2026 13:10:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:01.294955
- Title: Incentive Noise and Structural Prior Infusion for Multi-modal Object Re-Identification
- Title（参考訳）: マルチモーダル物体再同定のためのインセンティブノイズと構造的事前注入
- Abstract要約: 多モードオブジェクトReIDは、異種画像モダリティ間の相補的な情報の恩恵を受ける。
最近の視覚言語アプローチは、テキスト記述をクリーンで決定論的信号として扱い、それら固有のノイズを見落としている。
本稿では,ポジティブ・インセンティブノイズ(ノイズ)と構造的プロンプト変調に着目した新しいフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 40.67719276903884
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-modal object Re-Identification (ReID) benefits from complementary information across heterogeneous imaging modalities. To further enrich semantic representation, text descriptions have recently been incorporated as an additional modality. However, recent vision-language approaches often treat text descriptions as clean, deterministic signals and overlook their inherent noise, including modality-mismatched phrases and semantically ambiguous expressions. Moreover, prevailing methods lack explicit mechanisms to reconcile fine-grained structural discrepancies between modalities, even after high-level semantic alignment. To address these challenges, we propose a novel framework centered on Positive-Incentive Noise (π-noise) and structured prompt modulation. First, the Semantic Cross-Modal Modulator harnesses task-aware π-noise, sampled from a distribution conditioned on both visual and text inputs, to perturb global tokens and enable semantics-guided cross-modal compensation. Second, the Structure-Aware Prompt Adapter injects learnable geometric priors via prompts to enhance spatial consistency. Third, the Context-Aware Sparse Fusion module distills structural context to guide adaptive fusion while shielding identity features from noisy local details. Experiments on three multi-modal ReID benchmarks demonstrate the effectiveness and robustness of our approach. The code is available at https://github.com/zw-absin/INSPI.
- Abstract（参考訳）: マルチモーダルオブジェクト再同定(ReID)は、異種画像モダリティ間の相補的な情報の恩恵を受ける。
意味表現をさらに強化するために、最近、追加のモダリティとしてテキスト記述が組み込まれている。
しかし、近年の視覚言語アプローチでは、テキスト記述をクリーンで決定論的信号として扱い、モダリティミスマッチしたフレーズや意味的にあいまいな表現など、それらの固有のノイズを無視することが多い。
さらに,高レベルのセマンティックアライメントの後にも,モダリティ間の微細な構造的相違を解消するための明確なメカニズムが欠如している。
これらの課題に対処するため,π雑音(π雑音)と構造的プロンプト変調に着目した新しい枠組みを提案する。
まず、セマンティック・クロスモーダル・モジュレータは、視覚入力とテキスト入力の両方で条件付けられた分布からサンプリングされたタスク対応のπノイズを利用して、グローバルトークンを摂動させ、セマンティックス誘導のクロスモーダル補償を可能にする。
第二に、Structure-Aware Prompt Adapterは、空間整合性を高めるためにプロンプトを介して学習可能な幾何学的事前を注入する。
第三に、Context-Aware Sparse Fusionモジュールは、ノイズの多い局所的な詳細からアイデンティティの特徴を遮蔽しながら、適応的な融合を誘導するために構造的コンテキストを蒸留する。
3つのマルチモーダルReIDベンチマーク実験により,提案手法の有効性とロバスト性を示した。
コードはhttps://github.com/zw-absin/INSPIで入手できる。
関連論文リスト
- MODAL: Multi-Modal Object Re-ID via Model-Driven Sparse Decoupling and Text-Image Differential Filtering [51.99452481869329]
MODALは、スパース符号理論と微分抑圧原理を組み合わせた、新しいマルチモーダルオブジェクト再識別フレームワークである。
MODALの中核となるコンポーネントは、モデル駆動のディープアンロール方式で開発されたマルチモーダル特徴スパースデカップリングモジュールである。
MODALは原則的な機能障害から恩恵を受け、不完全なモダリティシナリオにおけるパフォーマンス低下を自然に軽減します。
4つのデータセットの実験では、MODALが最先端のパフォーマンスを達成し、透明性が優れていることが示されている。
論文 参考訳（メタデータ） (2026-08-15T07:41:10Z) - Text-guided Feature Disentanglement for Cross-modal Gait Recognition [5.766298616867406]
歩行認識は、歩行パターンに基づいて個人を識別する生体計測技術であり、長距離で非侵襲的なシナリオにおいて利点を提供する。
現実のシナリオでは、LiDARやRGBカメラのようなモダリティを感知することが多く、LiDAR-Cross-Modal Gait認識は重要で困難なタスクである。
この課題に対処するため,テキスト誘導型クロスモーダル特徴分散ネットワークTCFDNetを提案する。
SUSTech1KとFreeGaitデータセットの大規模な実験は、TCFDNetが新しい最先端の結果を達成し、提案したモジュールの有効性を検証することを実証している。
論文 参考訳（メタデータ） (2026-05-29T03:16:44Z) - Deep Interest Mining with Cross-Modal Alignment for SemanticID Generation in Generative Recommendation [0.0]
Generative Recommendation (GR)は、数兆規模のデータを学習可能な語彙列に圧縮するためにセマンティックID(SID)に依存している。
既存の方法には3つの限界がある。
本稿では,Deep Contextual Interest Mining(DCIM),Cross-Modal Semantic Alignment(CMSA),Quality-Aware Reinforcement Mechanism(QARM)の3つの重要なイノベーションを統合する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-03T13:36:22Z) - STMI: Segmentation-Guided Token Modulation with Cross-Modal Hypergraph Interaction for Multi-Modal Object Re-Identification [14.549172375231729]
3つの主要コンポーネントからなる新しいマルチモーダル学習フレームワークSTMIを提案する。
マルチモーダルReIDシナリオにおけるSTMIフレームワークの有効性とロバスト性を実証する。
論文 参考訳（メタデータ） (2026-02-28T15:07:10Z) - Entropy-Aware Structural Alignment for Zero-Shot Handwritten Chinese Character Recognition [7.632962062462334]
ゼロショット手書き漢字認識は、急進的な意味合成を活用することで、目に見えない文字を認識することを目的としている。
本稿では,情報理論モデリングにより視覚と意味のギャップを埋めるエントロピー対応構造アライメントネットワークを提案する。
ICDAR 2013データセットで55.04%の精度を達成し,新しい最先端性能を実現する。
論文 参考訳（メタデータ） (2026-02-03T16:08:40Z) - Implicit Counterfactual Learning for Audio-Visual Segmentation [50.69377287012591]
我々は,非バイアスの相互理解を実現するために,暗黙の対実的枠組み(ICF)を提案する。
意味論の欠如により、異種表現は誤った一致につながる可能性がある。
モダリティ共有空間を確立するために,ビデオ,セグメント,フレームレベルを含む多粒性暗黙テキスト(MIT)をブリッジとして導入する。
論文 参考訳（メタデータ） (2025-07-28T11:46:35Z) - Graph with Sequence: Broad-Range Semantic Modeling for Fake News Detection [18.993270952535465]
BREAKは偽ニュース検出のための広範囲セマンティクスモデルである。
完全に接続されたグラフを利用して、包括的なセマンティクスをキャプチャする。
構造ノイズと特徴ノイズの両方を最小限に抑えるために、デュアルデノゲーションモジュールを使用している。
論文 参考訳（メタデータ） (2024-12-07T14:35:46Z) - Spatial Semantic Recurrent Mining for Referring Image Segmentation [63.34997546393106]
高品質なクロスモーダリティ融合を実現するために,Stextsuperscript2RMを提案する。
これは、言語特徴の分散、空間的意味的再帰的分離、パーセマンティック・セマンティック・バランシングという三部作の作業戦略に従う。
提案手法は他の最先端アルゴリズムに対して好適に機能する。
論文 参考訳（メタデータ） (2024-05-15T00:17:48Z) - Object Segmentation by Mining Cross-Modal Semantics [68.88086621181628]
マルチモーダル特徴の融合と復号を導くために,クロスモーダル・セマンティックスをマイニングする手法を提案する。
具体的には,(1)全周減衰核融合(AF),(2)粗大デコーダ(CFD),(3)多層自己超越からなる新しいネットワークXMSNetを提案する。
論文 参考訳（メタデータ） (2023-05-17T14:30:11Z) - Enhanced Modality Transition for Image Captioning [51.72997126838352]
MTM(Modality Transition Module)を構築し、言語モデルに転送する前に視覚的機能をセマンティック表現に転送します。
トレーニング段階では、モダリティ遷移ネットワークは提案されたモダリティ損失によって最適化される。
提案手法の有効性を示すMS-COCOデータセットを用いて実験を行った。
論文 参考訳（メタデータ） (2021-02-23T07:20:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。