論文の概要: SLAP: Selective Local Vision-Language Alignment for Fish Re-Identification via Partial Optimal Transport
- arxiv url: http://arxiv.org/abs/2608.08840v1
- Date: Sun, 09 Aug 2026 18:04:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.967342
- Title: SLAP: Selective Local Vision-Language Alignment for Fish Re-Identification via Partial Optimal Transport
- Title(参考訳): SLAP: 部分的最適輸送による魚の再同定のための選択的局所視覚領域アライメント
- Abstract要約: 個々の魚の再識別(ReID)は、身元識別の手がかりが特定の身体領域に局所化されることの多い、きめ細かい認識問題である。
本稿では,視覚パッチと即時埋め込みの局所的対応性を確立するための局所視覚言語アライメントフレームワークを提案する。
- 参考スコア(独自算出の注目度): 2.574393697080417
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Individual fish re-identification (ReID) is a fine-grained recognition problem in which identity-discriminative cues are often localized to specific body regions rather than distributed uniformly across the animal. Nevertheless, recent CLIP-based ReID methods rely predominantly on global image-text alignment, allowing background and weakly discriminative regions to contribute to cross-modal supervision. We propose a selective local vision-language alignment framework that establishes localized correspondences between visual patch embeddings and multiple identity-aware prompt embeddings through Partial Optimal Transport (POT). Rather than enforcing exhaustive correspondence, POT enables selective matching between visual patches and prompt embeddings, allowing the model to emphasize the strongest cross-modal correspondences while avoiding forced alignment of weakly matching regions, thereby yielding more discriminative visual representations for retrieval. The framework is trained end-to-end, while only the adapted visual encoder is retained during inference. Experiments on the longitudinal Symphodus melops dataset demonstrate consistent improvements over recent CLIP-based ReID methods under both closed-set and open-set evaluation protocols. Additional evaluations on other datasets further demonstrate the generalization capability of the proposed method across diverse marine ReID benchmarks.
- Abstract(参考訳): 個々の魚の再識別(ReID)は、動物全体に均一に分布するのではなく、個体識別の手がかりが特定の身体領域に局所化されることの多い、きめ細かい認識問題である。
それでも、最近のCLIPベースのReID手法は、大域的な画像テキストアライメントに大きく依存しており、背景および弱い識別領域が相互監視に寄与する。
本稿では、視覚パッチの埋め込みと、POT(Partial Optimal Transport)による複数のID認識プロンプトの埋め込みとの局所的対応を確立するための、局所的視覚言語アライメントフレームワークを提案する。
徹底的な対応を強制するのではなく、POTは視覚パッチと埋め込みの選択的マッチングを可能にし、弱いマッチング領域の強制的なアライメントを避けながら、モデルが最強のクロスモーダル対応を強調することによって、検索のためのより差別的な視覚表現が得られる。
フレームワークはエンドツーエンドでトレーニングされ、適応されたビジュアルエンコーダのみが推論中に保持される。
縦型Symphodus melopsデータセットの実験は、CLIPベースのReID法に対して、クローズドセットとオープンセットの両方の評価プロトコルで一貫した改善を示した。
他のデータセットに対するさらなる評価は、様々な海洋ReIDベンチマークにまたがる提案手法の一般化能力をさらに示すものである。
関連論文リスト
- One Patch Is Enough: Reinforcement-Optimized Visual Token Grounding for MLLM-Based Scene Text Spotting [51.09550363815034]
シーンテキストスポッティングはテキスト認識と空間的局所化の間に高精度なアライメントを必要とする。
本研究では,個々のテキストインスタンスを単一のアンカー視覚トークンでルーティングする視覚中心のフレームワークであるSingle-Patch Text Spotting (SPaTS)を提案する。
SPaTS はフロンティアのクローズドソースMLLM と OCR MLLM の両方で一貫した性能を示し,その性能を著しく向上させる。
論文 参考訳(メタデータ) (2026-07-30T09:17:48Z) - From Global to Local: Rethinking CLIP Feature Aggregation for Person Re-Identification [20.74226476678832]
中間パッチトークンとCLIPのテキスト埋め込み空間でパラメータ化されたアンカーベクトルを整列することで、同一性表現を再構築するSAGA-ReIDを提案する。
制御された実験は、2つの定性的に異なる条件下で凝集機構を分離する。
ベンチマーク評価では、CLIP-ReIDよりも標準設定と無視設定で一貫したゲインを確認している。
論文 参考訳(メタデータ) (2026-04-24T03:37:21Z) - Hierarchical Identity Learning for Unsupervised Visible-Infrared Person Re-Identification [81.3063589622217]
教師なし可視赤外線人物再識別(USVI-ReID)は、ラベルのないクロスモーダルな人物データセットからモダリティ不変の画像特徴を学習することを目的としている。
論文 参考訳(メタデータ) (2025-09-15T05:10:43Z) - Generalized Decoupled Learning for Enhancing Open-Vocabulary Dense Perception [71.26728044621458]
DeCLIPは、CLIPを強化する新しいフレームワークで、自己認識モジュールを分離して、それぞれコンテンツ’と“コンテキスト’の機能を取得する。
2D検出とセグメンテーション、3Dインスタンスのセグメンテーション、ビデオインスタンスのセグメンテーション、6Dオブジェクトのポーズ推定など、幅広いタスクにわたる最先端のパフォーマンスを一貫して達成する。
論文 参考訳(メタデータ) (2025-08-15T06:43:51Z) - Weakly-Supervised Image Forgery Localization via Vision-Language Collaborative Reasoning Framework [16.961220047066792]
ViLaCoは視覚言語の共同推論フレームワークで、事前訓練された視覚言語モデルから抽出した補助的セマンティックインスペクションを導入する。
ViLaCoは既存のWSIFL法を大幅に上回り、検出精度とローカライゼーション精度の両方で最先端の性能を達成する。
論文 参考訳(メタデータ) (2025-08-02T12:14:29Z) - ResCLIP: Residual Attention for Training-free Dense Vision-language Inference [27.551367463011008]
CLIPの非最終層における自己注意の相互相関も局在特性を示す。
本稿では, 中間層からの相互相関自己アテンションを利用して, 最終ブロックの注意を再認識するResidual Cross-correlation Self-attention (RCS) モジュールを提案する。
RCSモジュールは空間情報を効果的に再構成し、高密度視覚言語推論のためのCLIP内の局在電位を解放する。
論文 参考訳(メタデータ) (2024-11-24T14:14:14Z) - From Global to Local: Multi-scale Out-of-distribution Detection [129.37607313927458]
アウト・オブ・ディストリビューション(OOD)検出は、イン・ディストリビューション(ID)トレーニングプロセス中にラベルが見られない未知のデータを検出することを目的としている。
近年の表現学習の進歩により,距離に基づくOOD検出がもたらされる。
グローバルな視覚情報と局所的な情報の両方を活用する第1のフレームワークであるマルチスケールOOD検出(MODE)を提案する。
論文 参考訳(メタデータ) (2023-08-20T11:56:25Z) - Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。
これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。
そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
論文 参考訳(メタデータ) (2021-09-24T07:20:13Z) - Receptive Multi-granularity Representation for Person Re-Identification [46.99913453669368]
本稿では,ストライプに基づく特徴学習を容易にするために,受動的多粒性学習手法を提案する。
2分岐ネットワークアーキテクチャにより、識別的アイデンティティ表現のスケールが異なることが分かる。
本手法は, Market-1501 ベンチマークにおいて96.2%@Rank-1 または 90.0%@mAP の最先端精度を実現する。
論文 参考訳(メタデータ) (2020-08-31T09:26:08Z) - Adaptive Deep Metric Embeddings for Person Re-Identification under
Occlusions [17.911512103472727]
本稿では,地域間の空間的依存関係を学習し,Long Short-Term Memory (LSTM) に基づく歩行者画像の識別特徴表現を抽出する新しい人物ReID法を提案する。
提案した損失により、ディープニューラルネットワークは、識別的メートル法埋め込みを適応的に学習することができ、未確認の人物の識別能力を大幅に向上する。
論文 参考訳(メタデータ) (2020-02-07T03:18:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。