論文の概要: LaMER: Language-Conditioned Multi-Expert Routing for Weakly Supervised Referring Expression Comprehension
- arxiv url: http://arxiv.org/abs/2610.26404v1
- Date: Mon, 19 Oct 2026 13:43:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 17:56:41.870451
- Title: LaMER: Language-Conditioned Multi-Expert Routing for Weakly Supervised Referring Expression Comprehension
- Title(参考訳): LaMER:Language-Conditioned Multi-Expert Routing for Weakly Supervised Referring Expression Comprehension
- Abstract要約: Referring Expression(REC)は、自然言語表現によって記述された画像領域をローカライズする。
凍結した4つの専門家エンコーダを集約する弱い教師付きRECフレームワークであるLaMERを提案する。
LaMER は DViN と WeakMCN を最大 16.49 と 14.49 に上回り、各コンポーネントを検証している。
- 参考スコア(独自算出の注目度): 2.2657699786812535
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Referring Expression Comprehension (REC) localizes the image region described by a natural language expression, underpinning applications such as autonomous navigation, human-robot interaction, and medical image analysis. Under weak supervision, REC is challenged by the visual-linguistic semantic gap and the difficulty of inferring region-text correspondences from coarse image-level signals alone. Moreover, no single visual encoder captures all complementary properties---semantic alignment, fine-grained texture, and boundary awareness---while naively fusing multiple pretrained encoders yields heterogeneous, hard-to-reconcile representations. We propose LaMER, a weakly supervised REC framework that dynamically aggregates four frozen expert encoders through a language-conditioned Cross-Modal Routing Fusion module, adapting expert selection to each referring expression without instance-level bounding-box supervision. A Cell-Text Matching Head with Negative Anchor Augmentation, trained with a multi-objective loss combining contrastive, reconstruction, alignment, and load-balancing terms, further stabilizes optimization. LaMER achieves 77.67\%, 62.81\%, and 69.49\% Acc@IoU\(\geq 0.5\) on RefCOCO, RefCOCO+, and RefCOCOg, surpassing DViN and WeakMCN by up to 16.49 and 14.49 points, with ablations validating each component.
- Abstract(参考訳): Referring Expression Comprehension (REC)は、自然言語表現によって記述される画像領域をローカライズし、自律ナビゲーション、人間とロボットの相互作用、医療画像解析などの応用を支える。
弱い監督下では、RECは視覚言語的な意味ギャップと、粗い画像レベルの信号のみから領域文対応を推測することが困難である。
さらに、単一の視覚エンコーダは、セマンティックアライメント、きめ細かいテクスチャ、境界認識など、すべての相補的な特性をキャプチャすることはない。
言語条件のクロスモーダルルーティング・フュージョンモジュールを通じて動的に4つのフリーズ・エキスパート・エンコーダを集約し,各参照表現に対して,インスタンスレベルのバウンディングボックスを監督せずに専門家の選択を適応させる,弱制御型RECフレームワークであるLaMERを提案する。
負のアンカー拡張を持つセルテキストマッチングヘッドは、コントラスト、再構成、アライメント、ロードバランシングを組み合わせた多目的損失で訓練され、最適化をさらに安定化させる。
LaMERは、RefCOCO、RefCOCO+、RefCOCOgで77.67\%、62.81\%、69.49\%のAcc@IoU\(\geq 0.5\)を達成し、DViNとWeakMCNを最大16.49ポイント、14.49ポイント超えた。
関連論文リスト
- Dual Anchors, Do It Better: Hierarchical Group Merging for Zero-Shot Anomaly Detection [14.410822772754658]
ゼロショット異常検出(ZSAD)は、見えない領域の異常を特定することを目的としている。
ほとんどのCLIPベースのZSADメソッドは、テキストモダリティのみにセマンティクスをアンロックする。
本稿では,従来のテキストアンカーと階層的な画像アンカーを補完するDual-Anchorフレームワークを提案する。
論文 参考訳(メタデータ) (2026-08-12T11:21:14Z) - Text as Illumination: Spatial Contrastive Retinex Learning for Language-guided Medical Image Segmentation [81.21550084361755]
言語誘導医療画像(LMIS)は解剖学的構造や病変の描写を改善する大きな可能性を示している。
既存の手法では、テキストと視覚的特徴間の暗黙的な相互作用や、モーダル・アライメントのための粗いきめ細かな監督に依存している。
本稿では,テキスト埋め込みを意味的な照明として扱う新しいフレームワークであるText-as-Illumination Retinex Network (TIRNet)を提案する。
論文 参考訳(メタデータ) (2026-06-26T07:27:48Z) - From Global to Local: Rethinking CLIP Feature Aggregation for Person Re-Identification [20.74226476678832]
中間パッチトークンとCLIPのテキスト埋め込み空間でパラメータ化されたアンカーベクトルを整列することで、同一性表現を再構築するSAGA-ReIDを提案する。
制御された実験は、2つの定性的に異なる条件下で凝集機構を分離する。
ベンチマーク評価では、CLIP-ReIDよりも標準設定と無視設定で一貫したゲインを確認している。
論文 参考訳(メタデータ) (2026-04-24T03:37:21Z) - Multi-Perspective Subimage CLIP with Keyword Guidance for Remote Sensing Image-Text Retrieval [18.55080473948215]
MPS-CLIPは、検索パラダイムをグローバルマッチングからキーワード誘導された微粒化アライメントにシフトさせるために設計された、パラメータ効率のよいフレームワークである。
RSICDとRSITMDベンチマークの実験では、MPS-CLIPは35.18%、48.40%がリコールである。
論文 参考訳(メタデータ) (2026-01-26T06:16:53Z) - SSVP: Synergistic Semantic-Visual Prompting for Industrial Zero-Shot Anomaly Detection [55.54007781679915]
本稿では,多種多様な視覚的エンコーディングを効率よく融合させ,モデルの微粒化知覚を高めるSynergistic Semantic-Visual Prompting (SSVP)を提案する。
SSVPは、MVTec-AD上で93.0%のImage-AUROCと92.2%のPixel-AUROCで最先端のパフォーマンスを達成し、既存のゼロショットアプローチを著しく上回っている。
論文 参考訳(メタデータ) (2026-01-14T04:42:19Z) - HCCM: Hierarchical Cross-Granularity Contrastive and Matching Learning for Natural Language-Guided Drones [29.663691563826095]
自然言語誘導ドローン(NLGD)は、ターゲットマッチングやナビゲーションといったタスクに新しいパラダイムを提供する。
ドローンシナリオにおける広い視野と複雑な構成意味論は、視覚言語理解の課題を提起する。
階層的クロスグラニュラリティコントラストとマッチング学習フレームワークを2つのコンポーネントで提案する。
論文 参考訳(メタデータ) (2025-08-29T11:50:24Z) - Cross-Modal Bidirectional Interaction Model for Referring Remote Sensing Image Segmentation [50.433911327489554]
リモートセンシング画像セグメンテーション(RRSIS)の目標は、参照式によって識別された対象オブジェクトの画素レベルマスクを生成することである。
上記の課題に対処するため、クロスモーダル双方向相互作用モデル(CroBIM)と呼ばれる新しいRRSISフレームワークが提案されている。
RRSISの研究をさらに推し進めるために、52,472個の画像言語ラベル三重項からなる新しい大規模ベンチマークデータセットRISBenchを構築した。
論文 参考訳(メタデータ) (2024-10-11T08:28:04Z) - Spatial Semantic Recurrent Mining for Referring Image Segmentation [63.34997546393106]
高品質なクロスモーダリティ融合を実現するために,Stextsuperscript2RMを提案する。
これは、言語特徴の分散、空間的意味的再帰的分離、パーセマンティック・セマンティック・バランシングという三部作の作業戦略に従う。
提案手法は他の最先端アルゴリズムに対して好適に機能する。
論文 参考訳(メタデータ) (2024-05-15T00:17:48Z) - Towards Generalizable Referring Image Segmentation via Target Prompt and
Visual Coherence [48.659338080020746]
Referring Image segmentation (RIS) は、自由なテキスト記述に基づいて画像条件でオブジェクトを分割することを目的としている。
本稿では,先述の2つのジレンマに対処することにより,一般化能力を大幅に向上させる新しいRISアプローチを提案する。
特に、制約のないテキストを扱うために、明示的で決定的なプロンプトで与えられた表現を増強し、統一された文脈での表現を補完することを提案する。
論文 参考訳(メタデータ) (2023-12-01T09:31:24Z) - Semantics-Aware Dynamic Localization and Refinement for Referring Image
Segmentation [102.25240608024063]
画像の参照は、言語表現からのイメージセグメントを参照する。
そこで我々は,局所化中心からセグメンテーション言語へ移行するアルゴリズムを開発した。
比較すると,本手法はより汎用的で有効である。
論文 参考訳(メタデータ) (2023-03-11T08:42:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。