論文の概要: HDC: Hierarchical Semantic Decoding with Counting Assistance for Generalized Referring Expression Segmentation

• arxiv url: http://arxiv.org/abs/2405.15658v1
• Date: Fri, 24 May 2024 15:53:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 13:20:55.792479
• Title: HDC: Hierarchical Semantic Decoding with Counting Assistance for Generalized Referring Expression Segmentation
• Title（参考訳）: HDC: 一般化参照式セグメント化のための数値アシスト付き階層的意味的デコーディング
• Authors: Zhuoyan Luo, Yinghao Wu, Yong Liu, Yicheng Xiao, Xiao-Ping Zhang, Yujiu Yang,
• Abstract要約: Generalized Referring Expression (GRES)は、複数の/非ターゲットシナリオを含むことによって、古典的なRESの定式化を増幅する。 我々は、$textbfH$ierarchical Semantic $textbfD$ecoding with $textbfC$ounting Assistance framework (HDC)を提案する。 我々はHDCに明示的なカウント機能を持たせ、複数の/単一/非ターゲット設定における包括的オブジェクト認識を容易にする。
• 参考スコア（独自算出の注目度）: 33.40691116355158
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The newly proposed Generalized Referring Expression Segmentation (GRES) amplifies the formulation of classic RES by involving multiple/non-target scenarios. Recent approaches focus on optimizing the last modality-fused feature which is directly utilized for segmentation and object-existence identification. However, the attempt to integrate all-grained information into a single joint representation is impractical in GRES due to the increased complexity of the spatial relationships among instances and deceptive text descriptions. Furthermore, the subsequent binary target justification across all referent scenarios fails to specify their inherent differences, leading to ambiguity in object understanding. To address the weakness, we propose a $\textbf{H}$ierarchical Semantic $\textbf{D}$ecoding with $\textbf{C}$ounting Assistance framework (HDC). It hierarchically transfers complementary modality information across granularities, and then aggregates each well-aligned semantic correspondence for multi-level decoding. Moreover, with complete semantic context modeling, we endow HDC with explicit counting capability to facilitate comprehensive object perception in multiple/single/non-target settings. Experimental results on gRefCOCO, Ref-ZOM, R-RefCOCO, and RefCOCO benchmarks demonstrate the effectiveness and rationality of HDC which outperforms the state-of-the-art GRES methods by a remarkable margin. Code will be available $\href{https://github.com/RobertLuo1/HDC}{here}$.
• Abstract（参考訳）: 新たに提案された Generalized Referring Expression Segmentation (GRES) は、複数の/非ターゲットシナリオを含むことによって、古典的なRESの定式化を増幅する。 近年のアプローチでは、セグメント化やオブジェクト存在識別に直接利用される最後のモダリティ融合特徴の最適化に焦点が当てられている。 しかし、全粒度の情報を単一の関節表現に統合しようとする試みは、インスタンス間の空間的関係の複雑化や、偽文の記述のため、GRESでは現実的ではない。 さらに、その後の全ての参照シナリオにおけるバイナリターゲットの正当化は、固有の違いを特定することに失敗し、オブジェクト理解の曖昧さにつながります。 この弱点に対処するために、$\textbf{H}$ierarchical Semantic $\textbf{D}$ecoding with $\textbf{C}$ounting Assistance framework (HDC)を提案する。 階層的に相補的モダリティ情報を粒度間で伝達し、その後、多レベル復号のための各適切に整合した意味対応を集約する。 さらに,完全なセマンティック・コンテキスト・モデリングにより,複数の/単一/非ターゲット設定における包括的オブジェクト認識を容易にするために,HDCに明示的なカウント機能を付与する。 gRefCOCO, Ref-ZOM, R-RefCOCO, RefCOCOベンチマークの実験結果は, 最先端のGRES法よりも優れたHDCの有効性と合理性を示した。 コードは $\href{https://github.com/RobertLuo1/HDC}{here}$ で提供される。

関連論文リスト

• Embodied-RAG: General Non-parametric Embodied Memory for Retrieval and Generation [65.23793829741014]
  Embodied-RAGは、非パラメトリックメモリシステムによるエンボディエージェントのモデルを強化するフレームワークである。 コアとなるEmbodied-RAGのメモリはセマンティックフォレストとして構成され、言語記述を様々なレベルで詳細に保存する。 Embodied-RAGがRAGをロボット領域に効果的にブリッジし、200以上の説明とナビゲーションクエリをうまく処理できることを実証する。
  論文  参考訳（メタデータ） (2024-09-26T21:44:11Z)
• Bring Adaptive Binding Prototypes to Generalized Referring Expression Segmentation [18.806738617249426]
  Generalized Referring Expressionは、複数のオブジェクトを記述したり、特定のオブジェクト参照を欠いたりすることで、新しい課題を導入する。 既存のRESメソッドは通常、洗練されたエンコーダデコーダと機能融合モジュールに依存している。 本稿では,適応結合型モデル (MABP) を提案する。
  論文  参考訳（メタデータ） (2024-05-24T03:07:38Z)
• Spatial Semantic Recurrent Mining for Referring Image Segmentation [63.34997546393106]
  高品質なクロスモーダリティ融合を実現するために,Stextsuperscript2RMを提案する。 これは、言語特徴の分散、空間的意味的再帰的分離、パーセマンティック・セマンティック・バランシングという三部作の作業戦略に従う。 提案手法は他の最先端アルゴリズムに対して好適に機能する。
  論文  参考訳（メタデータ） (2024-05-15T00:17:48Z)
• RESMatch: Referring Expression Segmentation in a Semi-Supervised Manner [16.280644319404946]
  Referring Expression segmentation (RES)は、自由形式の言語記述に基づいて特定のインスタンスレベルのオブジェクトをローカライズするタスクである。 本稿では、データアノテーションへの依存を減らすことを目的とした、RESのための最初の半教師付き学習(SSL)アプローチであるRESMatchを紹介する。
  論文  参考訳（メタデータ） (2024-02-08T11:40:50Z)
• GSVA: Generalized Segmentation via Multimodal Large Language Models [72.57095903188922]
  Generalized Referring Expression (GRES)は、従来のRESの範囲を拡張して、1つの式で複数のオブジェクトを参照したり、画像に存在しない空のターゲットを特定する。 セグメンテーションMLLMは、ユーザが特定のプロンプトで複数の主題を参照するケースを正しく扱えないため、現在のGRESの解決策は満足できないままである。 本稿では,このギャップに対処する汎用ビジョンアシスタント(GSVA)を提案する。
  論文  参考訳（メタデータ） (2023-12-15T02:54:31Z)
• GRES: Generalized Referring Expression Segmentation [32.12725360752345]
  一般化参照式(Generalized Referring Expression, GRES)と呼ばれる新しいベンチマークを導入する。 GRESは、任意の数のターゲットオブジェクトを参照することができる。 我々は,マルチターゲット,ノーターゲット,シングルターゲット表現を含むgRefCOCOと呼ばれる,最初の大規模GRESデータセットを構築した。
  論文  参考訳（メタデータ） (2023-06-01T17:57:32Z)
• Semantics-Aware Dynamic Localization and Refinement for Referring Image Segmentation [102.25240608024063]
  画像の参照は、言語表現からのイメージセグメントを参照する。 そこで我々は,局所化中心からセグメンテーション言語へ移行するアルゴリズムを開発した。 比較すると,本手法はより汎用的で有効である。
  論文  参考訳（メタデータ） (2023-03-11T08:42:40Z)
• Beyond the Prototype: Divide-and-conquer Proxies for Few-shot Segmentation [63.910211095033596]
  少ないショットのセグメンテーションは、少数の濃密なラベル付けされたサンプルのみを与えられた、目に見えないクラスオブジェクトをセグメンテーションすることを目的としている。 分割・分散の精神において, 単純かつ多目的な枠組みを提案する。 提案手法は、DCP(disvision-and-conquer proxies)と呼ばれるもので、適切な信頼性のある情報の開発を可能にする。
  論文  参考訳（メタデータ） (2022-04-21T06:21:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。