論文の概要: Learning Structured Visual Compositional Representations for Weakly Supervised Referring Expression Comprehension

• arxiv url: http://arxiv.org/abs/2607.04638v1
• Date: Mon, 06 Jul 2026 03:43:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:30.030614
• Title: Learning Structured Visual Compositional Representations for Weakly Supervised Referring Expression Comprehension
• Title（参考訳）: 弱教師付き参照表現理解のための構造化された視覚構成表現の学習
• Abstract要約: Referring Expression comprehensionは、自然言語で記述された画像中のオブジェクトをローカライズすることを目的としている。 既存のアプローチは主にアンカーレベルの視覚表現で動作する。 弱教師付きRECのための構造化視覚構成表現学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 73.15757782297459
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Referring expression comprehension (REC) aims to localize the object in an image described by natural language. In Weakly supervised REC (WREC), existing approaches primarily operate on anchor-level visual representations. Even when enriched with auxiliary cues, relational interactions remain implicitly encoded within individual anchor features. The resulting visual representation remains flat and unary-only, limiting its ability to align with the structured nature of language. In this work, we propose a Structured Visual Compositional Representation (SVCR) learning framework for WREC. Rather than implicitly encoding relations within unary anchors, the proposed SVCR explicitly models both unary object embeddings and pairwise relational embeddings, forming a structured visual representation space. We further introduce a compositional alignment mechanism that matches unary and pairwise visual representations with their corresponding textual embeddings in a unified manner, enabling compositional visual-textual matching under weak supervision. Extensive experiments on RefCOCO, RefCOCO+, and RefCOCOg show that the proposed SVCR achieves state-of-the-art performance. These results demonstrate the effectiveness of explicit structured visual representations and visual-textual alignment for WREC.
• Abstract（参考訳）: Referring Expression comprehension (REC)は、自然言語で記述された画像中のオブジェクトをローカライズすることを目的としている。 Weakly による REC (WREC) では、既存のアプローチは主にアンカーレベルの視覚表現で動作する。 補助的手がかりに富んだとしても、関係性相互作用は個々のアンカーの特徴の中で暗黙的に符号化される。 結果として得られる視覚的表現は、フラットで一意的なものであり、言語の構造的な性質と整合する能力を制限する。 本稿では,WRECのための構造化視覚構成表現(SVCR)学習フレームワークを提案する。 SVCRは、一意的なアンカー内の関係を暗黙的に符号化するのではなく、一意的なオブジェクトの埋め込みと対関係の埋め込みの両方を明示的にモデル化し、構造化された視覚表現空間を形成する。 さらに、一意・一対の視覚表現と対応するテキスト埋め込みを統一的に一致させる構成的アライメント機構を導入し、弱い監督下で構成的視覚的テキストマッチングを可能にする。 RefCOCO、RefCOCO+、RefCOCOgに関する大規模な実験は、提案されたSVCRが最先端のパフォーマンスを達成することを示す。 これらの結果は、WRECにおける明示的な構造化された視覚表現と視覚的テキストアライメントの有効性を示す。

関連論文リスト

• Learning to Compose: Revisiting Proxy Task Design for Zero-Shot Composed Image Retrieval [31.201448685871558]
  合成画像検索(CIR)は、基準画像から対象画像とテキスト修正とを検索する。 構成を2つの調整段階としてモデル化するFoCoを提案する。 4つのZS-CIRベンチマークの実験では、FoCoの最先端性能と一般化の改善が示されている。
  論文  参考訳（メタデータ） (2026-07-01T03:20:06Z)
• SOCO: Benchmarking Semantic Object Correspondence in Vision Foundation Models [63.28435103335999]
  セマンティックオブジェクト対応のための新しいベンチマークであるSOCOを紹介する。 視覚基盤のバックボーンは強い意味構造をエンコードするが、関連するカテゴリ間での伝達対応は不十分であることを示す。 また,LVLMは画像マッチングよりもテキストプロンプト部分のローカライゼーションが優れていることを示す。
  論文  参考訳（メタデータ） (2026-05-29T17:58:48Z)
• Interpretable Zero-shot Referring Expression Comprehension with Query-driven Scene Graphs [18.414159451507153]
  ゼロショット参照式理解(REC)は、自然言語クエリが与えられた画像中の対象物を特定することを目的としている。 既存のビジョンランゲージモデル(VLM)は、テキストクエリと画像領域の特徴的類似性を測定することで、ゼロショットRECに対処する。 我々は、クエリ駆動のシーングラフを構造化中間体として活用した、解釈可能なゼロショットREC法である textbfSGREC を提案する。
  論文  参考訳（メタデータ） (2026-03-26T04:05:30Z)
• Communication-Inspired Tokenization for Structured Image Representations [74.17163003465537]
  COMiT(Communication inspired Tokenization)は、構造化された視覚トークンシーケンスを学習するためのフレームワークである。 セマンティックアライメントが基盤となる一方で、解釈可能なオブジェクト中心のトークン構造を誘導するためには、注意的なシーケンシャルトークン化が重要であることを示す。
  論文  参考訳（メタデータ） (2026-02-24T09:53:50Z)
• Constrained Prompt Enhancement for Improving Zero-Shot Generalization of Vision-Language Models [57.357091028792325]
  ウェブスケールのデータに基づいて事前訓練された視覚言語モデル(VLM)は、ゼロショットの一般化を約束するが、しばしば意味的ミスアライメントに悩まされる。 視覚・テクストアライメントを改善するために,制約付きプロンプトエンハンスメント(CPE)法を提案する。 提案手法はTGSSG(Topology-Guided Synonymous Semantic Generation)とCADRS(Calegory-Agnostic Discriminative Region Selection)の2つの重要なコンポーネントから構成される。
  論文  参考訳（メタデータ） (2025-08-24T15:45:22Z)
• Referring Expression Instance Retrieval and A Strong End-to-End Baseline [37.47466772169063]
  テキスト画像検索は、画像レベルの記述に基づいてギャラリーからターゲット画像を取得する。 Referring Expressionは、インスタンスレベルの記述を使用して、所定のイメージ内でターゲットオブジェクトをローカライズする。 我々は、インスタンスレベルの検索とローカライゼーションの両方をサポートする textbfReferring Expression Instance Retrieval (REIR) という新しいタスクを導入する。
  論文  参考訳（メタデータ） (2025-06-23T02:28:44Z)
• Not Only Text: Exploring Compositionality of Visual Representations in Vision-Language Models [26.525531111141717]
  ビジョンランゲージモデルは、テキストと画像の共有機能空間を学習し、異なるモードの入力の比較を可能にする。 画像領域における構成性について検討し、合成特性の分析は視覚データのノイズと空間性によって挑戦される。 本稿では,GDE(Geodesically Decomposable Embeddings)と呼ばれるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-21T13:46:53Z)
• ComAlign: Compositional Alignment in Vision-Language Models [2.3250871476216814]
  コンポジションアライメント(ComAlign)を導入し、テキストと画像コンポーネントのより正確な対応を見出す。 本手法は, テキストのモダリティから抽出した構成構造も画像のモダリティに残さなければならないことを強調する。 私たちは、小さなデータセットを使用して、既存のビジュアルおよび言語エンコーダの上に横たわる軽量ネットワークをトレーニングします。
  論文  参考訳（メタデータ） (2024-09-12T16:46:41Z)
• Structure-CLIP: Towards Scene Graph Knowledge to Enhance Multi-modal Structured Representations [70.41385310930846]
  マルチモーダルな構造表現を強化するためのエンドツーエンドフレームワークであるStructure-CLIPを提案する。 シーングラフを用いてセマンティックなネガティブな例の構築をガイドし、その結果、構造化された表現の学習に重点を置いている。 知識エンハンス(KEE)は、SGKを入力として活用し、構造化表現をさらに強化するために提案される。
  論文  参考訳（メタデータ） (2023-05-06T03:57:05Z)
• Linear Spaces of Meanings: Compositional Structures in Vision-Language Models [110.00434385712786]
  事前学習された視覚言語モデル(VLM)からのデータ埋め込みにおける構成構造について検討する。 まず,幾何学的観点から構成構造を理解するための枠組みを提案する。 次に、これらの構造がVLM埋め込みの場合の確率論的に持つものを説明し、実際に発生する理由の直観を提供する。
  論文  参考訳（メタデータ） (2023-02-28T08:11:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。