論文の概要: Angular Supervision for Visual Object Grounding in Autoregressive Vision-Language Models

• arxiv url: http://arxiv.org/abs/2610.32220v1
• Date: Fri, 23 Oct 2026 06:16:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.407383
• Title: Angular Supervision for Visual Object Grounding in Autoregressive Vision-Language Models
• Title（参考訳）: 自己回帰視覚言語モデルにおけるビジュアルオブジェクトグラウンドのためのAngularスーパービジョン
• Abstract要約: 視覚トークン埋め込みと非埋め込み行列列のコサイン類似性に基づく単純な可視化尺度であるtextbfAngular Relevance(R_L$)を提案する。 R_L$はトークンノルムに不変であるため、アテンションマップやアウト・オブ・ザ・ボックスモデルのLogit Lensよりも大幅にシャープで忠実なヒートマップを生成する。 クロスモーダルミキシング中の局所オブジェクト情報を保存するために,視覚トークンの埋め込みを直接監督する補助的損失である textbfAngular Object-Aware Loss (AOL) を導入する。
• 参考スコア（独自算出の注目度）: 8.586228101739259
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Autoregressive vision-language models (VLMs) struggle to ground generated text in the correct image regions, and existing explainability methods, such as attention maps and Logit Lens, often produce poor spatial explanations due to weak text-to-vision attention and sink tokens. We propose \textbf{Angular Relevance} ($R_L$), a simple visualization measure based on cosine similarity between visual token embeddings and unembedding-matrix rows. Because $R_L$ is invariant to token norm, it produces substantially sharper and more faithful heatmaps than attention maps or Logit Lens on out-of-the-box models. Without any training, $R_L$ yields competitive referring-expression segmentation (RES), outperforming prior diagnostic maps and CLIP-based training-free methods. To preserve localized object information during cross-modal mixing, we introduce \textbf{Angular Object-Aware Loss (AOL)}, an auxiliary loss that directly supervises visual token embeddings to align angularly with the vocabulary directions of their corresponding object concepts. Finetuning with AOL alongside the standard next-token prediction objective significantly sharpens object localization in heatmaps, showing that the VLM's own visual tokens can be used directly for grounding and improving RES, without training any segmentation heads and without degrading general VQA performance. We further demonstrate that the learned grounding also transfers to category-level segmentation of object categories not seen during training.
• Abstract（参考訳）: 自己回帰視覚言語モデル(VLM)は、正しい画像領域で生成されたテキストの接地に苦しむが、注意マップやロジットレンズのような既存の説明可能性法は、しばしば弱いテキスト・ツー・ビジョンの注意とシンクトークンによって、空間的な説明が得られない。 視覚トークン埋め込みとアンエンベディング行列列のコサイン類似性に基づく簡易な可視化尺度である「textbf{ Angular Relevance}」(R_L$)を提案する。 R_L$はトークンノルムに不変であるため、アテンションマップやアウト・オブ・ザ・ボックスモデルのLogit Lensよりも大幅にシャープで忠実なヒートマップを生成する。 トレーニングなしでは、$R_L$は競合参照表現セグメンテーション(RES)を出力し、事前診断マップやCLIPベースのトレーニングフリーメソッドよりも優れています。 クロスモーダルミキシング中の局所オブジェクト情報を保存するために、視覚トークンの埋め込みを直接監督し、対応するオブジェクト概念の語彙方向と直列に整合させる補助的損失である「textbf{ Angular Object-Aware Loss (AOL)}を導入する。 AOLとのファインタニングは、標準的な次世代予測と並行して、ヒートマップにおけるオブジェクトのローカライゼーションを大幅に向上させ、VLM自身の視覚トークンが、セグメンテーションヘッドをトレーニングすることなく、一般的なVQA性能を低下させることなく、RESを直接的にグラウンド化および改善するために使用できることを示した。 さらに,学習基盤は,学習中に見えない対象カテゴリーのカテゴリーレベルのセグメンテーションにも移行することを示した。

関連論文リスト

• See What I Mean: Aligning Vision and Language Representations for Video Fine-grained Object Understanding [41.70825455674463]
  SWIM(See What I Mean)は、視覚と言語表現を調整し、テキストのプロンプトからのみ、きめ細かいオブジェクト理解を可能にする訓練戦略である。 SWIMはテキスト・ビジュアル・アライメントを大幅に改善し,細粒度オブジェクト理解ベンチマークにおける視覚プロンプトに基づく手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2026-05-18T08:09:37Z)
• Rethinking Visual Token Reduction in LVLMs under Cross-modal Misalignment [38.04426918886084]
  視覚言語モデル(LVLM)は、視覚入力をパッチレベルのトークンの密度の高いシーケンスとしてエンコードし、微細なセマンティクスをキャプチャする。 これまでは、大型言語モデル(LLM)の前か中のいずれかで、視覚トークンの削減を検討してきた。 トレーニングフリーで視覚のみのプルーニングフレームワークであるVisionDropを導入し、モーダル内(視覚から視覚への)注目に基づいて情報的視覚トークンを選択する。
  論文  参考訳（メタデータ） (2025-06-27T14:55:40Z)
• FLAVARS: A Multimodal Foundational Language and Vision Alignment Model for Remote Sensing [5.170800801074805]
  コントラスト学習とマスクモデリングを組み合わせた事前学習手法であるFLAVARSを提案する。 FLAVARSは、KNN分類のような視覚のみのタスクにおいて、SkyCLIPのベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2025-01-14T23:31:20Z)
• ZoRI: Towards Discriminative Zero-Shot Remote Sensing Instance Segmentation [23.40908829241552]
  本稿では,訓練データに欠落した空中物体を特定することを目的とした,ゼロショットリモートセンシングインスタンスセグメンテーションという新しいタスクを提案する。 我々は,事前学習された視覚言語アライメントを維持するために,意味関連情報を分離する知識注入型適応戦略を導入する。 我々は,新しい実験プロトコルとベンチマークを構築し,ZoRIが最先端の性能を達成することを実証する広範囲な実験を行った。
  論文  参考訳（メタデータ） (2024-12-17T11:00:56Z)
• Locality Alignment Improves Vision-Language Models [55.275235524659905]
  近年では視覚言語モデル (VLM) が普及しているが、その多くが基本的な空間推論の誤りに悩まされている。 私たちのゴールは、ローカルとグローバルの両方の画像セマンティクスを効果的にキャプチャするビジョンバックボーンでこれを解決することです。 局所性アライメントとMaskEmbedと呼ばれる新しい微調整手順を提案する。
  論文  参考訳（メタデータ） (2024-10-14T21:01:01Z)
• Grounding Everything: Emerging Localization Properties in Vision-Language Transformers [51.260510447308306]
  事前学習された視覚言語(VL)モデルでは、微調整なしでゼロショットのオープン語彙オブジェクトローカライゼーションが可能であることを示す。 本稿では,CLIPSurgeryが自己注意経路に導入した価値価値注意の考え方を一般化するグラウンドング・エコノミクス・モジュール(GEM)を提案する。 セマンティックセグメンテーションのための様々なベンチマークタスクとデータセットに基づいて提案したGEMフレームワークを評価する。
  論文  参考訳（メタデータ） (2023-12-01T19:06:12Z)
• Location-Aware Self-Supervised Transformers [74.76585889813207]
  画像部品の相対的な位置を予測し,セマンティックセグメンテーションのためのネットワークを事前訓練する。 参照パッチのサブセットを問合せのサブセットにマスキングすることで,タスクの難しさを制御します。 実験により,この位置認識事前学習が,いくつかの難解なセマンティックセグメンテーションベンチマークに競合する表現をもたらすことが示された。
  論文  参考訳（メタデータ） (2022-12-05T16:24:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。