論文の概要: Token-Based Affordance Grounding with Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2607.03595v1
• Date: Fri, 03 Jul 2026 20:34:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.663189
• Title: Token-Based Affordance Grounding with Large Vision-Language Models
• Title（参考訳）: 大規模視線モデルを用いたトークンベースアフォーマンスグラウンドディング
• Abstract要約: Affordance Groundingは、特定のアクションをサポートするイメージ領域をローカライズすることを目的としている。 TokAGはLVLMのトークンレベルの意味空間信号を利用して、外部の監視なしにアクション関連領域をローカライズする。
• 参考スコア（独自算出の注目度）: 35.91429072589231
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Affordance grounding aims to localize image regions that support a specific action, serving as a core capability for physical intelligence and embodied perception. Previous studies have primarily relied on weakly supervised learning with action labels from exocentric images. However, these methods often struggle with visually ambiguous exocentric images containing co-occurring actions; moreover, they fail to distinguish semantically similar actions because existing methods typically rely on brief action phrases that lack rich semantic details for action-specific localization. Although large vision-language models (LVLMs) encode rich action semantics and their action-conditioned textual outputs implicitly contain spatial cues, they do not directly provide action-specific spatial localization. To address these problems, we propose TokAG, a zero-shot affordance grounding framework that exploits the token-level semantic-spatial signals in LVLMs to localize action-relevant regions without external supervision. We observe that attention maps associated with different LVLM output tokens vary significantly, with many attending to irrelevant regions such as the background. Thus, we introduce a spatial-aware token-selection mechanism to systematically evaluate each output token and select the one whose attention maps exhibit dominant activation over the target object, instead of relying on arbitrary attention maps. By extracting these object-focused attention maps, we transform the LVLM's implicit semantic signals into zero-shot affordance heatmaps. Our zero-shot framework consistently outperforms prior weakly supervised approaches across multiple benchmarks, improving NSS by 10.7% on the unseen split of AGD20K and by 29.7% on HICO-IIF. The code and models will be made publicly available.
• Abstract（参考訳）: Affordance Groundingは、特定のアクションをサポートするイメージ領域をローカライズすることを目的としており、物理的な知性と知覚を具体化するためのコア機能として機能する。 これまでの研究は主に、外心中心画像からのアクションラベルによる弱い教師付き学習に依存してきた。 しかしながら、これらの手法は、共起アクションを含む視覚的にあいまいな外向中心的なイメージに苦しむことが多く、また、既存の手法はアクション固有の局所化にリッチなセマンティックな詳細を欠いた短いアクションフレーズに依存しているため、意味的に類似したアクションを区別することができない。 大きな視覚言語モデル(LVLM)は、リッチなアクションセマンティクスと、その動作条件のテキスト出力を暗黙的に空間的手がかりを含むようにエンコードするが、行動特異的な空間的局所化は直接提供しない。 これらの問題に対処するために,LVLMにおけるトークンレベルの意味空間信号を利用して,外部監視なしでアクション関連領域をローカライズするゼロショットアベイランス基盤フレームワークであるTokAGを提案する。 異なるLVLM出力トークンに関連付けられたアテンションマップは,背景など無関係な領域に多く参加しているため,異なるLVLM出力トークンに関連付けられたアテンションマップが著しく異なることが観察された。 そこで我々は,各出力トークンを体系的に評価する空間認識トークン選択機構を導入し,任意の注目マップに頼るのではなく,注目マップが対象オブジェクトに対して支配的なアクティベーションを示すトークンを選択する。 対象物に着目したアテンションマップを抽出することにより、LVLMの暗黙的なセマンティック信号をゼロショット・アベイランス・ヒートマップに変換する。 当社のゼロショットフレームワークは、複数のベンチマークにまたがるより弱い教師付きアプローチを一貫して上回り、AGD20Kの未確認分割でNASを10.7%、HICO-IIFで29.7%向上させています。 コードとモデルは公開されます。

関連論文リスト

• See Only When Needed: Context-Aware Attention Intervention for Mitigating Hallucinations in LVLMs [81.71384150441163]
  大規模視覚言語モデル(LVLM)のためのコンテキスト認識注意介入(CAI)を提案する。 CAIは必要なときのみ2軸選択によってシーズを強制する。 複数のLVLMバックボーンとベンチマークの実験は、CAIが最先端の幻覚緩和を達成することを示している。
  論文  参考訳（メタデータ） (2026-06-29T06:35:47Z)
• ActiveScope: Actively Seeking and Correcting Perception for MLLMs [73.84325380140547]
  MLLM(Multimodal Large Language Models)は、高解像度画像における微細な認識に苦戦している。 本研究では,能動的に知覚を探索し,修正することにより,MLLMを強化したトレーニングフリーフレームワークであるActiveScopeを提案する。
  論文  参考訳（メタデータ） (2026-06-23T08:17:15Z)
• Listening makes Vision Clear for VLMs [10.154962172624954]
  我々は、プロンプト側セマンティクスを採用し、Prompt-Vision Token Activation Map (PV-TAM)を提案する。 PV-TAMは、モダリティ境界マーカーによって誘導される系統的バイアスを取り除くフィルタを組み込んでいる。 さまざまなデータセットの回答側ベースラインよりも、アテンションベースとIoUスタイルのローカライゼーションメトリクスを一貫して改善する。
  論文  参考訳（メタデータ） (2026-06-22T14:14:46Z)
• Learning to See What You Need: Gaze Attention for Multimodal Large Language Models [96.20985292033465]
  本稿では,世代別タスク関連視覚領域へのMLLMの選択的参加を可能にする新しいメカニズムであるGaze Attentionを紹介する。 注意計算では、視線KVエントリが最大90%少ないのに対して、視線アテンションは高密度アテンションベースラインと一致または超過していることが示される。
  論文  参考訳（メタデータ） (2026-05-13T06:54:09Z)
• RefAM: Attention Magnets for Zero-Shot Referral Segmentation [103.98022860792504]
  本稿では,下流タスクの拡散変換器から特徴,注意点を活用できる新しい手法を提案する。 重要な洞察は、停止語は注意磁石として機能するということだ。 停止語を付加した背景アクティベーションを小さなクラスタに分割するアテンション再分配戦略を提案する。
  論文  参考訳（メタデータ） (2025-09-26T17:59:57Z)
• ResCLIP: Residual Attention for Training-free Dense Vision-language Inference [27.551367463011008]
  CLIPの非最終層における自己注意の相互相関も局在特性を示す。 本稿では, 中間層からの相互相関自己アテンションを利用して, 最終ブロックの注意を再認識するResidual Cross-correlation Self-attention (RCS) モジュールを提案する。 RCSモジュールは空間情報を効果的に再構成し、高密度視覚言語推論のためのCLIP内の局在電位を解放する。
  論文  参考訳（メタデータ） (2024-11-24T14:14:14Z)
• DIAL: Dense Image-text ALignment for Weakly Supervised Semantic Segmentation [8.422110274212503]
  弱教師付きセマンティックセグメンテーションアプローチは通常、初期シード生成にクラスアクティベーションマップ(CAM)に依存する。 DALNetは、テキストの埋め込みを利用して、さまざまなレベルの粒度のオブジェクトの包括的理解と正確な位置決めを強化する。 このアプローチは特に、シングルステージの手法として、より効率的なエンドツーエンドプロセスを可能にします。
  論文  参考訳（メタデータ） (2024-09-24T06:51:49Z)
• Spatial Structure Constraints for Weakly Supervised Semantic Segmentation [100.0316479167605]
  クラスアクティベーションマップ(CAM)は、オブジェクトの最も識別性の高い部分のみを見つけることができる。 注意伸縮の余剰なオブジェクトの過剰な活性化を軽減するために,弱い教師付きセマンティックセマンティックセグメンテーションのための空間構造制約(SSC)を提案する。 提案手法は,PASCAL VOC 2012とCOCOデータセットでそれぞれ72.7%,47.0%mIoUを達成した。
  論文  参考訳（メタデータ） (2024-01-20T05:25:25Z)
• Discriminative Region-based Multi-Label Zero-Shot Learning [145.0952336375342]
  マルチラベルゼロショット学習(Multi-label zero-shot Learning、ZSL)は、標準のシングルラベルZSLのより現実的な対位法である。 本稿では,地域別識別可能性保存型ZSLに対する代替アプローチを提案する。
  論文  参考訳（メタデータ） (2021-08-20T17:56:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。