論文の概要: PointRL: Learning Point-Level Vision-Language Grounding from Verifiable Annotation Evidence
- arxiv url: http://arxiv.org/abs/2608.25299v1
- Date: Wed, 26 Aug 2026 02:10:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.532147
- Title: PointRL: Learning Point-Level Vision-Language Grounding from Verifiable Annotation Evidence
- Title(参考訳): PointRL: 検証可能なアノテーションエビデンスによるポイントレベル視覚言語グラウンディングの学習
- Abstract要約: この研究は、ポイントレベルの接地を学習する検証可能な強化学習フレームワークであるPointRLを提示する。
PointRLは、バウンディングボックス、マスク、インスタンスラベルをポインティング命令に変換し、ターゲットサポート、インスタンスメンバシップ、セット制約を保持する。
提案した報酬は、解析可能性、ポイント妥当性、インスタンスカバレッジ、濃度一貫性、冗長または欠落予測を評価する。
- 参考スコア(独自算出の注目度): 4.87376023514389
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language models (VLMs) increasingly rely on point coordinates as a compact and executable interface for visual grounding in GUI interaction, robotic manipulation, and interactive visual systems. However, learning reliable pointing behavior remains difficult because the supervision space is inherently non-unique: many coordinates may be valid within the same target region, while multi-instance instructions require target coverage, count consistency, and duplicate suppression. This work presents PointRL, a verifiable reinforcement learning framework that learns point-level grounding from existing heterogeneous annotation evidence. PointRL converts bounding boxes, masks, and instance labels into pointing instructions, while retaining their target supports, instance membership, and set constraints as hidden verifier evidence, i.e., annotations kept outside the prompt and used by a deterministic checker to score predictions. The proposed reward evaluates parseability, point validity, instance coverage, cardinality consistency, and redundant or missing predictions. On PointArena, PointRL improves the overall accuracy of Qwen3.5-4B from 56.11% to 65.58%. Further evaluations on RoboSpatial, BLINK, and Ref-Adv show same-backbone gains on the evaluated external benchmarks, suggesting that verifiable point-level feedback may benefit spatial grounding in these settings.
- Abstract(参考訳): 視覚言語モデル(VLM)は、GUIインタラクション、ロボット操作、インタラクティブな視覚システムにおける視覚的接地のためのコンパクトで実行可能なインターフェースとして、ポイント座標にますます依存している。
しかし、監督空間は本質的に一般的ではないため、信頼性の高いポインティング動作の学習は依然として困難であり、多くの座標は同一のターゲット領域内で有効であり、マルチインスタンス命令はターゲットカバレッジ、カウント一貫性、重複抑制を必要とする。
この研究は、既存の異種アノテーションの証拠から点レベルグラウンドを学習する検証可能な強化学習フレームワークであるPointRLを提示する。
PointRLは、バウンディングボックス、マスク、インスタンスラベルをポインティング命令に変換し、ターゲットのサポート、例えばメンバーシップを維持し、制約を隠された検証証明として設定する。
提案した報酬は、解析可能性、ポイント妥当性、インスタンスカバレッジ、濃度一貫性、冗長または欠落予測を評価する。
PointArenaでは、Qwen3.5-4Bの全体的な精度を56.11%から65.58%に改善している。
RoboSpatial、BLINK、Ref-Advのさらなる評価は、評価された外部ベンチマークで同じバックボーンゲインを示し、検証された点レベルのフィードバックがこれらの設定における空間的グラウンドニングの恩恵をもたらすことを示唆している。
関連論文リスト
- CAPE: A CLIP-Aware Pointing Ensemble of Complementary Heatmap Cues for Embodied Reference Understanding [56.30142869506262]
身体的参照理解(Embodied Reference Understanding)は、シーンの人物が指し示すジェスチャーと言語の両方を通して参照しているオブジェクトを予測する。
本稿では,2重モデルフレームワークを提案し,一方のモデルが頭指先方向から学習し,他方のモデルが手指先方向から学習する。
我々は、ベンチマークYouRefItデータセットの広範な実験と分析を通じてアプローチを検証し、0.25IoU閾値で約4mAPの改善を実現した。
論文 参考訳(メタデータ) (2025-07-29T15:00:21Z) - Jamais Vu: Exposing the Generalization Gap in Supervised Semantic Correspondence [37.26437707181298]
単眼深度推定を用いて2次元鍵点を正準3次元空間に昇降させることにより高密度対応を学習するための新しい手法を提案する。
本手法は, オブジェクト形状を明示的な3次元監視やカメラアノテーションを必要とせず, 連続カノニカル多様体を構成する。
論文 参考訳(メタデータ) (2025-06-09T20:40:47Z) - VAPO: Visibility-Aware Keypoint Localization for Efficient 6DoF Object Pose Estimation [52.81869878956534]
2次元画像における3Dキーポイントの局所化は、インスタンスレベルの6DoFオブジェクトのポーズ推定のための3D-2D対応を確立する効果的な方法である。
本稿では、重要なキーポイントを可視性の観点からローカライズすることでこの問題に対処する。
我々は、可視性を考慮した重要度と最先端のポーズ推定アルゴリズムを統合することにより、VAPO(Visibility-Aware POse estimator)を構築する。
論文 参考訳(メタデータ) (2024-03-21T16:59:45Z) - Point-Teaching: Weakly Semi-Supervised Object Detection with Point
Annotations [81.02347863372364]
本稿では,弱い半教師付きオブジェクト検出フレームワークであるPoint-Teachingを提案する。
具体的には,ポイントアノテート画像の擬似ラベルを生成するためのハンガリーの点マッチング手法を提案する。
そこで本研究では,不整合点の影響を低減するため,単純なyet- effective data augmentation(ポイント誘導コピーペースト)を提案する。
論文 参考訳(メタデータ) (2022-06-01T07:04:38Z) - Object Localization under Single Coarse Point Supervision [107.46800858130658]
本稿では,粗い点アノテーションを用いたPOL手法を提案する。
CPRは、ポイントバッグを構築し、セマンティック関連点を選択し、マルチインスタンス学習(MIL)を通してセマンティックセンターポイントを生成する。
このようにして、CPRは、粗い点監督の下で高性能オブジェクトローカライザのトレーニングを保証する、弱い制御された進化手順を定義する。
論文 参考訳(メタデータ) (2022-03-17T14:14:11Z) - SASA: Semantics-Augmented Set Abstraction for Point-based 3D Object
Detection [78.90102636266276]
SASA(Semantics-Augmented Set Abstraction)と呼ばれる新しい集合抽象化手法を提案する。
そこで本研究では, 推定点前景スコアに基づいて, より重要な前景点の維持を支援するセマンティックス誘導点サンプリングアルゴリズムを提案する。
実際には、SASAは、前景オブジェクトに関連する貴重な点を識別し、ポイントベースの3D検出のための特徴学習を改善するのに有効である。
論文 参考訳(メタデータ) (2022-01-06T08:54:47Z) - Attend to Who You Are: Supervising Self-Attention for Keypoint Detection
and Instance-Aware Association [40.78849763751773]
本稿では,Transformer を用いたキーポイント検出とインスタンス関連の解法を提案する。
本稿では,複数人物のキーポイント検出と事例関連のための自己注意の監視手法を提案する。
論文 参考訳(メタデータ) (2021-11-25T03:41:41Z) - Learning to Detect Instance-level Salient Objects Using Complementary
Image Labels [55.049347205603304]
本報告では,本問題に対する第1の弱教師付きアプローチを提案する。
本稿では,候補対象の特定にクラス整合性情報を活用するSaliency Detection Branch,オブジェクト境界をデライン化するためにクラス整合性情報を利用するBundary Detection Branch,サブティナイズ情報を用いたCentroid Detection Branchを提案する。
論文 参考訳(メタデータ) (2021-11-19T10:15:22Z) - Oriented RepPoints for Aerial Object Detection [10.818838437018682]
本稿では,オブジェクト指向RepPointsという,空中物体検出のための新しい手法を提案する。
具体的には、任意指向オブジェクトの幾何学的および空間的情報を取得するために、適応点の集合を用いることを提案する。
教師付き学習を容易にするために,適応点を配向境界ボックスに明示的にマッピングする指向変換関数を提案する。
論文 参考訳(メタデータ) (2021-05-24T06:18:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。