論文の概要: StateVLM: A State-Aware Vision-Language Model for Robotic Affordance Reasoning

• arxiv url: http://arxiv.org/abs/2605.03927v1
• Date: Tue, 05 May 2026 16:19:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-06 19:35:44.027108
• Title: StateVLM: A State-Aware Vision-Language Model for Robotic Affordance Reasoning
• Title（参考訳）: StateVLM: ロボットアクダクタンス推論のための状態認識型ビジョンランゲージモデル
• Authors: Xiaowen Sun, Matthias Kerzel, Mengdi Li, Xufeng Zhao, Paul Striker, Stefan Wermter,
• Abstract要約: 本稿では,視覚言語モデル(VLM)をオブジェクト検出やオブジェクト状態のローカライゼーションに適応させる新しいトレーニング手法を提案する。 我々は、このトレーニング戦略を活用して、細粒度オブジェクト表現を知覚し、学習するために設計された新しいモデルであるStateVLMを開発した。 また,ARLのないモデルと比較して,ARLはモデル性能を平均1.6%改善することを示した。
• 参考スコア（独自算出の注目度）: 12.563247818737294
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Vision-language models (VLMs) have shown remarkable performance in various robotic tasks, as they can perceive visual information and understand natural language instructions. However, when applied to robotics, VLMs remain subject to a fundamental limitation inherent in large language models (LLMs): they struggle with numerical reasoning, particularly in object detection and object-state localization. To explore numerical reasoning as a regression task in VLMs, we propose a novel training strategy to adapt VLMs for object detection and object-state localization. This approach leverages box decoder outputs to compute an Auxiliary Regression Loss (ARL) during fine-tuning, while preserving standard sequence prediction at inference. We leverage this training strategy to develop StateVLM (State-aware Vision-Language Model), a novel model designed to perceive and learn fine-grained object representations, including precise localization of objects and their states, as well as graspable regions. Due to the lack of a benchmark for object-state affordance reasoning, we introduce an open-source benchmark, Object State Affordance Reasoning (OSAR), which contains 1,172 scenes with 7,746 individual objects and corresponding bounding boxes. Comparative experiments on adapted benchmarks (RefCOCO, RefCOCO+, and \mbox{RefCOCOg}) demonstrate that ARL improves model performance by an average of 1.6\% compared to models without ARL. Experiments on the OSAR benchmark further support this finding, showing that StateVLM with ARL achieves an average of 5.2\% higher performance than models without ARL. In particular, ARL is also important for the complex task of affordance reasoning in OSAR, where it enhances the consistency of model outputs.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、視覚情報を知覚し、自然言語の指示を理解することができるため、様々なロボットタスクにおいて顕著な性能を示している。 しかしながら、ロボット工学に適用する場合、VLMは大きな言語モデル(LLM)に固有の基本的な制限の対象であり、特に物体検出や物体状態の局所化において数値的推論に苦しむ。 VLMにおける回帰タスクとしての数値推論を探索するために,オブジェクト検出やオブジェクト状態のローカライゼーションにVLMを適用するための新たなトレーニング戦略を提案する。 このアプローチでは、ボックスデコーダの出力を利用して、微調整中にAuxiliary Regression Loss (ARL)を計算し、推論時に標準的なシーケンス予測を保持する。 我々は、このトレーニング戦略を活用して、オブジェクトとその状態の正確な局所化や把握可能な領域を含む、きめ細かいオブジェクト表現を知覚し、学習するための新しいモデルであるStateVLM(State-aware Vision-Language Model)を開発する。 オブジェクト状態割当推論のベンチマークがないため、オープンソースベンチマークであるObject State Affordance Reasoning (OSAR)を導入しました。 適応ベンチマーク(RefCOCO、RefCOCO+、および \mbox{RefCOCOg})の比較実験により、ARLのないモデルと比較して、ARLはモデル性能を平均1.6倍改善することが示された。 OSARベンチマークの実験は、この発見をさらに支持し、ステートVLM with ARLがARLのないモデルよりも平均5.2\%高いパフォーマンスを達成することを示した。 特に、ARLは、モデル出力の整合性を高めるOSARにおける割当推論の複雑なタスクにおいても重要である。

関連論文リスト

• TagaVLM: Topology-Aware Global Action Reasoning for Vision-Language Navigation [70.23578202012048]
  Vision-Language Navigation (VLN) は、アーキテクチャ上のミスマッチのため、大きなビジョン-Language Models (VLM) に固有の課題を提示している。 我々は,VLMのバックボーンにトポロジ構造を明示的に注入するエンドツーエンドフレームワークであるTagaVLM(トポロジ・アウェア・グローバルアクション推論)を提案する。 トポロジ的ノード情報を強化するため、Interleaved Navigation Promptはノードレベルのビジュアルテキストアライメントを強化する。 埋め込みトポロジグラフでは、このモデルはグローバルな行動推論が可能であり、堅牢な経路補正を可能にする。
  論文  参考訳（メタデータ） (2026-03-03T13:28:07Z)
• EdgeVLA: Efficient Vision-Language-Action Models [0.4005096060512278]
  本稿では,VLA(Vision-Language-Action)モデルの推論速度を大幅に向上する新しい手法であるEdge VLAを紹介する。 1)エンドエフェクタ位置予測の自己回帰要求を排除し,推論の7倍の高速化を実現し,2)小言語モデル(SLM)の効率を向上する。 我々の初期の結果は、EVLAがOpenVLAに匹敵するトレーニング特性を達成し、推論速度とメモリ効率を大幅に向上させることを示した。
  論文  参考訳（メタデータ） (2025-07-18T16:15:09Z)
• Unseen from Seen: Rewriting Observation-Instruction Using Foundation Models for Augmenting Vision-Language Navigation [63.54377402784965]
  視覚言語ナビゲーション(VLN)のためのリライト駆動型AugMentation(RAM)パラダイムを提案する。 書き換え機構から, シミュレータフリー, 省力両面において, 新たな観察・指導ペアを得ることができた。 離散環境(R2R,REVERIE,R4Rデータセット)と連続環境(R2R-CEデータセット)の両方における実験は,本手法の優れた性能と優れた一般化能力を示している。
  論文  参考訳（メタデータ） (2025-03-23T13:18:17Z)
• OpenVLThinker: Complex Vision-Language Reasoning via Iterative SFT-RL Cycles [91.88062410741833]
  我々はOpenVLThinkerを紹介した。OpenVLThinkerはオープンソースの大規模視覚言語モデル(LVLM)の1つである。 OpenVLThinker-7Bは、数学的および一般的な推論を必要とする6つのベンチマークで一貫して性能を向上することを示す。
  論文  参考訳（メタデータ） (2025-03-21T17:52:43Z)
• Integrating Frequency-Domain Representations with Low-Rank Adaptation in Vision-Language Models [0.6715525121432597]
  本研究では,特徴抽出,拡張性,効率性を向上する新しい視覚言語モデル(VLM)フレームワークを提案する。 ガウス雑音のレベルが異なるベンチマークデータセットを用いて,キャプション生成モデルと視覚質問応答(VQA)タスクの評価を行った。 我々のモデルは、特に無人地上車両(UGV)に搭載されたRealSenseカメラで捉えた現実世界のイメージに対して、より詳細で文脈的に関係のある応答を提供する。
  論文  参考訳（メタデータ） (2025-03-08T01:22:10Z)
• Value-Consistent Representation Learning for Data-Efficient Reinforcement Learning [105.70602423944148]
  本稿では,意思決定に直接関連のある表現を学習するための,VCR(Value-Consistent Expression Learning)という新しい手法を提案する。 この想像された状態と環境によって返される実状態とを一致させる代わりに、VCRは両方の状態に$Q$-valueヘッドを適用し、2つのアクション値の分布を得る。 検索不要なRLアルゴリズムに対して,提案手法が新たな最先端性能を実現することが実証された。
  論文  参考訳（メタデータ） (2022-06-25T03:02:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。