論文の概要: Multi-Turn Multi-Agent Dialogue for Collaborative Reconstruction Improves VLM Performance on Spatial Reasoning, But Only Barely

• arxiv url: http://arxiv.org/abs/2605.31387v1
• Date: Fri, 29 May 2026 14:51:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.680862
• Title: Multi-Turn Multi-Agent Dialogue for Collaborative Reconstruction Improves VLM Performance on Spatial Reasoning, But Only Barely
• Title（参考訳）: 協調再建のための多言語多言語対話による空間推論におけるVLM性能の改善
• Abstract要約: 視覚言語モデル(VLM)は、視覚解釈、質問応答、指示追従を含むロボットタスクをサポートする。 本研究では,視覚的解釈,接地,言語誘導インタラクション,行動生成を組み合わせた協調的な構造構築タスクを通じて,このギャップについて検討する。
• 参考スコア（独自算出の注目度）: 17.22551679328024
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Robots operating in diverse environments rely on visual input to interpret objects and spatial layouts. In human-collaborative tasks, they are expected to communicate this understanding through language. Vision-language models (VLMs) support robotic tasks involving visual interpretation, question answering, and instruction following, but their capabilities in collaborative dialogue tasks requiring spatial reasoning remain underexplored. We study this gap through a collaborative structure-building task that combines visual interpretation, grounding, language-guided interaction, and action generation. We develop a framework in which VLMs use dialogue to reconstruct a target structure from visual and textual inputs. We evaluate open-weight and closed VLMs across interaction settings, input modalities, and image representations. Results show that spatial reasoning over visual representations remains difficult for the evaluated VLMs. Detailed text representations of the target yield higher reconstruction success across modality conditions, while decomposed image representations improve performance. These findings reveal limits in visual spatial grounding and grounded instruction generation for collaborative VLM agents.
• Abstract（参考訳）: 多様な環境で動作しているロボットは、オブジェクトと空間配置を解釈するための視覚的な入力に依存している。 人間の協力的なタスクでは、言語を通してこの理解を伝えることが期待されている。 視覚言語モデル(VLM)は、視覚的解釈、質問応答、指示追従を含むロボットタスクをサポートするが、空間的推論を必要とする協調対話タスクにおけるそれらの能力は未解明のままである。 本研究では,視覚的解釈,接地,言語誘導インタラクション,行動生成を組み合わせた協調的な構造構築タスクを通じて,このギャップについて検討する。 我々は,視覚とテキストの入力から対象構造を再構築するために,VLMが対話を利用するフレームワークを開発する。 オープンウェイトおよびクローズドなVLMを、インタラクション設定、入力モダリティ、画像表現で評価する。 その結果,視覚的表現に対する空間的推論は評価されたVLMでは困難であることがわかった。 対象の詳細なテキスト表現は、モダリティ条件を越えて高い再構成成功をもたらす一方、分解された画像表現は性能を向上させる。 これらの結果から,協調型VLMエージェントの空間的接地と接地命令生成の限界が明らかになった。

関連論文リスト

• AlloEgo-VLM: Disambiguating Allocentric and Egocentric Reference Frames in Vision-Language Models [15.021275200375504]
  本研究では,空間意味論の理解において視覚言語モデル(VLM)が直面するあいまいさの課題について検討する。 空間的関係に関する自然言語の記述は、しばしば明示的な参照フレームを省略し、意味的曖昧さと、具体化されたAIロボットの潜在的な重大なエラーをもたらす。 我々は、AlloEgo-Viewという新しいデータセットを構築し、(イメージ、クエリ、ビュー固有の回答)三つ子で構成され、アロセントリックとエゴセントリックの両方の観点から重要なオブジェクト関係をキャプチャします。 我々は、曖昧なクエリの下でも、アロセントリックでエゴセントリックな参照フレームを曖昧にし、容易に統合できるフレームワークであるAlloEgo-VLMを開発した。
  論文  参考訳（メタデータ） (2026-08-16T08:06:20Z)
• Attention Guided Alignment in Efficient Vision-Language Models [56.20286899428444]
  VLM(Large Vision-Language Models)は、事前訓練された視覚エンコーダとLLM(Large Language Models)の効果的なマルチモーダルアライメントに依存している。 本稿では,効率的なVLMにおける注意パターンの包括的解析について述べる。 本稿では,Attention-Guided Efficient Vision-Language Models (AGE-VLM)を紹介する。
  論文  参考訳（メタデータ） (2025-11-21T21:36:48Z)
• LLM-enhanced Action-aware Multi-modal Prompt Tuning for Image-Text Matching [25.883546163390957]
  大規模言語モデル(LLM)が生成する行動関連外部知識を組み込むことにより,CLIPをきめ細かな行動レベル理解に役立てる。 本稿では,行動認識に基づく視覚的特徴を集約し,識別的・行動的視覚的表現を確立するための知識を付加する適応的相互作用モジュールを提案する。
  論文  参考訳（メタデータ） (2025-06-30T03:49:08Z)
• Spatial Understanding from Videos: Structured Prompts Meet Simulation Data [89.77871049500546]
  本稿では,事前学習された視覚言語モデルにおける3次元空間推論を,アーキテクチャを変更することなく拡張するための統一的なフレームワークを提案する。 このフレームワークは、複雑なシーンと質問を解釈可能な推論ステップに分解する構造化プロンプト戦略であるSpatialMindと、多様な3Dシミュレーションシーンから構築されたスケーラブルな質問応答データセットであるScanForgeQAを組み合わせる。
  論文  参考訳（メタデータ） (2025-06-04T07:36:33Z)
• Seeing Beyond the Scene: Enhancing Vision-Language Models with Interactional Reasoning [27.511627003202538]
  伝統的なシーングラフは主に空間的関係に焦点を当て、視覚シーンにおける複雑な相互作用を推論する視覚言語モデル(VLM)の能力を制限する。 本稿では,(1) 従来の検出・構築手法は,非集中的かつ文脈的に無関係な関係集合を生成し,(2) 既存の手法では,新しい場面に起因した相互作用を一般化するための永続記憶の形成に失敗する,という2つの課題に対処する。 本稿では,3つの相補的なコンポーネントを通してVLMの相互作用推論を強化するフレームワークであるISGRを提案する。
  論文  参考訳（メタデータ） (2025-05-14T04:04:23Z)
• V-MAGE: A Game Evaluation Framework for Assessing Vision-Centric Capabilities in Multimodal Large Language Models [84.27290155010533]
  本稿では,視覚中心型多機能ゲーム評価(V-MAGE)について紹介する。 V-MAGEは、30以上の慎重に構築された評価シナリオからなる5つの異なるビデオゲームを特徴としている。 V-MAGEは、動的かつインタラクティブな設定において、MLLMの視覚的および推論能力を改善するために実行可能な洞察を提供する。
  論文  参考訳（メタデータ） (2025-04-08T15:43:01Z)
• AlignVLM: Bridging Vision and Language Latent Spaces for Multimodal Document Understanding [79.43306110124875]
  AlignVLMは視覚的特徴をテキスト埋め込みの重み付き平均値にマッピングする視覚テキストアライメント手法である。 実験の結果,AlignVLMは先行アライメント法と比較して最先端の性能を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-02-03T13:34:51Z)
• Enhanced Multimodal RAG-LLM for Accurate Visual Question Answering [10.505845766495128]
  MLLM(Multimodal large language model)は、視覚とテキストのモダリティの統合において大きな進歩を遂げた。 マルチモーダル検索拡張生成(RAG)に基づく新しいフレームワークを提案する。 RAGは、画像内のオブジェクト認識、関係識別、空間的理解を強化するために構造化されたシーングラフを導入している。
  論文  参考訳（メタデータ） (2024-12-30T13:16:08Z)
• VipAct: Visual-Perception Enhancement via Specialized VLM Agent Collaboration and Tool-use [74.39058448757645]
  視覚言語モデル(VLM)を強化するエージェントフレームワークであるVipActを提案する。 VipActは、タスク要求の分析、計画、調整を管理するオーケストレータエージェントと、特定のタスクを処理する専門エージェントで構成される。 様々な視覚認知タスクを特徴とするベンチマーク上でのVipActの評価を行い,実験結果から大幅な性能向上が得られた。
  論文  参考訳（メタデータ） (2024-10-21T18:10:26Z)
• Flex: End-to-End Text-Instructed Visual Navigation from Foundation Model Features [59.892436892964376]
  本稿では,視覚に基づく制御ポリシを用いて,ロバストな閉ループ性能を実現するために必要な最小限のデータ要件とアーキテクチャ適応について検討する。 この知見はFlex (Fly lexically) で合成され, 凍結パッチワイド特徴抽出器として, 事前学習された視覚言語モデル (VLM) を用いたフレームワークである。 本研究では,本手法の有効性を,行動クローンによる訓練を実世界のシーンに応用した,四重項フライ・トゥ・ターゲットタスクに適用した。
  論文  参考訳（メタデータ） (2024-10-16T19:59:31Z)
• MOKA: Open-World Robotic Manipulation through Mark-Based Visual Prompting [97.52388851329667]
  我々は,自由形式の言語命令で指定されたロボット操作タスクを解決するために,マーキングオープンワールドキーポイントアフォード(Moka)を導入する。 我々のアプローチの中心は、VLMの観測画像と物理世界におけるロボットの行動に関する予測を橋渡しする、コンパクトな点ベースの可測性表現である。 ツールの使用,変形可能な身体操作,オブジェクト再構成など,さまざまなテーブルトップ操作タスクにおけるMokaの性能評価と解析を行った。
  論文  参考訳（メタデータ） (2024-03-05T18:08:45Z)
• Lyrics: Boosting Fine-grained Language-Vision Alignment and Comprehension via Semantic-aware Visual Objects [11.117055725415446]
  LVLM(Large Vision Language Models)は、様々な視覚言語対話シナリオにおいて、印象的なゼロショット機能を示す。 きめ細かい視覚オブジェクト検出がないことは、画像の詳細を理解するのを妨げ、不可分な視覚幻覚や事実的誤りを引き起こす。 リリックス(Lyrics)は、視覚言語アライメントを微粒なクロスモーダル協調からブートストラップする、新しいマルチモーダル事前学習および微調整パラダイムである。
  論文  参考訳（メタデータ） (2023-12-08T09:02:45Z)
• Sim-To-Real Transfer of Visual Grounding for Human-Aided Ambiguity Resolution [0.0]
  視覚的接地という課題について考察し, エージェントは, 混み合ったシーンからオブジェクトを抽出し, 自然言語で記述する。 視覚的接地に対する現代の全体論的アプローチは、言語構造を無視し、ジェネリックドメインをカバーするのに苦労する。 実体,属性,空間関係の合成視覚的グラウンド化のための,完全に分離されたモジュラー・フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-24T14:12:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。