論文の概要: Exemplar2VQA: A Scalable Exemplar-Driven Visual Question Answering Generation Framework via Multi-Agent Coding
- arxiv url: http://arxiv.org/abs/2609.37655v1
- Date: Tue, 29 Sep 2026 14:17:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.611989
- Title: Exemplar2VQA: A Scalable Exemplar-Driven Visual Question Answering Generation Framework via Multi-Agent Coding
- Title(参考訳): Exemplar2VQA:マルチエージェント符号化によるスケーラブルな経験駆動型ビジュアル質問応答生成フレームワーク
- Abstract要約: 本稿では,スケーラブルな視覚質問応答生成フレームワークであるExemplar2VQAを紹介する。
マルチエージェント符号化により、シミュレーション環境における大規模空間QAペアを迅速に合成する。
多様な静的なオブジェクト中心の空間的クエリテンプレートを例示し、シームレスかつ自律的に巨大な高忠実な合成データセットにスケールする。
- 参考スコア(独自算出の注目度): 7.505503624632294
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Advancing spatial intelligence in Multimodal Large Language Models (MLLMs) is bottlenecked by the scarcity of complex, scalable 3D question-answer (QA) data. While manual annotation is labor-intensive, directly utilizing LLMs to synthesize these QA pairs often fails due to their inherent deficiencies in spatial and geometric computation. We introduce Exemplar2VQA, a scalable exemplar-driven visual question answering generation framework that rapidly synthesizes large-scale spatial QA pairs in simulated environments via multi-agent coding. By equipping collaborative agents with a meticulously designed library of geometric utilities, Exemplar2VQA bypasses LLMs' spatial reasoning flaws through deterministic code execution. Crucially, the framework exhibits remarkable versatility: taking diverse static object-centric spatial query templates as exemplars, it seamlessly and autonomously scales them into massive, high-fidelity synthetic datasets. Fine-tuning Qwen2.5-VL (3B/7B) exclusively on Exemplar2VQA-generated synthetic indoor data yields significant performance improvements across various diverse benchmarks. Furthermore, its effectiveness is not limited to in-domain indoor datasets but also robustly extends to outdoor and mixed-scene benchmarks. These results establish Exemplar2VQA as a scalable and powerful paradigm for bridging the sim-to-real gap in Embodied AI. Our code is at https://github.com/yingjiayu12/Exemplar2VQA
- Abstract(参考訳): MLLM(Multimodal Large Language Models)における空間的インテリジェンスの向上は、複雑でスケーラブルな3D質問応答(QA)データの不足によってボトルネックとなる。
手動のアノテーションは労働集約的であるが、これらのQAペアを合成するために直接LLMを利用することは、空間的および幾何学的計算において固有の欠陥のため、しばしば失敗する。
Inemplar2VQAは,マルチエージェント符号化によるシミュレーション環境における大規模空間QAペアを高速に合成する,スケーラブルな模擬視覚質問応答生成フレームワークである。
Exemplar2VQAは、厳密に設計された幾何学的ユーティリティのライブラリを協調エージェントに装備することにより、LCMの空間的推論欠陥を決定論的コード実行によって回避する。
さまざまな静的なオブジェクト中心の空間的クエリテンプレートを例示し、シームレスかつ自律的に巨大な高忠実な合成データセットにスケールする。
Exemplar2VQAで生成された合成室内データのみに焦点を合わせるQwen2.5-VL (3B/7B)は、様々なベンチマークにおいて大幅な性能向上をもたらす。
さらに、その有効性はドメイン内の屋内データセットに限らず、屋外および混合シーンのベンチマークにも強く拡張されている。
これらの結果は、Embodied AIのsim-to-realギャップを埋めるためのスケーラブルで強力なパラダイムとしてExemplar2VQAを確立する。
私たちのコードはhttps://github.com/yingjiayu12/Exemplar2VQAにあります。
関連論文リスト
- SpatialClaw: Rethinking Action Interface for Agentic Spatial Reasoning [99.49739831030388]
このインタフェースの設計は,オープンエンド空間推論のためのエージェントのキャパシティをいかに形作るかを検討する。
本研究では,アクションインタフェースとしてコードを採用する空間推論のためのトレーニングフリーフレームワークであるSpatialClawを提案する。
論文 参考訳(メタデータ) (2026-06-11T17:59:36Z) - Memory-Augmented LLM-based Multi-Agent System for Automated Feature Generation on Tabular Data [52.80567461420316]
メモリ拡張LPMに基づくマルチエージェントシステム(textbfMALMAS)を提案する。
MALMASは生成プロセスを独立した責任を持つエージェントに分解し、ルータエージェントはイテレーション毎にエージェントの適切なサブセットを起動する。
さらに、手続きメモリ、フィードバックメモリ、概念記憶を含むメモリモジュールを統合し、その後の特徴生成を適応的に導く反復的改善を可能にする。
論文 参考訳(メタデータ) (2026-04-22T07:09:30Z) - Beyond Short-Horizon: VQ-Memory for Robust Long-Horizon Manipulation in Non-Markovian Simulation Benchmarks [96.60530830276281]
RuleSafeは、スケーラブルなLLM支援シミュレーションフレームワーク上に構築された、新しいオペレーティングベンチマークである。
VQ-Memoryはベクトル量子化変分オートエンコーダを用いたコンパクトで構造化された時間表現である。
論文 参考訳(メタデータ) (2026-03-10T11:13:54Z) - From Indoor to Open World: Revealing the Spatial Reasoning Gap in MLLMs [65.04549036809557]
我々は、ステレオカメラ、LiDAR、IMU/GPSセンサーで撮影された歩行者の視線映像から構築したベンチマークを紹介する。
このデータセットは、計量的に正確な3D情報を提供し、空間的推論質問の自動生成を可能にする。
評価の結果、構造化屋内ベンチマークで観測された性能向上は、オープンワールド環境では消滅することが明らかとなった。
論文 参考訳(メタデータ) (2025-12-22T18:58:12Z) - Scaling Spatial Reasoning in MLLMs through Programmatic Data Synthesis [8.60591720958037]
VLM(Vision-Language Models)はスケーラブルだが構造的に剛性があり、手動のアノテーションは言語的に多様だが拡張不可能である。
本稿では,シミュレータと大規模モデルを活用したこのジレンマを克服する新しいフレームワークSP-RITEを紹介する。
我々は,3つのシミュレータ,11k以上のシーン,300k以上の画像/映像のインストラクションチューニングペアを含むデータセットをキュレートした。
我々のデータに基づいて訓練されたVLMは、複数の空間ベンチマークにおいて大きな性能向上を達成できることを実証する。
論文 参考訳(メタデータ) (2025-12-18T06:30:08Z) - Loong: Synthesize Long Chain-of-Thoughts at Scale through Verifiers [103.4410890572479]
スケーラブルな合成データ生成と検証のためのオープンソースのフレームワークであるLoong Projectを紹介します。
LoongBenchは、12のドメインにまたがる8,729の人為的なサンプルを含む、キュレートされたシードデータセットである。
LoongEnvはモジュラー合成データ生成環境であり、新しい質問応答コードのトリプルを生成する複数のプロンプト戦略をサポートする。
論文 参考訳(メタデータ) (2025-09-03T06:42:40Z) - Open3D-VQA: A Benchmark for Comprehensive Spatial Reasoning with Multimodal Large Language Model in Open Space [38.482463743451625]
本稿では,空から見た複雑な空間関係を推論するMLLMの能力を評価するための新しいベンチマークであるOpen3D-VQAを提案する。
このベンチマークは、7つの一般的な空間的推論タスクにまたがる73kのQAペアで構成されている。
論文 参考訳(メタデータ) (2025-03-14T05:35:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。