論文の概要: SAT: Dynamic Spatial Aptitude Training for Multimodal Language Models

• arxiv url: http://arxiv.org/abs/2412.07755v2
• Date: Thu, 03 Apr 2025 17:59:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-04 19:36:27.769987
• Title: SAT: Dynamic Spatial Aptitude Training for Multimodal Language Models
• Title（参考訳）: SAT:マルチモーダル言語モデルのための動的空間適性トレーニング
• Authors: Arijit Ray, Jiafei Duan, Ellis Brown, Reuben Tan, Dina Bashkirova, Rose Hendrix, Kiana Ehsani, Aniruddha Kembhavi, Bryan A. Plummer, Ranjay Krishna, Kuo-Hao Zeng, Kate Saenko,
• Abstract要約: シミュレーションは,実画像に翻訳する空間的適性を与えるのに驚くほど効果的であることを示す。 シミュレーションにおける完全アノテーションは、擬似アノテーション実画像の既存のアプローチよりも効果的であることを示す。
• 参考スコア（独自算出の注目度）: 78.06537464850538
• License:
• Abstract: Reasoning about motion and space is a fundamental cognitive capability that is required by multiple real-world applications. While many studies highlight that large multimodal language models (MLMs) struggle to reason about space, they only focus on static spatial relationships, and not dynamic awareness of motion and space, i.e., reasoning about the effect of egocentric and object motions on spatial relationships. Manually annotating such object and camera movements is expensive. Hence, we introduce SAT, a simulated spatial aptitude training dataset comprising both static and dynamic spatial reasoning across 175K question-answer (QA) pairs and 20K scenes. Complementing this, we also construct a small (150 image-QAs) yet challenging dynamic spatial test set using real-world images. Leveraging our SAT datasets and 6 existing static spatial benchmarks, we systematically investigate what improves both static and dynamic spatial awareness. Our results reveal that simulations are surprisingly effective at imparting spatial aptitude to MLMs that translate to real images. We show that perfect annotations in simulation are more effective than existing approaches of pseudo-annotating real images. For instance, SAT training improves a LLaVA-13B model by an average 11% and a LLaVA-Video-7B model by an average 8% on multiple spatial benchmarks, including our real-image dynamic test set and spatial reasoning on long videos -- even outperforming some large proprietary models. While reasoning over static relationships improves with synthetic training data, there is still considerable room for improvement for dynamic reasoning questions.
• Abstract（参考訳）: 動きと空間に関する推論は、複数の現実世界のアプリケーションで必要とされる基本的な認知能力である。 多くの研究は、大きなマルチモーダル言語モデル(MLM)が空間について考えるのに苦労していることを強調しているが、それらは静的な空間的関係にのみ焦点を絞っており、運動と空間の動的な認識、すなわち、自我中心と物体の動きが空間的関係に与える影響を推論するものではない。 このような物体やカメラの動きを手動で注釈付けすることは高価である。 そこで本研究では,175K問合せ(QA)対と20Kシーンの静的および動的空間推論を含む空間適性学習データセットSATを紹介する。 また,実世界の画像を用いて,小さな(150イメージQA)空間的テストセットを構築した。 SATデータセットと既存の静的空間ベンチマークを6つ活用し、静的空間認識と動的空間認識の両方の改善点を体系的に検討する。 その結果,実画像に変換されるMLMに空間的適性を与えるのに,シミュレーションが驚くほど効果的であることが判明した。 シミュレーションにおける完全アノテーションは、擬似アノテーション実画像の既存のアプローチよりも効果的であることを示す。 例えば、SATトレーニングでは、LLaVA-13Bモデルを平均11%改善し、LLaVA-Video-7Bモデルを複数の空間ベンチマークで平均8%改善しています。 静的な関係に対する推論は、合成トレーニングデータによって改善されるが、動的推論の質問に対する改善の余地は十分にある。

関連論文リスト

• Coarse Correspondences Boost Spatial-Temporal Reasoning in Multimodal Language Model [51.83436609094658]
  本稿では,2次元画像を入力として,MLLMの時空間推論を強化する軽量な手法である粗対応を導入する。 本手法は,映像のフレーム間や異なる視点における主物体の対応性を特定するために,軽量な追跡モデルを用いている。 この単純なトレーニングフリーアプローチは、4つのベンチマークでGPT4-V/Oに一定の利得をもたらすことを実証する。
  論文  参考訳（メタデータ） (2024-08-01T17:57:12Z)
• MMScan: A Multi-Modal 3D Scene Dataset with Hierarchical Grounded Language Annotations [55.022519020409405]
  本稿では,マルチモーダルな3Dシーンデータセットと階層型言語アノテーションを用いたベンチマーク,MMScanを構築した。 結果として得られたマルチモーダルな3Dデータセットは、109kオブジェクトと7.7kリージョン上の1.4Mメタアノテーション付きキャプションと、3Dビジュアルグラウンドと質問応答ベンチマークのための3.04M以上の多様なサンプルを含んでいる。
  論文  参考訳（メタデータ） (2024-06-13T17:59:30Z)
• SpatialVLM: Endowing Vision-Language Models with Spatial Reasoning Capabilities [59.39858959066982]
  空間的関係についての理解と推論は、視覚質問応答(VQA)とロボット工学の基本的な能力である。 我々は,1000万枚の実画像に対して,最大20億個のVQAサンプルをスケール可能な3次元空間VQAデータ自動生成フレームワークを開発した。 このようなデータに基づいてVLMを訓練することにより、定性的空間的VQAと定量的空間的VQAの両方において、その能力を大幅に向上する。
  論文  参考訳（メタデータ） (2024-01-22T18:01:01Z)
• What's "up" with vision-language models? Investigating their struggle with spatial reasoning [76.2406963762722]
  3つの新しいコーパスは基本空間関係のモデル理解を定量化する。 我々は18の視覚言語(VL)モデルを評価し、全てが不十分であることが判明した。 私たちはこの驚くべき行動の原因を研究することで結論付ける。
  論文  参考訳（メタデータ） (2023-10-30T17:50:15Z)
• W2SAT: Learning to generate SAT instances from Weighted Literal Incidence Graphs [11.139131079925113]
  W2SATは、現実世界/産業インスタンスから固有の構造と特性を学ぶことによってSAT式を生成するフレームワークである。 Weighted Literal Incidence Graph (WLIG)と呼ばれる新しいSAT表現を導入する。 WLIGからSAT問題への復号化は、新しい丘登り最適化法で重なり合う斜角を見つけることをモデル化する。
  論文  参考訳（メタデータ） (2023-02-01T06:30:41Z)
• Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
  本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。 我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。 そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-22T03:17:35Z)
• StepGame: A New Benchmark for Robust Multi-Hop Spatial Reasoning in Texts [12.254118455438535]
  本稿では,テキストにおけるマルチホップ空間推論のためのSteepGameと呼ばれる質問応答データセットを提案する。 また,空間推論タスクに特化したメモリ拡張ニューラルネットワーク(TP-MANN)を提案する。
  論文  参考訳（メタデータ） (2022-04-18T12:46:46Z)
• SpartQA: : A Textual Question Answering Benchmark for Spatial Reasoning [10.810615375345511]
  本稿では,自然言語テキストにおける空間推論のベンチマークを提案する。 ビジュアルシーンと対応するQAペアの空間的な記述を自動的に生成する文法と推論ルールを設計します。 実験により、これらの自動生成データに対する lms のさらなる事前学習は空間理解における lms の能力を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2021-04-12T21:37:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。