論文の概要: SAT: Spatial Aptitude Training for Multimodal Language Models

• arxiv url: http://arxiv.org/abs/2412.07755v1
• Date: Tue, 10 Dec 2024 18:52:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:38:13.547053
• Title: SAT: Spatial Aptitude Training for Multimodal Language Models
• Title（参考訳）: SAT:マルチモーダル言語モデルのための空間的適性トレーニング
• Authors: Arijit Ray, Jiafei Duan, Reuben Tan, Dina Bashkirova, Rose Hendrix, Kiana Ehsani, Aniruddha Kembhavi, Bryan A. Plummer, Ranjay Krishna, Kuo-Hao Zeng, Kate Saenko,
• Abstract要約: 本研究では,空間知能を向上させるためにSAT,空間適性トレーニングを導入する。 SATには、トレーニングとテストセット全体で22Kの合成シーンのための218Kの質問応答ペアが含まれている。 SAT命令チューニングデータは,SAT上での動的空間推論だけでなく,既存の実画像空間ベンチマーク上でのゼロショット性能も向上することを示す。
• 参考スコア（独自算出の注目度）: 77.47422592453614
• License:
• Abstract: Spatial perception is a fundamental component of intelligence. While many studies highlight that large multimodal language models (MLMs) struggle to reason about space, they only test for static spatial reasoning, such as categorizing the relative positions of objects. Meanwhile, real-world deployment requires dynamic capabilities like perspective-taking and egocentric action recognition. As a roadmap to improving spatial intelligence, we introduce SAT, Spatial Aptitude Training, which goes beyond static relative object position questions to the more dynamic tasks. SAT contains 218K question-answer pairs for 22K synthetic scenes across a training and testing set. Generated using a photo-realistic physics engine, our dataset can be arbitrarily scaled and easily extended to new actions, scenes, and 3D assets. We find that even MLMs that perform relatively well on static questions struggle to accurately answer dynamic spatial questions. Further, we show that SAT instruction-tuning data improves not only dynamic spatial reasoning on SAT, but also zero-shot performance on existing real-image spatial benchmarks: $23\%$ on CVBench, $8\%$ on the harder BLINK benchmark, and $18\%$ on VSR. When instruction-tuned on SAT, our 13B model matches larger proprietary MLMs like GPT4-V and Gemini-3-1.0 in spatial reasoning. Our data/code is available at http://arijitray1993.github.io/SAT/ .
• Abstract（参考訳）: 空間知覚は知性の基本的な構成要素である。 多くの研究は、大きなマルチモーダル言語モデル(MLM)が空間についての推論に苦労していることを強調しているが、それらはオブジェクトの相対的な位置の分類のような静的な空間的推論のためにのみテストする。 一方、現実世界のデプロイメントには、パースペクティブテイキングやエゴセントリックなアクション認識のような動的な機能が必要です。 空間知性向上のロードマップとして,静的な相対的対象位置問題から,よりダイナミックなタスクへと向かうSAT,空間適性トレーニングを導入する。 SATには、トレーニングとテストセット全体で22Kの合成シーンのための218Kの質問応答ペアが含まれている。 フォトリアリスティックな物理エンジンを使って生成されたデータセットは、任意のスケールで、新しいアクションやシーン、そして3Dアセットに簡単に拡張できます。 静的な質問に対して比較的よく機能するMLMでさえ、動的空間的な質問に正確に答えるのに苦労していることがわかった。 さらに、SAT命令チューニングデータにより、SAT上の動的空間推論だけでなく、既存の実画像空間ベンチマーク上でのゼロショット性能も向上することを示し、CVBench上では23\%、より硬いBLINKベンチマークでは8\%、VSR上では18\%である。 SAT上での命令チューニングでは,空間的推論において GPT4-V や Gemini-3-1.0 のような大型の MLM と一致する。 私たちのデータ/コードはhttp://arijitray1993.github.io/SAT/で利用可能です。

関連論文リスト

• Coarse Correspondences Boost Spatial-Temporal Reasoning in Multimodal Language Model [51.83436609094658]
  本稿では,2次元画像を入力として,MLLMの時空間推論を強化する軽量な手法である粗対応を導入する。 本手法は,映像のフレーム間や異なる視点における主物体の対応性を特定するために,軽量な追跡モデルを用いている。 この単純なトレーニングフリーアプローチは、4つのベンチマークでGPT4-V/Oに一定の利得をもたらすことを実証する。
  論文  参考訳（メタデータ） (2024-08-01T17:57:12Z)
• MMScan: A Multi-Modal 3D Scene Dataset with Hierarchical Grounded Language Annotations [55.022519020409405]
  本稿では,マルチモーダルな3Dシーンデータセットと階層型言語アノテーションを用いたベンチマーク,MMScanを構築した。 結果として得られたマルチモーダルな3Dデータセットは、109kオブジェクトと7.7kリージョン上の1.4Mメタアノテーション付きキャプションと、3Dビジュアルグラウンドと質問応答ベンチマークのための3.04M以上の多様なサンプルを含んでいる。
  論文  参考訳（メタデータ） (2024-06-13T17:59:30Z)
• SpatialVLM: Endowing Vision-Language Models with Spatial Reasoning Capabilities [59.39858959066982]
  空間的関係についての理解と推論は、視覚質問応答(VQA)とロボット工学の基本的な能力である。 我々は,1000万枚の実画像に対して,最大20億個のVQAサンプルをスケール可能な3次元空間VQAデータ自動生成フレームワークを開発した。 このようなデータに基づいてVLMを訓練することにより、定性的空間的VQAと定量的空間的VQAの両方において、その能力を大幅に向上する。
  論文  参考訳（メタデータ） (2024-01-22T18:01:01Z)
• What's "up" with vision-language models? Investigating their struggle with spatial reasoning [76.2406963762722]
  3つの新しいコーパスは基本空間関係のモデル理解を定量化する。 我々は18の視覚言語(VL)モデルを評価し、全てが不十分であることが判明した。 私たちはこの驚くべき行動の原因を研究することで結論付ける。
  論文  参考訳（メタデータ） (2023-10-30T17:50:15Z)
• W2SAT: Learning to generate SAT instances from Weighted Literal Incidence Graphs [11.139131079925113]
  W2SATは、現実世界/産業インスタンスから固有の構造と特性を学ぶことによってSAT式を生成するフレームワークである。 Weighted Literal Incidence Graph (WLIG)と呼ばれる新しいSAT表現を導入する。 WLIGからSAT問題への復号化は、新しい丘登り最適化法で重なり合う斜角を見つけることをモデル化する。
  論文  参考訳（メタデータ） (2023-02-01T06:30:41Z)
• Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
  本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。 我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。 そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-22T03:17:35Z)
• StepGame: A New Benchmark for Robust Multi-Hop Spatial Reasoning in Texts [12.254118455438535]
  本稿では,テキストにおけるマルチホップ空間推論のためのSteepGameと呼ばれる質問応答データセットを提案する。 また,空間推論タスクに特化したメモリ拡張ニューラルネットワーク(TP-MANN)を提案する。
  論文  参考訳（メタデータ） (2022-04-18T12:46:46Z)
• SpartQA: : A Textual Question Answering Benchmark for Spatial Reasoning [10.810615375345511]
  本稿では,自然言語テキストにおける空間推論のベンチマークを提案する。 ビジュアルシーンと対応するQAペアの空間的な記述を自動的に生成する文法と推論ルールを設計します。 実験により、これらの自動生成データに対する lms のさらなる事前学習は空間理解における lms の能力を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2021-04-12T21:37:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。