論文の概要: Towards a Data-Centric Understanding of Spatial Reasoning in Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2610.19108v1
• Date: Tue, 13 Oct 2026 19:42:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.775388
• Title: Towards a Data-Centric Understanding of Spatial Reasoning in Multimodal Large Language Models
• Title（参考訳）: マルチモーダル大言語モデルにおける空間推論のデータ中心的理解に向けて
• Abstract要約: MLLM(Multimodal Large Language Models)は、視覚タスクのためのエンボディエージェントやロボティクスに広く応用されている。 MLLMは空間的推論と知覚の限界に悩まされる。 空間的推論タスクのための微調整事前学習MLLMへのアプローチを検討する。
• 参考スコア（独自算出の注目度）: 0.3541849852479177
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Large Language Models (MLLMs) have been widely applied in embodied agents and robotics for vision tasks. However, MLLMs suffer from limitations in spatial reasoning and perception. Post-training techniques have shown promise for improving these capabilities; yet, there are limited data-driven surveys of such approaches. In this survey, we consider approaches to fine-tuning pretrained MLLMs for spatial reasoning tasks, ranging from supervised to reinforcement learning, with an emphasis on the datasets used. We investigate themes of dataset construction, data modality and annotation, and evaluation of the resulting models. Based on these themes, we categorize research into three groups: dataset design, dataset construction and evaluation. We find four main methods for constructing fixed spatial annotations: rules and templates, LLM prompting, procedural generation, and human-in-the-loop. We also observe substantial variation in evaluation approaches, including different scoring methods, tolerance metrics, and benchmark types. Finally, we identify opportunities for future research in unified dynamic annotation, efficient spatial reasoning, standardization of evaluation, expanded spatial range, and human-centered spatial interactions.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、視覚タスクのためのエンボディエージェントやロボティクスに広く応用されている。 しかし、MLLMは空間的推論と知覚の限界に悩まされる。 ポストトレーニング技術はこれらの能力を改善することを約束しているが、そのようなアプローチに関するデータ駆動の調査は限られている。 本研究では,教師付き学習から強化学習まで,空間推論タスクのための微調整済みMLLMへのアプローチを,使用するデータセットに重点を置いて検討する。 データセット構築,データモダリティ,アノテーションのテーマについて検討し,得られたモデルの評価を行う。 これらのテーマに基づいて、データセット設計、データセット構築、評価の3つのグループに分類する。 固定空間アノテーションの構築には,ルールとテンプレート,LCMプロンプト,手続き生成,ループ内人間という4つの主要な方法が考えられる。 また、評価手法の異なる評価方法、トレランス指標、ベンチマークタイプなど、評価手法のかなりのバリエーションも観察する。 最後に, 統合動的アノテーション, 効率的な空間推論, 評価の標準化, 拡張空間範囲, 人中心空間相互作用における今後の研究機会を明らかにした。

関連論文リスト

• Multimodal Spatial Reasoning in the Large Model Era: A Survey and Benchmarks [108.15756345836901]
  大規模モデルを用いたマルチモーダル空間推論タスクの包括的レビューを行う。 我々は、視覚言語ナビゲーションやアクションモデルを含む、具体的AIの進歩についてレビューする。 我々は,新しいセンサによる空間的理解に寄与する音声やエゴセントリックビデオなどの新たなモダリティを考察する。
  論文  参考訳（メタデータ） (2025-10-29T17:55:43Z)
• On the Evolution of Federated Post-Training Large Language Models: A Model Accessibility View [82.19096285469115]
  Federated Learning (FL)は、クライアントデータのプライバシを保持しながら、分散データサイロをまたいだトレーニングモデルを可能にする。 近年,FL内での大規模言語モデル (LLM) の学習を効率化し,計算・通信の課題に対処する手法が研究されている。 これらの制限に対処するために、推論のみのパラダイム(ブラックボックスのFedLLM)が登場した。
  論文  参考訳（メタデータ） (2025-08-22T09:52:31Z)
• Can Large Language Models Integrate Spatial Data? Empirical Insights into Reasoning Strengths and Computational Weaknesses [11.330846631937671]
  我々は,大規模で異質で騒々しい都市空間データセットの統合において,ドメインエキスパートに力を与えるために,大規模言語モデル(LLM)の適用について検討する。 LLMは空間的推論能力を示すが、マクロスケール環境と関連する計算幾何学的タスクを結びつけるのに苦労している。 この手法は, 正確な応答を保ちながら, 誤った初期応答の補正に極めて有効であることを示す。
  論文  参考訳（メタデータ） (2025-08-07T03:44:20Z)
• SpatialScore: Towards Unified Evaluation for Multimodal Spatial Understanding [64.15606979785355]
  マルチモーダル大規模言語モデル(MLLM)は,質問応答タスクにおいて顕著な成功を収めているが,空間的理解能力は乏しい。 既存のMLLMは3次元空間認識と理解能力を持っているか?
  論文  参考訳（メタデータ） (2025-05-22T17:59:03Z)
• Diversity as a Reward: Fine-Tuning LLMs on a Mixture of Domain-Undetermined Data [54.3895971080712]
  多様なデータセットを使用した細調整された大規模言語モデル(LLM)は、さまざまな領域にわたる全体的なパフォーマンス向上に不可欠である。 本稿では,LLMに2つのアイデンティティを与える新しい手法を提案する。多様性報酬に基づいてデータを認知的に探索し,選択する出力モデルと,選択したデータに調整する入力モデルである。
  論文  参考訳（メタデータ） (2025-02-05T17:21:01Z)
• A Survey of Multimodal Large Language Model from A Data-centric Perspective [46.57232264950785]
  マルチモーダル大言語モデル(MLLM)は、複数のモーダルからのデータの統合と処理によって、標準的な大言語モデルの能力を高める。 データはこれらのモデルの開発と改良において重要な役割を担います。
  論文  参考訳（メタデータ） (2024-05-26T17:31:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。