論文の概要: LMM Modality Transfer: A Pre-requisite for Autonomous GIS Agents

• arxiv url: http://arxiv.org/abs/2608.06948v1
• Date: Fri, 07 Aug 2026 08:25:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.413679
• Title: LMM Modality Transfer: A Pre-requisite for Autonomous GIS Agents
• Title（参考訳）: LMMモダリティ伝達:自律型GISエージェントの前提条件
• Abstract要約: 大規模マルチモーダルモデル(LMM)は、画像とテキストベースのモダリティをシームレスに遷移させる必要がある。 LMMにおける強固で堅牢な地理空間的理解を達成するには、厳密でマルチモーダルなアライメントが必要である。
• 参考スコア（独自算出の注目度）: 38.298564468372376
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI models are becoming increasingly adept at understanding and processing spatial information, thereby facilitating agentic problem-solving in spatial tasks and workflows. However, most of the research on their spatial capabilities (e.g., spatial reasoning) has focused on the textual modality as input and output. This contrasts with the human approach to GIS workflows, where text and visual modalities are often used together, interchangeably, and in a complementary manner. Thus, to truly achieve an automated GIS analysis pipeline or carry out human-designed GIS workflows, AI models --- Large Multimodal Models (LMMs) in particular --- need to be able to seamlessly transition between image- and text-based modalities that are traditionally used in such workflows. We present a modality transfer task that (1) asks an LMM to first describe an input image of colored squares in a regular grid, and (2) asks a new LMM instance to re-generate an image of the original spatial scene using the textual description output by the former model. This task quantifies the ability of LMMs to transfer spatial information between image and text modalities. Ultimately, by examining the modality transfer capability of LMMs through the lens of spatial information theory, this work highlights a critical bottleneck: achieving strong and robust geospatial understanding in LMMs requires rigorous, multi-modal alignment. Our results indicate that recent LMMs (here from OpenAI) still struggle with modality transfer, when tasked with re-generating an image of a simple spatial grid of color squares.
• Abstract（参考訳）: AIモデルは、空間的な情報を理解し、処理しやすくなってきているため、空間的なタスクやワークフローにおけるエージェント的な問題解決が容易になっている。 しかし、その空間的能力(例えば空間的推論)に関する研究の大部分は、入力と出力としてのテキストのモダリティに焦点を当てている。 これはGISワークフローに対する人間のアプローチとは対照的であり、テキストと視覚のモダリティは相互に、補完的に、しばしば一緒に使用される。 したがって、自動化されたGIS分析パイプラインを真に達成したり、人間の設計したGISワークフローを実行するために、AIモデル --- 大規模マルチモーダルモデル(LMM) -- は、従来そのようなワークフローで用いられてきた画像とテキストベースのモダリティをシームレスに移行させる必要がある。 本稿では,(1)LMMに正規格子内の色付き正方形の入力画像を記述するよう依頼し,(2)LMMインスタンスに元の空間シーンの画像を元のモデルが出力したテキスト記述を用いて再生成するよう依頼するモダリティ伝達タスクを提案する。 このタスクは、画像とテキストのモダリティ間で空間情報を転送するLMMの能力を定量化する。 最終的に、空間情報理論のレンズを通してLMMのモダリティ伝達能力を調べることで、この研究は重要なボトルネックを浮き彫りにする。 以上の結果から,近年のLMM(以下OpenAIより)は,色四角の単純な空間格子のイメージを再現する作業において,モダリティ伝達に苦慮していることが明らかとなった。

関連論文リスト

• PositionOCR: Augmenting Positional Awareness in Multi-Modal Models via Hybrid Specialist Integration [17.887453138676964]
  本研究では,テキストスポッティングモデルの強みをLLMの文脈的推論とシームレスに統合するパラメータ効率の高いハイブリッドアーキテクチャであるPlaceOCRを紹介する。 このフレームワークは、特にテキストグラウンドやテキストスポッティングといったタスクに優れた、優れたマルチモーダル処理能力を示す。
  論文  参考訳（メタデータ） (2026-02-22T13:36:48Z)
• MLLM-Guided VLM Fine-Tuning with Joint Inference for Zero-Shot Composed Image Retrieval [50.062817677022586]
  Zero-Shot Image Retrieval (ZS-CIR) メソッドは通常、参照イメージを擬似テキストトークンに変換するアダプタを訓練する。 MLLM-Guided VLM Fine-Tuning with Joint Inference (MVFT-JI) を提案する。
  論文  参考訳（メタデータ） (2025-05-26T08:56:59Z)
• From Text to Space: Mapping Abstract Spatial Models in LLMs during a Grid-World Navigation Task [0.0]
  グリッドワールドナビゲーションタスクにおける大規模言語モデル(LLM)の性能と内部アクティベーションに及ぼすテキストベース空間表現の影響について検討する。 実験の結果, 空間のカルデシアン表現は, モデルサイズに比例して高い成功率と経路効率が得られることがわかった。 この研究は、LLMが空間情報をどのように処理するかの理解を深め、より解釈可能で堅牢なエージェントAIシステムの開発に有用な洞察を提供する。
  論文  参考訳（メタデータ） (2025-02-23T19:09:01Z)
• Towards Text-Image Interleaved Retrieval [49.96332254241075]
  テキスト画像検索(TIIR)タスクを導入し、クエリと文書をインターリーブしたテキスト画像シーケンスとする。 我々は、自然にインターリーブされたwikiHowチュートリアルに基づいてTIIRベンチマークを構築し、インターリーブされたクエリを生成するために特定のパイプラインを設計する。 異なる粒度で視覚トークンの数を圧縮する新しいMMEを提案する。
  論文  参考訳（メタデータ） (2025-02-18T12:00:47Z)
• Large Language Models for Multimodal Deformable Image Registration [50.91473745610945]
  そこで本研究では,様々な医用画像からの深い特徴の整合を図るために,新しい粗いMDIRフレームワークLLM-Morphを提案する。 具体的には、まずCNNエンコーダを用いて、クロスモーダル画像ペアから深い視覚的特徴を抽出し、次に、最初のアダプタを使ってこれらのトークンを調整する。 第3に、トークンのアライメントのために、他の4つのアダプタを使用して、LLM符号化トークンをマルチスケールの視覚特徴に変換し、マルチスケールの変形場を生成し、粗いMDIRタスクを容易にする。
  論文  参考訳（メタデータ） (2024-08-20T09:58:30Z)
• Rethinking Visual Prompting for Multimodal Large Language Models with External Knowledge [76.45868419402265]
  マルチモーダルな大言語モデル(MLLM)は、膨大な高品質の画像テキストデータセットをトレーニングすることで、大きな進歩を遂げている。 しかし、マスクのような細粒度や空間的に密集した情報をテキストで明示的に伝達することの難しさは、MLLMにとって困難である。 本稿では、特殊な視覚モデルから派生した細粒度の外部知識をMLLMに統合する新しい視覚的プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:43:30Z)
• NExT-Chat: An LMM for Chat, Detection and Segmentation [78.30612799235607]
  pix2emb法を導入し、LMMに位置埋め込みを出力し、異なるデコーダでデコードする。 NExT-Chatという名前のLMMをトレーニングし、視覚的接地、領域キャプション、接地的推論といった複数のタスクを処理できることを実証する。
  論文  参考訳（メタデータ） (2023-11-08T07:15:05Z)
• Self-Supervised Neuron Segmentation with Multi-Agent Reinforcement Learning [53.00683059396803]
  マスク画像モデル(MIM)は,マスク画像から元の情報を復元する簡便さと有効性から広く利用されている。 本稿では、強化学習(RL)を利用して最適な画像マスキング比とマスキング戦略を自動検索する決定に基づくMIMを提案する。 本手法は,ニューロン分節の課題において,代替自己監督法に対して有意な優位性を有する。
  論文  参考訳（メタデータ） (2023-10-06T10:40:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。