論文の概要: From Text to Space: Mapping Abstract Spatial Models in LLMs during a Grid-World Navigation Task

• arxiv url: http://arxiv.org/abs/2502.16690v1
• Date: Sun, 23 Feb 2025 19:09:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:54:32.558035
• Title: From Text to Space: Mapping Abstract Spatial Models in LLMs during a Grid-World Navigation Task
• Title（参考訳）: テキストから空間へ:グリッドワールドナビゲーションタスクにおけるLLMの抽象空間モデルマッピング
• Authors: Nicolas Martorell,
• Abstract要約: グリッドワールドナビゲーションタスクにおける大規模言語モデル(LLM)の性能と内部アクティベーションに及ぼすテキストベース空間表現の影響について検討する。 実験の結果, 空間のカルデシアン表現は, モデルサイズに比例して高い成功率と経路効率が得られることがわかった。 この研究は、LLMが空間情報をどのように処理するかの理解を深め、より解釈可能で堅牢なエージェントAIシステムの開発に有用な洞察を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Understanding how large language models (LLMs) represent and reason about spatial information is crucial for building robust agentic systems that can navigate real and simulated environments. In this work, we investigate the influence of different text-based spatial representations on LLM performance and internal activations in a grid-world navigation task. By evaluating models of various sizes on a task that requires navigating toward a goal, we examine how the format used to encode spatial information impacts decision-making. Our experiments reveal that cartesian representations of space consistently yield higher success rates and path efficiency, with performance scaling markedly with model size. Moreover, probing LLaMA-3.1-8B revealed subsets of internal units, primarily located in intermediate layers, that robustly correlate with spatial features, such as the position of the agent in the grid or action correctness, regardless of how that information is represented, and are also activated by unrelated spatial reasoning tasks. This work advances our understanding of how LLMs process spatial information and provides valuable insights for developing more interpretable and robust agentic AI systems.
• Abstract（参考訳）: 大規模言語モデル(LLM)が空間情報をどのように表現し、理由づけるかを理解することは、実環境やシミュレーション環境をナビゲートできる堅牢なエージェントシステムを構築する上で重要である。 本研究では,異なるテキストベースの空間表現がグリッドワールドナビゲーションタスクにおけるLLM性能と内部アクティベーションに与える影響について検討する。 目標に向かってナビゲートする必要があるタスクにおいて,様々な大きさのモデルを評価することにより,空間情報をエンコードする形式が意思決定にどう影響するかを検討する。 実験の結果, 空間のカルデシアン表現は, モデルサイズに比例して高い成功率と経路効率が得られることがわかった。 さらに、LLaMA-3.1-8Bを探索した結果、内部ユニットのサブセットは、主に中間層に位置し、その情報がどのように表現されているかに関わらず、グリッド内のエージェントの位置やアクションの正当性といった空間的特徴と強く相関し、また無関係な空間的推論タスクによって活性化されることが明らかとなった。 この研究は、LLMが空間情報をどのように処理するかの理解を深め、より解釈可能で堅牢なエージェントAIシステムの開発に有用な洞察を提供する。

関連論文リスト

• Mem2Ego: Empowering Vision-Language Models with Global-to-Ego Memory for Long-Horizon Embodied Navigation [35.71602601385161]
  本稿では,視覚言語モデル(VLM)に基づくナビゲーションフレームワークを提案する。 提案手法は,長期タスクにおける空間的推論と意思決定を促進する。 実験の結果,提案手法は従来のオブジェクトナビゲーションタスクの手法を超越していることがわかった。
  論文  参考訳（メタデータ） (2025-02-20T04:41:40Z)
• Sparkle: Mastering Basic Spatial Capabilities in Vision Language Models Elicits Generalization to Composite Spatial Reasoning [19.399925987942204]
  視覚言語モデル (VLM) は、幅広い下流タスクにおいて印象的なパフォーマンスを示している。 評価の結果, 現状のVLMは複合空間推論問題に対して, しばしば不確実かつ不正確な応答を生じさせることが判明した。 そこで本研究では,基本空間能力のみに基づいてモデルをトレーニングすることにより,VLM内の2次元空間推論を効果的に向上する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-21T16:26:09Z)
• Aerial Vision-and-Language Navigation via Semantic-Topo-Metric Representation Guided LLM Reasoning [48.33405770713208]
  本稿では,大規模言語モデル(LLM)をアクション予測のエージェントとして導入する,航空VLNタスクのエンドツーエンドフレームワークを提案する。 我々は, LLMの空間的推論能力を高めるために, セマンティック・トポ・メトリック表現(STMR)を開発した。 実環境およびシミュレーション環境で行った実験は,本手法の有効性とロバスト性を実証した。
  論文  参考訳（メタデータ） (2024-10-11T03:54:48Z)
• Swarm Intelligence in Geo-Localization: A Multi-Agent Large Vision-Language Model Collaborative Framework [51.26566634946208]
  smileGeoは、新しい視覚的ジオローカライゼーションフレームワークである。 エージェント間のコミュニケーションによって、SmithGeoはこれらのエージェントの固有の知識と、検索された情報を統合する。 その結果,本手法は現在の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-08-21T03:31:30Z)
• SpatialRGPT: Grounded Spatial Reasoning in Vision Language Models [68.13636352687257]
  VLMの空間知覚と推論能力を高めるために空間領域GPT(SpatialRGPT)を導入する。 推測中、ユーザが指定した領域の提案が提供されると、SpatialRGPTは相対的な方向と距離を正確に知覚できる。 本研究では,空間的推論タスクにおける局所的プロンプトと非局所的プロンプトの双方において,空間的RGPTにより性能が著しく向上することを示す。
  論文  参考訳（メタデータ） (2024-06-03T17:59:06Z)
• More than Correlation: Do Large Language Models Learn Causal Representations of Space? [6.293100288400849]
  本研究では,大規模言語モデルにおける空間表現の因果関係を明らかにすることに焦点を当てた。 実験の結果,空間表現が次の単語予測におけるモデルの性能に影響を与え,地理空間情報に依存する下流課題が示された。
  論文  参考訳（メタデータ） (2023-12-26T01:27:29Z)
• Rotated Multi-Scale Interaction Network for Referring Remote Sensing Image Segmentation [63.15257949821558]
  Referring Remote Sensing Image (RRSIS)は、コンピュータビジョンと自然言語処理を組み合わせた新しい課題である。 従来の参照画像(RIS)アプローチは、空中画像に見られる複雑な空間スケールと向きによって妨げられている。 本稿ではRMSIN(Rotated Multi-Scale Interaction Network)を紹介する。
  論文  参考訳（メタデータ） (2023-12-19T08:14:14Z)
• Enhancing the Spatial Awareness Capability of Multi-Modal Large Language Model [25.86351431223383]
  MLLM(Multi-Modal Large Language Model)は、マルチモーダルデータの受信と推論機能を備えたLarge Language Model (LLM)の拡張である。 本稿では,MLLMを誘導するオブジェクト間のより正確な空間的位置情報を用いて,ユーザ関連の質問に対するより正確な応答を提供する。
  論文  参考訳（メタデータ） (2023-10-31T10:57:35Z)
• Towards Multimodal Multitask Scene Understanding Models for Indoor Mobile Agents [49.904531485843464]
  本稿では,現実世界の屋内環境におけるラベル付きデータの不十分,あるいは不可能,といった主な課題について論じる。 MMISM (Multi-modality input Multi-task output Indoor Scene Understanding Model) について述べる。 MMISMは、RGB画像だけでなく、スパースライダーポイントを入力と3Dオブジェクト検出、深さ完了、人間のポーズ推定、セマンティックセグメンテーションを出力タスクとみなしている。 MMISMはシングルタスクモデルよりも同等かそれ以上の性能を示す。
  論文  参考訳（メタデータ） (2022-09-27T04:49:19Z)
• Spatial Pyramid Based Graph Reasoning for Semantic Segmentation [67.47159595239798]
  セマンティックセグメンテーションタスクにグラフ畳み込みを適用し、改良されたラプラシアンを提案する。 グラフ推論は、空間ピラミッドとして構成された元の特徴空間で直接実行される。 計算とメモリのオーバーヘッドの利点で同等のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2020-03-23T12:28:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。