論文の概要: Minimal Local Simulation Foundations for LLM- and VLM-Driven Agents in 2D and 3D Environments

• arxiv url: http://arxiv.org/abs/2608.22833v1
• Date: Mon, 24 Aug 2026 05:56:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.903163
• Title: Minimal Local Simulation Foundations for LLM- and VLM-Driven Agents in 2D and 3D Environments
• Title（参考訳）: 2次元および3次元環境におけるLDMおよびVLM駆動型エージェントのための最小局所シミュレーション基盤
• Abstract要約: 故意に最小限の2つのシミュレーション基盤を教育と迅速なプロトタイピングに提示する。 SD-AgentFoundry-2Dは、ローカルにホストされたLLMエージェントが移動し、通信し、場所占有に反応し、空間的に局所化された火災イベントに遭遇する2次元のマルチエージェント環境を提供する。 SD-AgentFoundry-3Dは3次元デジタル双対環境を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) and vision-language models (VLMs) are expanding the range of behaviors that can be represented in agent-based simulations, but many contemporary platforms are difficult to study, modify, or run on ordinary computers. We present two intentionally minimal simulation foundations for education and rapid prototyping. SD-AgentFoundry-2D provides a two-dimensional multi-agent environment in which locally hosted LLM agents move, communicate, respond to place occupancy, and encounter spatially localized fire events. SD-AgentFoundry-3D provides a three-dimensional digital-twin environment in which a locally hosted VLM receives first-person images and produces natural-language movement instructions. Both codebases are designed to run locally on macOS, Windows, and Linux and are deliberately left open to modification rather than developed as finished applications. Together, they offer accessible starting points for learning about generative social simulation and for building domain-specific extensions.
• Abstract（参考訳）: 大規模言語モデル (LLMs) と視覚言語モデル (VLMs) はエージェントベースのシミュレーションで表現できる行動範囲を拡大しているが、多くの現代のプラットフォームは、通常のコンピュータでの研究、修正、実行が困難である。 故意に最小限の2つのシミュレーション基盤を教育と迅速なプロトタイピングに提示する。 SD-AgentFoundry-2Dは、ローカルにホストされたLLMエージェントが移動し、通信し、場所占有に反応し、空間的に局所化された火災イベントに遭遇する2次元のマルチエージェント環境を提供する。 SD-AgentFoundry-3Dは3次元デジタル双対環境を提供する。 どちらのコードベースもmacOS、Windows、Linux上でローカルに動作するように設計されている。 同時に、生成的社会シミュレーションについて学び、ドメイン固有の拡張を構築するための、アクセス可能な出発点を提供する。

関連論文リスト

• LychSim: A Controllable and Interactive Simulation Framework for Vision Research [13.971578506119647]
  Unreal Engine 5上に構築された高度に制御可能でインタラクティブなシミュレーションフレームワークであるLychSimを紹介します。 LychSimは、(1)エンジンの複雑さを抽象化するPython APIの合理化、(2)様々なアウト・オブ・ディストリビューション(OOD)による多様な高忠実な環境を生成可能なプロシージャデータパイプライン、(3)エージェントLLMを推論するためにシミュレータを動的にクローズループグラウンドに変換するModel Context Protocol(MCP)のネイティブな統合、の3つの主要な設計に基づいて構築されている。
  論文  参考訳（メタデータ） (2026-05-12T17:40:38Z)
• SimWorld Studio: Automatic Environment Generation with Evolving Coding Agent for Embodied Agent Learning [21.4605333924798]
  SimWorld StudioはUnreal Engine 5上に構築されたオープンソースのプラットフォームで、進化するエンボディド学習環境を生成する。 コアとなるSimCoderは、ツール/スキル強化されたコーディングエージェントで、エンジンレベルのコードを書き、実行して、物理的に接地された3D世界を構築する。 生成された世界は、具体的エージェント学習のためのGymスタイルの環境としてエクスポートされる。
  論文  参考訳（メタデータ） (2026-05-10T08:51:50Z)
• SpatialGrammar: A Domain-Specific Language for LLM-Based 3D Indoor Scene Generation [19.357730085947523]
  本研究では,BEVグリッド配置として重心関係の屋内配置を表すドメイン固有言語であるSpatialGrammarを提案する。 SG-Agentは、コンパイラフィードバックを用いてシーンを反復的に洗練し、衝突制約を強制するクローズドループシステムであり、SG-Miniは、完全にコンパイラ検証された合成データに基づいて訓練された104M-パラメータモデルである。
  論文  参考訳（メタデータ） (2026-04-30T08:04:42Z)
• VirtualEnv: A Platform for Embodied AI Research [26.527818430035534]
  Unreal Engine 5上に構築された次世代シミュレーションプラットフォームであるVirtualEnvを紹介します。 具体的でインタラクティブなシナリオにおいて、大きな言語モデル(LLM)のきめ細かいベンチマークを可能にする。 私たちはUnreal Engine上に構築されたユーザフレンドリなAPIを提供しており、研究者はLLM駆動エージェントをデプロイし、制御することができます。
  論文  参考訳（メタデータ） (2026-01-12T14:04:38Z)
• GaussianVLM: Scene-centric 3D Vision-Language Models using Language-aligned Gaussian Splats for Embodied Reasoning and Beyond [56.677984098204696]
  マルチモーダル言語モデルは、VLM(3D Vision-Language Models)の開発を推進している 本稿では,言語とタスク認識のシーン表現を用いた3次元ガウシアンスプラットシーンのためのシーン中心の3次元VLMを提案する。 本稿では,標準RGB画像から導出した光リアルな3D表現を利用した最初のガウススプラッティングに基づくVLMを提案する。
  論文  参考訳（メタデータ） (2025-07-01T15:52:59Z)
• Agentic 3D Scene Generation with Spatially Contextualized VLMs [67.31920821192323]
  本稿では,複雑な3D環境の生成,理解,編集を可能にする新しいパラダイムを提案する。 我々は,VLMが空間コンテキストから反復的に読み取って更新するエージェント型3Dシーン生成パイプラインを開発した。 その結果,我々のフレームワークは多様かつ困難な入力を処理でき,事前の作業では観測できないような一般化のレベルを達成することができることがわかった。
  論文  参考訳（メタデータ） (2025-05-26T15:28:17Z)
• Visual Language Models as Operator Agents in the Space Domain [36.943670587532026]
  VLM(Vision-Language Models)は、宇宙ミッションにおける自律的な制御と意思決定を強化する。 ソフトウェア環境では、複雑な軌道操作を行うために、VLMを用いてグラフィカルユーザインタフェースの視覚的なスクリーンショットを解釈する。 ハードウェアの分野では、衛星などの物理空間オブジェクトを検査・診断するためのカメラを備えたロボットシステムとVLMを統合する。
  論文  参考訳（メタデータ） (2025-01-14T03:03:37Z)
• LayoutVLM: Differentiable Optimization of 3D Layout via Vision-Language Models [57.92316645992816]
  空間的推論は人間の認知の基本的側面であり、三次元空間における物体の直感的な理解と操作を可能にする。 視覚言語モデル(VLM)のセマンティック知識を活用するフレームワークおよびシーンレイアウト表現であるLayoutVLMを紹介する。 本稿では,既存のシーンデータセットから抽出したシーンレイアウト表現を用いた微調整VLMによる推論性能の向上を実証する。
  論文  参考訳（メタデータ） (2024-12-03T06:15:04Z)
• LLMI3D: MLLM-based 3D Perception from a Single 2D Image [77.13869413871028]
  マルチモーダルな大言語モデル(MLLM)は、一般的な能力では優れているが、3Dタスクでは性能が劣る。 本稿では,3次元局所空間物体認識の弱さ,テキストに基づく幾何学的数値出力の低さ,カメラ焦点変動の処理能力の低下に対する解決策を提案する。 我々は,事前学習したMLLMに対してパラメータ効率の良い微調整を採用し,強力な3次元知覚MLLMであるLLMI3Dを開発した。
  論文  参考訳（メタデータ） (2024-08-14T10:00:16Z)
• LEGENT: Open Platform for Embodied Agents [60.71847900126832]
  LEGENTはLarge Language Models (LLM) とLarge Multimodal Models (LMM) を用いたエンボディエージェントを開発するためのオープンでスケーラブルなプラットフォームである。 LEGENTはリッチでインタラクティブな3D環境を提供し、コミュニケーション可能でアクション可能なエージェントをユーザフレンドリーなインターフェースと組み合わせている。 実験では、EGENT生成データに基づいて訓練された胚性視覚言語モデルが、エンボディタスクにおいてGPT-4Vを超える。
  論文  参考訳（メタデータ） (2024-04-28T16:50:12Z)
• Volumetric Environment Representation for Vision-Language Navigation [66.04379819772764]
  視覚言語ナビゲーション(VLN)は、視覚的な観察と自然言語の指示に基づいて、エージェントが3D環境をナビゲートする必要がある。 本研究では,物理世界を3次元構造細胞にボクセル化するボリューム環境表現(VER)を提案する。 VERは3D占有率、3D部屋レイアウト、および3Dバウンディングボックスを共同で予測する。
  論文  参考訳（メタデータ） (2024-03-21T06:14:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。