論文の概要: A Scene Language Model for Open-Vocabulary Scene Mapping

• arxiv url: http://arxiv.org/abs/2609.21400v1
• Date: Fri, 18 Sep 2026 07:16:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.891326
• Title: A Scene Language Model for Open-Vocabulary Scene Mapping
• Title（参考訳）: オープン・ボキャブラリ・シーンマッピングのためのシーン言語モデル
• Abstract要約: 本稿では,テキストシーンマップを直接管理するSceneLMについて紹介する。 各入力画像について、モデルは現在のシーン状態を読み出し、オブジェクトの追加、編集、削除によってマップを更新する。 SceneLMは四足歩行実験によりエッジデバイス上でオンラインで動作可能であることを示す。
• 参考スコア（独自算出の注目度）: 45.939009358669175
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Open-vocabulary 3D scene mapping aims to build a persistent representation of the objects in an environment. Existing systems typically rely on engineered mapping pipelines to associate observations, merge information across views, and maintain a consistent scene representation over time. Many additionally store feature-rich object representations, such as embeddings or image crops, increasing the size and complexity of the persistent memory. We introduce SceneLM, a Scene-Language Model that directly maintains a textual scene map. The full scene is represented as a structured text list of objects, which serves as the model's only persistent memory. For each input image, the model reads the current scene state and updates the map by adding, editing, and removing objects. To learn this behavior, we introduce supervision tasks for iterative scene map maintenance together with an automatic annotation pipeline that generates training data from images without human labels. We evaluate SceneLM on both a language-grounded retrieval benchmark and a localization benchmark. Across both benchmarks, the model produces a scene map that achieves competitive performance with complete mapping systems built from dedicated perception and geometric modules while producing a scene representation that is 6-12x more compact. We further show that SceneLM can be run online on an edge device through experiments on a quadruped. These results show that a persistent open-vocabulary 3D scene map can be maintained directly by a single vision-language model using only a lightweight text representation. Training and inference code is available on https://goldengait.github.io/scenelm/.
• Abstract（参考訳）: Open-vocabulary 3D scene mappingは、環境内のオブジェクトの永続的な表現を構築することを目的としている。 既存のシステムは一般的に、観測を関連付け、ビューをまたいだ情報をマージし、時間とともに一貫したシーン表現を維持するために、エンジニアリングされたマッピングパイプラインに依存します。 さらに、埋め込みやイメージクロップといった機能豊富なオブジェクト表現を格納し、永続メモリのサイズと複雑さを増大させる。 本稿では,テキストシーンマップを直接管理するSceneLMについて紹介する。 全シーンは構造化されたオブジェクトのテキストリストとして表現され、モデルで唯一永続的なメモリとして機能する。 各入力画像について、モデルは現在のシーン状態を読み出し、オブジェクトの追加、編集、削除によってマップを更新する。 この振る舞いを学習するために、人間のラベルなしで画像からトレーニングデータを生成する自動アノテーションパイプラインとともに、反復的なシーンマップメンテナンスのための監督タスクを導入する。 我々はSceneLMを言語基底検索ベンチマークとローカライズベンチマークの両方で評価する。 両方のベンチマークにおいて、このモデルは、専用の知覚と幾何学的加群から構築された完全なマッピングシステムを用いて、よりコンパクトなシーン表現を生成しながら、競合する性能を達成するシーンマップを生成する。 さらに、SceneLMは四足歩行実験を通じてエッジデバイス上でオンラインで動作可能であることを示す。 これらの結果から, オープンな3次元シーンマップは, 軽量テキスト表現のみを用いて, 単一の視覚言語モデルで直接維持できることが示唆された。 トレーニングと推論のコードはhttps://goldengait.github.io/scenelm/で公開されている。

関連論文リスト

• Memory Over Maps: 3D Object Localization Without Reconstruction [44.29345996003297]
  ターゲットローカライゼーションは、ナビゲーションや操作といった具体的タスクの前提条件である。 視覚言語モデルの最近の進歩は、リッチなセマンティック推論を2次元観察で直接実行できることを示唆している。 シーンのグローバルな3次元表現を構築することなく,RGB-Dのみを軽量なヴィジュアルメモリとして格納するマップフリーパイプラインを提案する。
  論文  参考訳（メタデータ） (2026-03-20T21:57:51Z)
• Decorum: A Language-Based Approach For Style-Conditioned Synthesis of Indoor 3D Scenes [18.232310061758298]
  3次元屋内シーン生成は,デジタルおよび実環境の設計において重要な課題である。 このタスクの既存の方法は、これらの属性に対して非常に限定的な制御を示す。 提案手法であるDecorumにより,自然言語によるシーン生成プロセスの制御が可能となる。
  論文  参考訳（メタデータ） (2025-03-23T17:48:44Z)
• Teaching VLMs to Localize Specific Objects from In-context Examples [56.797110842152]
  現在、視覚言語モデル(VLM)には、状況を考慮した特定の物体をシーン内でローカライズする学習という、基本的な認知能力がないことが分かっています。 この研究は、VLMのパーソナライズされた数ショットのローカライゼーションを探索し、ベンチマークした初めてのものである。
  論文  参考訳（メタデータ） (2024-11-20T13:34:22Z)
• SceneScript: Reconstructing Scenes With An Autoregressive Structured Language Model [7.707324214953882]
  SceneScriptは、構造化言語コマンドのシーケンスとして、フルシーンモデルを生成するメソッドである。 本手法は,符号化された視覚データから直接構造化言語コマンドのセットを推論する。 提案手法は,3次元オブジェクト検出において,構造的レイアウト推定における最先端の成果と競合する結果を与える。
  論文  参考訳（メタデータ） (2024-03-19T18:01:29Z)
• Explore and Tell: Embodied Visual Captioning in 3D Environments [83.00553567094998]
  現実のシナリオでは、ひとつのイメージは良い視点を与えず、きめ細かいシーン理解を妨げる可能性がある。 本稿では,視覚的キャプションモデルにナビゲーション機能を持たせるEmbodied Captioningという新しいタスクを提案する。 本稿では,この課題に対処するために,ナビゲータとキャプタを組み合わせたCascade Embodied Captioning Model (CaBOT)を提案する。
  論文  参考訳（メタデータ） (2023-08-21T03:46:04Z)
• Neural Groundplans: Persistent Neural Scene Representations from a Single Image [90.04272671464238]
  本稿では,シーンの2次元画像観察を永続的な3次元シーン表現にマッピングする手法を提案する。 本稿では,永続的でメモリ効率のよいシーン表現として,条件付きニューラルグラウンドプランを提案する。
  論文  参考訳（メタデータ） (2022-07-22T17:41:24Z)
• Bringing Image Scene Structure to Video via Frame-Clip Consistency of Object Tokens [93.98605636451806]
  StructureViTは、トレーニング中にのみ利用可能な少数の画像の構造を利用することで、ビデオモデルを改善する方法を示している。 SViTでは、複数のビデオ理解タスクとデータセットのパフォーマンスが大幅に向上している。
  論文  参考訳（メタデータ） (2022-06-13T17:45:05Z)
• Scene Retrieval for Contextual Visual Mapping [22.37892767050086]
  ビジュアルナビゲーションは、視覚的マップとしても知られる場所画像の参照データベースに対してクエリプレース画像をローカライズする。 シーンクラスは、環境とタスクのコンテキストによって異なります。 歩行者と駅を含む4つの異なるシーンクラスが、北ランドとセントルシアの各データセットで識別されている。 シーン検索は、シーンクラスの参照画像に単一のクエリイメージを関連付けることで、テスト時に定義されたシーンの分類に画像検索を拡張する。
  論文  参考訳（メタデータ） (2021-02-25T08:23:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。