論文の概要: Training-Free Target-Aware Refinement of 3D Gaussian Language Map
- arxiv url: http://arxiv.org/abs/2610.21619v1
- Date: Thu, 15 Oct 2026 10:00:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 06:09:33.019533
- Title: Training-Free Target-Aware Refinement of 3D Gaussian Language Map
- Title(参考訳): 3次元ガウス言語マップの学習自由目標認識
- Abstract要約: 視覚言語機能を3Dガウススプラッティングに拡張すると、任意のテキストでクエリできる言語マップが得られる。
我々は,すでに蒸留済みの言語マップの学習不要でターゲット対応な改良を提案する。
オープン語彙のセグメンテーションを一貫して改善し、ベースmIoUをReplicaで約2倍にし、ベースマップよりも言語目標を確実にローカライズする。
- 参考スコア(独自算出の注目度): 8.045444620742053
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distilling vision-language features into 3D Gaussian Splatting yields a language map that can be queried with arbitrary text. In deployment, however, a small set of user-specified targets must be reliably located, which current distilled maps often miss, while open-vocabulary queryability for other words must remain intact. We propose a training-free, target-aware refinement of an already-distilled language map. Guided by a text-promptable segmenter, the visual embedding inside each detected target region is blended with the target text embedding, a convex combination whose coefficient sets the amount of injected prior, while non-target regions are left untouched. Injecting too much overwrites appearance cues and general queryability, so we seek, for each target, the smallest coefficient that still lets it win, and we obtain every coefficient in closed form, leaving no hyperparameters to tune. We further identify a failure mode of injection in language-goal localization. Text embeddings share a common component, and injecting them makes the standard cosine read-out query-agnostic, which a centering step in the read-out removes. Across three benchmarks, the refinement consistently improves open-vocabulary segmentation, roughly doubling the base mIoU on Replica, and localizes language goals more reliably than the base map. It also transfers as a plug-in to off-the-shelf field-based and object-level language maps and supports a real-world demonstration in which a legged robot navigates to natural-language goals. Project page and code: https://lab-of-ai-and-robotics.github.io/target-aware-langmap/
- Abstract(参考訳): 視覚言語機能を3Dガウススプラッティングに拡張すると、任意のテキストでクエリできる言語マップが得られる。
しかし、展開において、ユーザ特定ターゲットの小さなセットは確実に配置されなければならず、現在の蒸留された地図は、しばしば見逃されるが、他の単語に対するオープン語彙クエリーは、そのままでなければならない。
我々は,すでに蒸留済みの言語マップの学習不要でターゲット対応な改良を提案する。
テキストプロンプブルセグメンタによってガイドされ、検出された各対象領域内の視覚的埋め込みと、予め注入された量の係数を設定した凸結合とを混合し、非ターゲット領域を無タッチで残す。
過剰なオーバーライトと一般的なクエリビリティを注入すると、各ターゲットに対して、勝利を許す最小の係数を求め、すべての係数を閉じた形で取得し、過度パラメーターを調整しない。
さらに,言語ゴールの局所化におけるインジェクションの障害モードを同定する。
テキストの埋め込みは共通のコンポーネントを共有し、それらを注入することで、標準のcosineread-outクエリ非依存になる。
3つのベンチマークで、改良はオープン語彙のセグメンテーションを一貫して改善し、ベースmIoUをReplicaの約2倍にし、ベースマップよりも言語目標を確実にローカライズする。
また、市販のフィールドベースおよびオブジェクトレベルの言語マップにプラグインとして転送し、脚のあるロボットが自然言語の目標にナビゲートする実世界のデモをサポートする。
プロジェクトページとコード:https://lab-of-ai-and-robotics.github.io/target-aware-langmap/
関連論文リスト
- Language as a Sensor: Calibrated Spatial Belief Estimation in 3D Scenes from Natural Language [15.05613635418399]
伝統的なメートル法-セマンティックマッピングは、世界の一部の言語記述を知覚的な視野を超えて無視する。
言語センサモデル(LSM)を訓練し、各発話とそのシーングラフコンテキストをマルチモーダル分布にマッピングする。
次に,VL-Map (Vision-Language Metric-Semantic Mapping) を紹介した。
論文 参考訳(メタデータ) (2026-06-07T15:17:25Z) - Toward Fine-Grained Speech Inpainting Forensics:A Dataset, Method, and Metric for Multi-Region Tampering Localization [7.260139045446439]
MIST (Multi Regional Inpainting Speech Tampering) は、6つの言語にまたがる大規模多言語データセットである。
ISA (Iterative Segment Analysis) は、粗いスライディングウインドウ分類を行うバックボーンに依存しないフレームワークである。
SF1@tauは時間的IoUマッチングに基づくセグメントレベルのF1メトリックである。
論文 参考訳(メタデータ) (2026-05-04T04:54:29Z) - LAMP: Implicit Language Map for Robot Navigation [5.142476231432641]
我々は、新しいニューラルネットワークフィールドベースのナビゲーションフレームワークであるLAMPを紹介する。
連続した言語駆動のマップを学習し、それを直接、きめ細かいパス生成に利用する。
LAMPは、メモリ効率と細かいゴール取得精度の両方において、既存の明示的な手法よりも優れています。
論文 参考訳(メタデータ) (2026-02-12T12:09:03Z) - ReasonGrounder: LVLM-Guided Hierarchical Feature Splatting for Open-Vocabulary 3D Visual Grounding and Reasoning [68.4209681278336]
Open-vocabulary 3D visual grounding and reasoningは、暗黙の言語記述に基づくシーン内のオブジェクトのローカライズを目的としている。
現在の方法は、3Dアノテーションとマスクの提案による微調整に大きく依存しているため、苦労している。
適応グルーピングのための階層型3次元特徴ガウス場を用いたLVLM誘導フレームワークであるReasonGrounderを提案する。
論文 参考訳(メタデータ) (2025-03-30T03:40:35Z) - Boosting Weakly-Supervised Referring Image Segmentation via Progressive Comprehension [40.21084218601082]
本稿では、画像とテキストのペアから直接ターゲットのローカライゼーションを学習する、困難な設定に焦点を当てる。
そこで本研究では,対象対象対象の局所化にターゲット関連テキストキューを活用する新しいプログレッシブネットワーク(PCNet)を提案する。
本手法は3つのベンチマークでSOTA法より優れている。
論文 参考訳(メタデータ) (2024-10-02T13:30:32Z) - Text2Loc: 3D Point Cloud Localization from Natural Language [49.01851743372889]
我々は,いくつかの言語学的記述に基づく3次元点群局所化の問題に取り組む。
我々は,ポイントとテキスト間の意味的関係を完全に解釈する新しいニューラルネットワークText2Locを導入する。
Text2Locは、KITTI360Poseデータセットの最先端技術に対して最大2倍のローカライゼーション精度を向上する。
論文 参考訳(メタデータ) (2023-11-27T16:23:01Z) - Unlikelihood Tuning on Negative Samples Amazingly Improves Zero-Shot
Translation [79.96416609433724]
Zero-shot Translation (ZST)は、トレーニングデータにおいて、目に見えない言語ペア間の翻訳を目的としている。
推論中にゼロショット言語マッピングをガイドする一般的な方法は、ソースとターゲット言語IDを意図的に挿入することである。
近年の研究では、言語IDが時折ZSTタスクのナビゲートに失敗し、ターゲット外問題に悩まされることが示されている。
論文 参考訳(メタデータ) (2023-09-28T17:02:36Z) - BEVBert: Multimodal Map Pre-training for Language-guided Navigation [75.23388288113817]
視覚・言語ナビゲーション(VLN)における空間認識型マップベース事前学習パラダイムを提案する。
我々は,グローバルなトポロジカルマップにおけるナビゲーション依存性をモデル化しながら,不完全な観測を明示的に集約し,重複を取り除くための局所距離マップを構築した。
ハイブリッドマップをベースとして,マルチモーダルマップ表現を学習するための事前学習フレームワークを考案し,空間認識型クロスモーダル推論を強化し,言語誘導ナビゲーションの目標を導出する。
論文 参考訳(メタデータ) (2022-12-08T16:27:54Z) - Read Like Humans: Autonomous, Bidirectional and Iterative Language
Modeling for Scene Text Recognition [80.446770909975]
言語知識はシーンのテキスト認識に非常に有益である。
エンドツーエンドのディープネットワークで言語規則を効果的にモデル化する方法はまだ研究の課題です。
シーンテキスト認識のための自律的双方向反復型ABINetを提案する。
論文 参考訳(メタデータ) (2021-03-11T06:47:45Z) - Inducing Language-Agnostic Multilingual Representations [61.97381112847459]
言語間の表現は、世界中のほとんどの言語でNLP技術が利用可能になる可能性がある。
i) 対象言語のベクトル空間をピボットソース言語に再配置すること、(ii) 言語固有の手段と分散を取り除くこと、(ii) 副産物としての埋め込みの識別性を向上すること、(iii) 形態的制約や文の並べ替えを除去することによって言語間の入力類似性を高めること、の3つのアプローチを検討する。
論文 参考訳(メタデータ) (2020-08-20T17:58:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。