論文の概要: CoRef-GS: Cooperative Referring Gaussian Splatting for Multi-Agent Scene Understanding
- arxiv url: http://arxiv.org/abs/2609.20586v1
- Date: Thu, 17 Sep 2026 15:39:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:54.356942
- Title: CoRef-GS: Cooperative Referring Gaussian Splatting for Multi-Agent Scene Understanding
- Title(参考訳): CoRef-GS:マルチエージェントシーン理解のためのガウススプラッティングの協調的参照
- Abstract要約: CoRef-GSはガウシアンスプレイティングフレームワークを参考にしている。
CoQuad-Refは、現実世界とシミュレーションされた屋内シーンの両方にまたがるベンチマークである。
- 参考スコア(独自算出の注目度): 61.37726020220854
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Referring scene understanding for embodied robots requires grounding object- and relation-centric language queries from a designated viewpoint. While a local semantic Gaussian map can support such grounding within one agent's observations, cooperative settings require this ability to remain effective after independently reconstructed maps are aligned and fused. In this setting, the referred target or its contextual landmark may come from another agent's observations, while spatial relations must still be interpreted from the querying robot's viewpoint. We formulate this problem as cooperative referring Gaussian grounding over fused maps, which requires geometric alignability, instance-level semantic comparability, and view-conditioned relation reasoning. Existing language-aware Gaussian methods mainly focus on single-map querying, whereas Gaussian registration methods optimize geometric or photometric alignment without preserving language-grounding-oriented semantic compatibility. We propose CoRef-GS, a cooperative referring Gaussian splatting framework. CoRef-GS constructs local open-vocabulary instance-aware Gaussian maps, then aligns partially overlapping maps with a cross-agent alignment module by geometric and semantic consistency, and grounds queries using a view-conditioned mask relation graph. We further introduce CoQuad-Ref, a dual-quadruped benchmark spanning both real-world and simulated indoor scenes. Experiments show that, on simulated scenes, CoRef-GS reduces the rotation error from 2.58° after coarse initialization to 0.15° after refinement, and improves real-world referring mIoU over ReferSplat from 52.6% to 68.8%. The established benchmark and source code will be publicly released at https://github.com/ruojiruoli17/CoRef-GS.git.
- Abstract(参考訳): 具体化ロボットにおけるシーン理解の参照には、指定された視点からオブジェクトと関係中心の言語クエリをグラウンド化する必要がある。
局所意味ガウス写像は、あるエージェントの観測範囲内でそのような接地を支援することができるが、協調的な設定では、独立に再構成された地図が整列して融合した後も有効に保たなければならない。
この設定では、参照されたターゲットまたはそのコンテキスト的ランドマークは、他のエージェントの観察から来るかもしれないが、空間的関係は、クエリングロボットの観点から解釈されなければならない。
我々はこの問題を、幾何学的整合性、インスタンスレベルのセマンティックコンパビリティ、ビュー条件付き関係推論を必要とする、融合写像上のガウス基底を協調的に参照するものとして定式化する。
既存の言語対応のガウス的手法は主に単一マップクエリに焦点をあてるが、ガウス的登録法は幾何学的あるいは測光的アライメントを最適化する。
本稿では,ガウススプラッティングフレームワークであるCoRef-GSを提案する。
CoRef-GSは、局所的開語彙のインスタンス対応ガウス写像を構築し、幾何学的および意味的整合性によって部分重なり合うマップをアライメントモジュールとアライメントし、ビュー条件付きマスク関係グラフを用いてクエリをグラウンドする。
CoQuad-Refは、現実世界とシミュレーションされた屋内シーンの両方にまたがるデュアルクアッドループベンチマークである。
実験では、模擬シーンにおいて、CoRef-GSは粗い初期化後の2.58°から精製後の0.15°に回転誤差を低減し、ReferSplat上のmIoUを52.6%から68.8%に改善した。
確立されたベンチマークとソースコードはhttps://github.com/ruojiruoli17/CoRef-GS.gitで公開される。
関連論文リスト
- MAPS: Multi-Anchor Projection Similarity for Joint Vision-Language Geo-Localization [14.254687625765547]
マルチアンカー幾何アライメント問題として,共同画像テキストクエリを用いた視覚言語ジオローカライゼーションを定式化する。
MAPS(Multi-Anchor Projection similarity)は、この平面上の対象特徴の投影長による類似度を測定する。
提案するフレームワーク, 類似度測定, および訓練対象は, 視覚言語による地理的ローカライゼーションにおいて, 最先端の性能を両立させる。
論文 参考訳(メタデータ) (2026-06-21T15:01:53Z) - G2IA: Geometry-Guided Instance-Aware Retrieval and Refinement for Cross-Modal Place Recognition [24.541278686912616]
クロスモーダル位置認識(CMPR)により、カメラのみのロボットは、自律的なナビゲーションシナリオにおいて、事前に構築されたLiDARマップに対してローカライズすることができる。
このイメージ・ツー・ポイント・クラウド・セッティングは、2つのあいまいさ、すなわち視点RGBの外観とスパースメトリ幾何の間のモダリティギャップによって挑戦される。
画像から点までの位置認識のための幾何学誘導型インスタンス認識フレームワークであるG2IAを提案する。
論文 参考訳(メタデータ) (2026-06-13T12:53:52Z) - Draw2Think: Harnessing Geometry Reasoning through Constraint Engine Interaction [59.47026381165585]
視覚言語モデルは精度を上げて幾何学的問題を解くが、その中間状態は潜伏し、検証できないままである。
我々は,GeoGebra制約エンジンとのエージェント相互作用に潜時空間推論から幾何推論を再キャストするフレームワークDraw2Thinkを提案する。
論文 参考訳(メタデータ) (2026-05-20T05:46:14Z) - Learning Fine-Grained Correspondence with Cross-Perspective Perception for Open-Vocabulary 6D Object Pose Estimation [14.262846967061947]
微粒化対応ポース推定(FiCoP)は、ノイズの発するグローバルマッチングから空間的に制約されたパッチレベル対応へ移行するフレームワークである。
FiCoPは、最先端の手法と比較して平均リコールを8.0%と6.1%改善する。
論文 参考訳(メタデータ) (2026-01-20T03:48:54Z) - Robust Scene Coordinate Regression via Geometrically-Consistent Global Descriptors [52.57327385675752]
幾何学的構造と視覚的類似性の両方に整合したグローバルな記述子を学習するアグリゲータモジュールを提案する。
これにより、信頼できないオーバーラップスコアによる誤関連が修正される。
挑戦的なベンチマークの実験では、大規模環境ではかなりのローカライゼーションが得られた。
論文 参考訳(メタデータ) (2025-12-19T04:24:03Z) - Coupled Laplacian Eigenmaps for Locally-Aware 3D Rigid Point Cloud Matching [0.0]
局所構造を考慮したグラフラプラシアン固有写像に基づく新しい手法を提案する。
ラプラシアン固有写像の順序と符号のあいまいさに対処するために、結合ラプラシアンと呼ばれる新しい作用素を導入する。
これらの高次元空間間の類似性は、形状に一致するような局所的な意味のあるスコアを与えることを示す。
論文 参考訳(メタデータ) (2024-02-27T10:10:12Z) - Making Affine Correspondences Work in Camera Geometry Computation [62.7633180470428]
局所的な特徴は、ポイント・ツー・ポイント対応ではなく、リージョン・ツー・リージョンを提供する。
本稿では,全モデル推定パイプラインにおいて,地域間マッチングを効果的に活用するためのガイドラインを提案する。
実験により、アフィンソルバはより高速な実行時にポイントベースソルバに匹敵する精度を達成できることが示された。
論文 参考訳(メタデータ) (2020-07-20T12:07:48Z) - Rethinking Localization Map: Towards Accurate Object Perception with
Self-Enhancement Maps [78.2581910688094]
本研究は, カテゴリーラベルのみを監督として, 正確な対象位置分布マップと対象境界を抽出する, 新たな自己強調手法を提案する。
特に、提案されたセルフエンハンスメントマップは、ILSVRC上で54.88%の最先端のローカライゼーション精度を達成する。
論文 参考訳(メタデータ) (2020-06-09T12:35:55Z) - High-Order Information Matters: Learning Relation and Topology for
Occluded Person Re-Identification [84.43394420267794]
本稿では,高次関係とトポロジ情報を識別的特徴とロバストなアライメントのために学習し,新しい枠組みを提案する。
我々のフレームワークはOccluded-Dukeデータセットで最先端の6.5%mAPスコアを大幅に上回っている。
論文 参考訳(メタデータ) (2020-03-18T12:18:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。