論文の概要: RoboSeg: Online Part-Level Semantic Reconstruction for Robotic Manipulation via a Single Eye-in-Hand Camera
- arxiv url: http://arxiv.org/abs/2608.09778v1
- Date: Mon, 10 Aug 2026 16:05:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:37.375034
- Title: RoboSeg: Online Part-Level Semantic Reconstruction for Robotic Manipulation via a Single Eye-in-Hand Camera
- Title（参考訳）: RoboSeg:シングルアイ・イン・ハンドカメラによるロボットマニピュレーションのためのオンラインパートレベルセマンティック再構築
- Abstract要約: RoboSegは、視覚言語モデル(VLM)機能発見をリンクする部分レベルのセマンティック再構築システムである。
CADモデルやスキャン済みメッシュを必要とせずに、タスク関連部分ラベルと整合した把握を生成する。
RoboSegは83.4%に到達し、手動でラベル付けされたオブジェクトの交叉対合同(mIoU)を意味する。
- 参考スコア（独自算出の注目度）: 0.3683202928838613
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robotic manipulation requires perception systemsthat identify actionable parts such as handles, rims, triggers,and tool tips, not merely object categories or point clouds. This paper presents RoboSeg, a part-level semantic reconstructionsystem that links vision-language model (VLM) functional-partdiscovery, asynchronous online RGB-D semantic reconstruc-tion, and task-oriented grasp generation without requiring CAD models or pre-scanned meshes. RoboSeg queries a VLM onthe initial RGB observation to obtain compact functional part prompts, then scans with two asynchronous streams: a high-frequency geometry thread for RGB-D odometry and truncated signed distance function (TSDF) fusion, and a keyframe-triggered semantic thread for SAM3 part masks. Projectedmasks are fused by voxel-level temporal voting into a persistentpart-labeled point cloud; RoboSeg uses this map to assign AnyGrasp 6-DoF candidates to semantic parts and select grasps consistent with the task-relevant part label. RoboSeg reaches 83.4% mean part intersection-over-union (mIoU) over manually labeled objects; in a 24-trial physical pilot across fourobjects and eight tasks, the selected grasp contacts the requestedpart in all trials and achieves 21/24 combined task successes.These results characterize RoboSeg as a semantic indexing layerfor task-conditioned manipulation, with AnyGrasp retained asthe proposal generator.
- Abstract（参考訳）: ロボット操作には、ハンドル、縁、トリガー、ツールチップなどの実行可能な部分を識別する認識システムが必要である。
本稿では,視覚言語モデル(VLM)機能発見,非同期オンラインRGB-Dセマンティック再構成,CADモデルや事前スキャンメッシュを必要とせずにタスク指向のグルーピング生成を結合する部分レベルセマンティック再構築システムであるRoboSegを提案する。
RoboSegは、初期のRGB観測でVLMをクエリして、コンパクトな機能部分プロンプトを取得し、2つの非同期ストリーム(RGB-D odometry と truncated signed distance function (TSDF) 融合のための高周波幾何スレッドとSAM3 部分マスクのためのキーフレームトリガー付きセマンティックスレッド)をスキャンする。
RoboSegはこのマップを使ってAnyGrasp 6-DoF候補をセマンティック部分に割り当て、タスク関連部分ラベルと整合した把握を選択する。
RoboSeg は手動でラベル付けされたオブジェクトに対して 83.4% で部分交叉結合 (mIoU) に達する; 4つのオブジェクトと8つのタスクにまたがる24個の物理パイロットにおいて、選択された把握は全てのトライアルにおいて要求された部分と接触し、21/24 のタスク成功を達成する。
関連論文リスト
- DARP: A Calibrated Dual-Arm RGB-D-IR Dataset for Multi-View Robotic Perception [4.077787659104315]
本稿では,2つの独立移動眼内マニピュレータを用いた物体中心ロボット知覚のための校正デュアルアームRGB-D-IRデータセットであるDARPを提案する。
DARPには10のユニークなテーブルトップオブジェクトが含まれており、元のセンサー記録、ロボット状態ログ、オブジェクトレベルのメタデータ、キャリブレーション情報を保存する。
DARPは、多視点再構成、協調ロボット認識、マルチモーダル融合、アクティブな知覚、そして部分的な物体観察に対する将来の学習に基づく推論のための再利用可能なリソースとして意図されている。
論文 参考訳（メタデータ） (2026-08-31T15:53:41Z) - Zero-Shot Robotic Manipulation via 3D Gaussian Splatting-Enhanced Multimodal Retrieval-Augmented Generation [24.066642344610873]
既存のエンドツーエンドのロボット操作アプローチでは、限られたデータと弱い解釈性のために、見えないオブジェクトやタスクへの一般化が欠如していることが多い。
ゼロショットロボット操作のための3次元ガウス型マルチモーダル検索生成フレームワークRobMRAGを提案する。
提案手法は, 最高性能のゼロショットベースラインと比較して7.76%, 最先端の教師付きベースラインに比べて6.54%向上する。
論文 参考訳（メタデータ） (2026-02-28T06:48:05Z) - Articulated 3D Scene Graphs for Open-World Mobile Manipulation [55.97942733699124]
本報告では, セマンティックな3次元シーングラフを構築するためのフレームワークであるMoMa-SGについて述べる。
新たな統合的ツイスト推定法を用いて調音モデルを推定する。
また,Arti4D-Semanticデータセットについても紹介する。
論文 参考訳（メタデータ） (2026-02-18T10:40:35Z) - Evaluating SAM2 for Video Semantic Segmentation [60.157605818225186]
Anything Model 2 (SAM2)は、画像とビデオの両方において、迅速な視覚オブジェクトのセグメンテーションのための強力な基盤モデルであることが証明されている。
本稿では, SAM2 から高密度ビデオセマンティック (VSS) への拡張について検討する。
我々の実験は、SAM2を利用することでVSSの全体的な性能が向上することを示唆している。
論文 参考訳（メタデータ） (2025-12-01T15:15:16Z) - GeoSAM2: Unleashing the Power of SAM2 for 3D Part Segmentation [81.0871900167463]
GeoSAM2は3次元部分分割のためのプロンプト制御可能なフレームワークである。
テクスチャのないオブジェクトが与えられた場合、事前に定義された視点から正規写像とポイントマップを描画する。
部品の選択をガイドするシンプルな2Dプロンプト(クリックやボックス)を受け入れます。
予測されたマスクはオブジェクトにバックプロジェクションされ、ビューに集約される。
論文 参考訳（メタデータ） (2025-08-19T17:58:51Z) - RG-SAN: Rule-Guided Spatial Awareness Network for End-to-End 3D Referring Expression Segmentation [72.95147072227998]
3D参照式は、参照式と点雲を関連付けて3Dオブジェクトをセグメントすることを目的としている。
従来のアプローチでは、インスタンスの空間情報に重点が置かれていないため、過剰なセグメンテーションや誤ったセグメンテーションといった問題に頻繁に遭遇する。
本稿では,ルールガイド型空間認識ネットワーク(RG-SAN)を導入する。
論文 参考訳（メタデータ） (2024-12-03T11:50:16Z) - Semantic Segmentation and Scene Reconstruction of RGB-D Image Frames: An End-to-End Modular Pipeline for Robotic Applications [0.7951977175758216]
従来のRGB-D処理パイプラインは主に幾何学的再構成に焦点を当てている。
セマンティックセグメンテーション、ヒューマントラッキング、ポイントクラウド融合、シーン再構築を統合した、新しいエンドツーエンドのモジュールパイプラインを導入する。
我々は、ベンチマークデータセットと現実世界のKinect RGB-Dデータにアプローチを検証し、効率、精度、ユーザビリティを改善した。
論文 参考訳（メタデータ） (2024-10-23T16:01:31Z) - LESS: Label-Efficient and Single-Stage Referring 3D Segmentation [55.06002976797879]
参照3Dは、クエリの文で記述された3Dポイントクラウドから、指定されたオブジェクトのすべてのポイントをセグメントする視覚言語タスクである。
本稿では,LESSと呼ばれるレファレンス3次元パイプラインを提案する。
ScanReferデータセット上での最先端のパフォーマンスは、バイナリラベルのみを使用して、以前の3.7% mIoUの手法を上回ります。
論文 参考訳（メタデータ） (2024-10-17T07:47:41Z) - Transformer Network for Multi-Person Tracking and Re-Identification in
Unconstrained Environment [0.6798775532273751]
マルチオブジェクトトラッキング(MOT)は、監視、スポーツ分析、自動運転、協調ロボットなど、さまざまな分野に深く応用されている。
我々は、オブジェクト検出とアイデンティティリンクを単一のエンドツーエンドのトレーニング可能なフレームワーク内にマージする統合MOT手法を提唱した。
本システムでは,記憶時記憶モジュールの高機能化を図り,アグリゲータを用いて効果的に記憶時記憶モジュールを符号化する。
論文 参考訳（メタデータ） (2023-12-19T08:15:22Z) - Unseen Object Instance Segmentation for Robotic Environments [67.88276573341734]
本稿では,テーブルトップ環境において未確認のオブジェクトインスタンスをセグメント化する手法を提案する。
UOIS-Netは2つのステージで構成されている: まず、オブジェクトのインスタンス中心の投票を2Dまたは3Dで生成するために、深さでのみ動作する。
驚くべきことに、我々のフレームワークは、RGBが非フォトリアリスティックな合成RGB-Dデータから学習することができる。
論文 参考訳（メタデータ） (2020-07-16T01:59:13Z) - Extending Maps with Semantic and Contextual Object Information for Robot
Navigation: a Learning-Based Framework using Visual and Depth Cues [12.984393386954219]
本稿では,RGB-D画像からのセマンティック情報を用いて,シーンのメートル法表現を付加する問題に対処する。
オブジェクトレベルの情報を持つ環境の地図表現を拡張化するための完全なフレームワークを提案する。
論文 参考訳（メタデータ） (2020-03-13T15:05:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。