論文の概要: Monocular Vision Based Control Framework for Grasping
- arxiv url: http://arxiv.org/abs/2607.07897v1
- Date: Wed, 08 Jul 2026 20:13:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-10 14:45:27.336709
- Title: Monocular Vision Based Control Framework for Grasping
- Title(参考訳): 単眼視によるグラッピング制御フレームワーク
- Abstract要約: 本稿では,単一制御パイプライン内の軟質物体と剛質物体の両方を対象とする,視覚に基づく把握フレームワークを提案する。
提案システムは,開語彙オブジェクト検出,画像分割,境界認識点割当,リアルタイム点追跡,単眼深度推定を組み合わせたシステムである。
その結果, 視覚フィードバックのみを用いて, ソフトオブジェクトと剛体オブジェクトの両方を安定的に把握できることが実証された。
- 参考スコア(独自算出の注目度): 8.44254908378373
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Grasping in unstructured environments requires handling objects with widely different mechanical properties, from soft and deformable items to rigid everyday objects. Most existing approaches address these categories separately and often rely on tactile sensing, object-specific models, or specialized grippers. In this paper, we present a unified monocular vision-based grasping framework that targets both soft and rigid objects within a single control pipeline, using only RGB input and a position-controlled gripper. The proposed system combines open-vocabulary object detection, image segmentation, boundary-aware point assignment, real-time point tracking, and monocular depth estimation to recover object motion and geometry from visual observations. A key component of the framework is a language-based stiffness estimation model that infers an object's expected compliance from its semantic description and provides an object-level prior for selecting the grasping strategy before contact. For deformable objects, grasp adaptation is governed by a Procrustes-based dissimilarity measure computed from tracked keypoints, which acts as a visual proxy for deformation. For rigid objects, the gripper width is regulated through the scaling of tracked point distances. We validate the proposed method in real-world pick-and-place experiments on a Franka Emika Research 3 arm using objects with substantially different mechanical properties, including lettuce, fresh mozzarella cheese, croissants, paper towels, and hard plastic bottles. Results demonstrate that the framework achieves stable grasping across both soft and rigid objects using visual feedback alone, highlighting a practical, sensor-efficient, and generalizable approach for food handling and household manipulation.
- Abstract(参考訳): 構造化されていない環境でのグラッピングには、ソフトで変形可能なアイテムから、日常的に硬いオブジェクトまで、幅広い機械的特性を持つオブジェクトを扱う必要がある。
既存のアプローチの多くはこれらのカテゴリを別々に扱い、触覚センシング、オブジェクト固有モデル、あるいは特殊なグリップに頼っていることが多い。
本稿では,RGB入力と位置制御グリップパのみを用いて,単一制御パイプライン内の軟質物体と剛質物体の両方を対象とする一眼的視界に基づく一眼的把握フレームワークを提案する。
提案システムは, 開語彙オブジェクトの検出, 画像分割, 境界認識点割り当て, リアルタイム点追跡, 単眼深度推定と組み合わせて, 物体の動きと形状を視覚観測から復元する。
フレームワークの重要なコンポーネントは、言語ベースの剛性推定モデルであり、オブジェクトの期待されるコンプライアンスをセマンティック記述から推論し、接触前の把握戦略を選択するためのオブジェクトレベルの事前を提供する。
変形可能なオブジェクトに対して、グリップ適応は、トラックされたキーポイントから計算されたProcrustesベースの相似性尺度によって制御され、変形の視覚的プロキシとして機能する。
剛体物体の場合、グリップ幅はトラックされた点距離のスケーリングによって調節される。
提案手法は, レタス, 新鮮なモザレラチーズ, クロワサント, 紙タオル, 硬質プラスチックボトルなど, 機械的特性の異なる物体を用いて, フランカ・エミカ研究3アームを用いた実世界のピック・アンド・プレイス実験で検証した。
その結果, 視覚フィードバックだけで軟質・硬質の物体を安定的に把握し, 食品処理と家庭用操作のための実用的, センサ効率, 一般化可能なアプローチを強調した。
関連論文リスト
- GenMatter: Perceiving Physical Objects with Generative Matter Models [50.121713214509604]
人間は、独立して移動可能な物質塊を構成する移動体をしっかりと分断する。
既存のコンピュータビジョンシステムは、様々な設定で機能する統一されたアプローチを欠いている。
階層的に低レベルの運動キューと高レベルの外観特徴を粒子にグループ化する生成モデルを提案する。
論文 参考訳(メタデータ) (2026-04-24T02:18:18Z) - Detailed Geometry and Appearance from Opportunistic Motion [44.38825288921379]
固定カメラの粗い集合から3次元形状と外観を再構築することは、幅広い用途において基礎的な課題である。
静止カメラは局所座標フレーム内の物体の軌道を効果的に公転し、仮想的な視点を提供する。
しかし、この物体の動きを調和させることは、物体のポーズの密結合と幾何学的推定と、静的照明下で動く物体の複雑な外観変化の2つの課題をもたらす。
論文 参考訳(メタデータ) (2026-03-27T17:59:16Z) - ArtReg: Visuo-Tactile based Pose Tracking and Manipulation of Unseen Articulated Objects [2.9793019246605676]
視認できない物体の視触覚に基づく追跡のための新しい手法を提案する。
提案手法は,無意味なカルマンフィルタの定式化において,ビジュオ触点雲を統合する。
我々は,実際のロボット実験を通じて,様々な種類の未知物体に対するアプローチを広く評価してきた。
論文 参考訳(メタデータ) (2025-11-09T13:30:51Z) - Kinematify: Open-Vocabulary Synthesis of High-DoF Articulated Objects [59.51185639557874]
本稿では,任意のRGB画像やテキスト記述から直接音声オブジェクトを合成するフレームワークであるKinematifyを紹介する。
提案手法は, 高DoFオブジェクトに対する運動的トポロジの推測と静的幾何からの関節パラメータの推定という2つの課題に対処する。
論文 参考訳(メタデータ) (2025-11-03T07:21:42Z) - Object Concepts Emerge from Motion [24.73461163778215]
教師なしの方法でオブジェクト中心の視覚表現を学習するための生物学的にインスパイアされたフレームワークを提案する。
我々の重要な洞察は、運動境界がオブジェクトレベルのグルーピングの強いシグナルとなることである。
我々のフレームワークは完全にラベルフリーで、カメラキャリブレーションに頼らず、大規模な非構造化ビデオデータにスケーラブルである。
論文 参考訳(メタデータ) (2025-05-27T18:09:02Z) - IAAO: Interactive Affordance Learning for Articulated Objects in 3D Environments [56.85804719947]
IAAOは知的エージェントのための明示的な3Dモデルを構築するフレームワークで,対話を通して環境内の明瞭な物体の理解を得る。
マスク特徴とビュー一貫性ラベルを多視点画像から抽出し,まず3次元ガウススティング(3DGS)を用いて各オブジェクト状態の階層的特徴とラベルフィールドを構築する。
次に、3Dガウスプリミティブ上でオブジェクトと部分レベルのクエリを実行し、静的および明瞭な要素を識別し、大域的な変換と局所的な調音パラメータをアベイランスとともに推定する。
論文 参考訳(メタデータ) (2025-04-09T12:36:48Z) - Articulated Object Manipulation using Online Axis Estimation with SAM2-Based Tracking [57.942404069484134]
アーティキュレートされたオブジェクト操作は、オブジェクトの軸を慎重に考慮する必要がある、正確なオブジェクトインタラクションを必要とする。
従来の研究では、対話的な知覚を用いて関節のある物体を操作するが、通常、オープンループのアプローチは相互作用のダイナミクスを見渡すことに悩まされる。
本稿では,対話的知覚と3次元点雲からのオンライン軸推定を統合したクローズドループパイプラインを提案する。
論文 参考訳(メタデータ) (2024-09-24T17:59:56Z) - ICGNet: A Unified Approach for Instance-Centric Grasping [42.92991092305974]
オブジェクト中心の把握のためのエンドツーエンドアーキテクチャを導入する。
提案手法の有効性を,合成データセット上での最先端手法に対して広範囲に評価することにより示す。
論文 参考訳(メタデータ) (2024-01-18T12:41:41Z) - Discovering Objects that Can Move [55.743225595012966]
手動ラベルなしでオブジェクトを背景から分離する、オブジェクト発見の問題について検討する。
既存のアプローチでは、色、テクスチャ、位置などの外観の手がかりを使用して、ピクセルをオブジェクトのような領域に分類する。
私たちは、動的オブジェクト -- 世界で独立して動くエンティティ -- にフォーカスすることを選びます。
論文 参考訳(メタデータ) (2022-03-18T21:13:56Z) - Towards Self-Supervised Category-Level Object Pose and Size Estimation [121.28537953301951]
本研究は,一深度画像からのカテゴリレベルのオブジェクトポーズとサイズ推定のための自己教師型フレームワークを提案する。
我々は、同じ形状の点雲における幾何学的整合性を利用して自己超越する。
論文 参考訳(メタデータ) (2022-03-06T06:02:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。