論文の概要: When Does Touch Matter? Charting the Vision-Interaction Gap in Cluttered Dexterous Grasping

• arxiv url: http://arxiv.org/abs/2609.24068v1
• Date: Mon, 21 Sep 2026 03:47:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-24 16:03:52.779393
• Title: When Does Touch Matter? Charting the Vision-Interaction Gap in Cluttered Dexterous Grasping
• Title（参考訳）: タッチはいつ重要か? クラッタ型デクスタースグラスピングにおける視覚相互作用ギャップのグラフ化
• Abstract要約: 触覚測定と外部レンチ推定は視覚幾何学を改善するのか? 本稿では,視覚,指先推定,手首レンチ推定,指先分類を併用したデキスタスシステム上での5つのテーブルトップシーン条件に関する実世界の制御実験について述べる。 結果は、学習したポリシーがインタラクションセンシングを必要とするタイミングを決定するためのベンチマークとして、視覚-インタラクションギャップの拡大と、位置の散らばったデキスタラスな把握をグラフ化した。
• 参考スコア（独自算出の注目度）: 6.908096811020954
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dexterous grasping in clutter poses a basic sensing question: when do tactile measurements and external wrench estimates improve on visual geometry? Occlusion and contact can obscure grasp quality, motivating a controlled evaluation of these interaction signals. We present a controlled real-world study over five tabletop scene conditions on a dexterous system that combines vision, per-finger and wrist wrench estimates, and distributed fingertip taxels. With demonstrations, visual observations, action space, and compliant control fixed, we compare vision-only, wrench, taxel, and combined policies plus representation and fusion baselines. The combined policy succeeds in 24/25 trials versus 14/25 for vision only, and 15/15 versus 6/15 across the three confined conditions. Ablations show that wrench and taxel feedback are complementary. Behavioral comparisons show that interaction feedback enables earlier rejection of inadequate contacts, regrasping before lift, and more stable grasps. To our knowledge, this is the first real-world study to combine and separately evaluate these interaction modalities for target-oriented dexterous grasping in clutter. These results chart a widening vision-interaction gap and position cluttered dexterous grasping as a benchmark for determining when the learned policy needs interaction sensing. Project website: https://interaction-dex-grasp.github.io/
• Abstract（参考訳）: 触覚測定と外部レンチ推定は視覚幾何学を改善するのか? 咬合と接触は、これらの相互作用信号の制御された評価を動機付け、品質を明瞭に把握する。 本稿では,視覚,指先推定,手首レンチ推定,指先分類を併用したデキスタスシステム上での5つのテーブルトップシーン条件に関する実世界の制御実験について述べる。 実演、視覚観察、行動空間、および適合した制御を固定し、視覚のみ、レンチ、タッセル、および表現と融合ベースラインの併用ポリシーを比較する。 統合された政策は、視力のみの24/25の試験と14/25の試験に成功し、三つの制限条件の15/15の試験と6/15の試験に成功している。 アブレーションは、レンチとタッセルのフィードバックが相補的であることを示している。 行動比較では、相互作用フィードバックは、不適切な接触の早期拒絶、リフト前の移植、より安定した把握を可能にしている。 我々の知る限りでは、これは、クラッタにおけるターゲット指向のデクスタリーグルーピングのためのこれらの相互作用のモダリティを結合し、別々に評価する初めての実世界の研究である。 これらの結果は、学習したポリシーがインタラクションセンシングを必要とするタイミングを決定するためのベンチマークとして、視覚-インタラクションギャップの拡大と、位置の散らばったデキスタラスな把握をグラフ化している。 プロジェクトウェブサイト:https://interaction-dex-grasp.github.io/

関連論文リスト

• World Models for Embodied Intelligence: From Plausible to Controllable to Actionable [100.13060753774657]
  世界モデルは、隠れた状態を維持し、結果を予測し、介入を比較し、実行が期待から外れたときに適応することによって、インテリジェンスにおける知覚と意思決定を結びつける。 これは、どの予測能力が振る舞いを改善するかという、中心的な疑問を提起する。 可塑性モデルは、タスク関連時間的・幾何学的・物理的構造を保存し、制御可能なモデルは、介入がどのように構造を変えるかを予測し、アクション可能なモデルは、予測を計画、行動、学習、評価、検証、回復、データ選択において測定可能な利得に変換する。
  論文  参考訳（メタデータ） (2026-09-15T06:22:42Z)
• SECOND-Grasp: Semantic Contact-guided Dexterous Grasping [60.1519218638742]
  Second-Grasp (Semantic Contact-guided Dexterous Grasping) は、ロボットハンドが意味論的推論に基づいて把握戦略を調整できる統合されたフレームワークである。 我々のアプローチは、目に見えるカテゴリーと目に見えないカテゴリの両方で成功率を上げるために、一貫してベースラインを上回ります。
  論文  参考訳（メタデータ） (2026-05-13T07:37:00Z)
• FingerEye: Continuous and Unified Vision-Tactile Sensing for Dexterous Manipulation [8.809778152652724]
  有害なロボット操作は、あらゆる段階の相互作用を包括的に知覚する必要がある。 我々は,対話プロセスを通じて連続的な視覚触覚フィードバックを提供する,コンパクトで費用効率のよいセンサであるFingerEyeを紹介する。 我々は、複数のFingerEyeセンサーからの信号を融合して、限られた実世界のデータから巧妙な操作行動を学習する視覚触覚模倣学習ポリシーを開発した。
  論文  参考訳（メタデータ） (2026-04-22T15:37:34Z)
• Probing and Bridging Geometry-Interaction Cues for Affordance Reasoning in Vision Foundation Models [16.155405952834034]
  DINOのようなモデルが部分レベルの幾何学的構造をエンコードしているのに対し、Fluxのような生成モデルには、リッチで動詞条件の空間的注意マップが含まれています。 DINOの幾何学的プロトタイプをFluxの相互作用マップと無訓練でゼロショットで融合することにより、弱い教師付き手法と競合する可測性推定を実現する。
  論文  参考訳（メタデータ） (2026-02-24T02:59:15Z)
• Neural feels with neural fields: Visuo-tactile perception for in-hand manipulation [57.60490773016364]
  マルチフィンガーハンドの視覚と触覚を組み合わせることで,手動操作時の物体の姿勢と形状を推定する。 提案手法であるNeuralFeelsは,ニューラルネットワークをオンラインで学習することでオブジェクトの形状を符号化し,ポーズグラフ問題を最適化して共同で追跡する。 私たちの結果は、タッチが少なくとも、洗練され、そして最も最良のものは、手動操作中に視覚的推定を曖昧にすることを示しています。
  論文  参考訳（メタデータ） (2023-12-20T22:36:37Z)
• Disentangled Interaction Representation for One-Stage Human-Object Interaction Detection [70.96299509159981]
  ヒューマン・オブジェクト・インタラクション(HOI)検出は、人間中心の画像理解のコアタスクである。 最近のワンステージ手法では、対話予測に有用な画像ワイドキューの収集にトランスフォーマーデコーダを採用している。 従来の2段階の手法は、非絡み合いで説明可能な方法で相互作用特徴を構成する能力から大きな恩恵を受ける。
  論文  参考訳（メタデータ） (2023-12-04T08:02:59Z)
• Multimodal and Force-Matched Imitation Learning with a See-Through Visuotactile Sensor [14.492202828369127]
  我々は、模倣学習(IL)の枠組みの中でマルチモーダル・ビゾタクタクタブル・センサを活用して、コンタクトリッチなタスクを実行する。 本稿では,IL改善のための補完手法として,触覚力マッチングと学習モード切替という2つのアルゴリズム的貢献を紹介する。 以上の結果から, 力の一致が平均政策成功率62.5%, ビズオタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタク
  論文  参考訳（メタデータ） (2023-11-02T14:02:42Z)
• Reconstructing Interacting Hands with Interaction Prior from Monocular Images [15.637213005593962]
  AR/VRアプリケーションでは、モノクロ画像からのインタラクションハンドの再構築が不可欠である。 既存の解のほとんどは、それぞれの骨格関節の正確な局在に依存する。 これはまた、人間がすべての関節をローカライズすることなく、素早く相互作用パターンを模倣できるため、人間の知覚に反する。 我々のキーとなる考え方は、まず最初に双方向のインタラクションを構築し、インタラクション再構築タスクを前者からの条件付きサンプリングとして再キャストすることである。
  論文  参考訳（メタデータ） (2023-08-27T12:01:11Z)
• Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
  人間は触覚と触覚に頼っている。 視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。 本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
  論文  参考訳（メタデータ） (2023-03-10T16:27:37Z)
• Learning Human-Object Interaction Detection using Interaction Points [140.0200950601552]
  本研究では,人間と物体の相互作用を直接検出する新しい完全畳み込み手法を提案する。 我々のネットワークは相互作用点を予測し、その相互作用を直接ローカライズし、分類する。 V-COCOとHICO-DETの2つの人気のあるベンチマークで実験が行われる。
  論文  参考訳（メタデータ） (2020-03-31T08:42:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。