論文の概要: VCoT-Grasp: Grasp Foundation Models with Visual Chain-of-Thought Reasoning for Language-driven Grasp Generation

• arxiv url: http://arxiv.org/abs/2510.05827v1
• Date: Tue, 07 Oct 2025 11:50:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 17:57:08.231613
• Title: VCoT-Grasp: Grasp Foundation Models with Visual Chain-of-Thought Reasoning for Language-driven Grasp Generation
• Title（参考訳）: VCoT-Grasp:言語駆動型Grasp生成のためのVisual Chain-of-Thought Reasoningを用いたGrasp基礎モデル
• Authors: Haoran Zhang, Shuanghao Bai, Wanqi Zhou, Yuedi Zhang, Qi Zhang, Pengxiang Ding, Cheng Chi, Donglin Wang, Badong Chen,
• Abstract要約: VCoT-Graspは、視覚的連鎖推論を取り入れたエンドツーエンドの把握基盤モデルであり、把握生成のための視覚的理解を強化する。 トレーニングのために、我々は167Kの合成画像と1.36Mのグリップを含む大規模なデータセットVCoT-GraspSetを洗練、導入した。 本手法は, 達成率を大幅に向上させ, 未知の物体, 背景, 邪魔者に効果的に一般化する。
• 参考スコア（独自算出の注目度）: 67.98487725287835
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robotic grasping is one of the most fundamental tasks in robotic manipulation, and grasp detection/generation has long been the subject of extensive research. Recently, language-driven grasp generation has emerged as a promising direction due to its practical interaction capabilities. However, most existing approaches either lack sufficient reasoning and generalization capabilities or depend on complex modular pipelines. Moreover, current grasp foundation models tend to overemphasize dialog and object semantics, resulting in inferior performance and restriction to single-object grasping. To maintain strong reasoning ability and generalization in cluttered environments, we propose VCoT-Grasp, an end-to-end grasp foundation model that incorporates visual chain-of-thought reasoning to enhance visual understanding for grasp generation. VCoT-Grasp adopts a multi-turn processing paradigm that dynamically focuses on visual inputs while providing interpretable reasoning traces. For training, we refine and introduce a large-scale dataset, VCoT-GraspSet, comprising 167K synthetic images with over 1.36M grasps, as well as 400+ real-world images with more than 1.2K grasps, annotated with intermediate bounding boxes. Extensive experiments on both VCoT-GraspSet and real robot demonstrate that our method significantly improves grasp success rates and generalizes effectively to unseen objects, backgrounds, and distractors. More details can be found at https://zhanghr2001.github.io/VCoT-Grasp.github.io.
• Abstract（参考訳）: ロボットグルーピングはロボット操作における最も基本的なタスクの1つであり、グルーピング検出・生成は長年にわたって広範な研究の対象となっている。 近年,言語駆動型グリップ生成は,その実践的相互作用能力により,期待できる方向として現れている。 しかし、既存のほとんどのアプローチには十分な推論と一般化機能がないか、複雑なモジュールパイプラインに依存している。 さらに、現在の把握基盤モデルは、ダイアログやオブジェクトのセマンティクスを過度に強調し、結果としてパフォーマンスが低下し、単一オブジェクトの把握が制限される傾向にある。 乱雑な環境下での強力な推論能力と一般化を維持するため,視覚連鎖推論を組み込んだ理解基盤モデル VCoT-Grasp を提案する。 VCoT-Graspは、解釈可能な推論トレースを提供しながら、視覚的な入力に動的にフォーカスするマルチターン処理パラダイムを採用している。 トレーニングでは167Kの合成画像と1.2K以上のグリップを持つ400以上の実世界画像からなり,中間境界ボックスを付加した大規模データセットであるVCoT-GraspSetを改良,導入する。 VCoT-GraspSetと実ロボットの併用実験により,本手法は成功率の把握を著しく改善し,未知の物体,背景,邪魔者を効果的に一般化することを示した。 詳細はhttps://zhanghr 2001.github.io/VCoT-Grasp.github.ioで確認できる。

関連論文リスト

• Agentic Jigsaw Interaction Learning for Enhancing Visual Perception and Reasoning in Vision-Language Models [63.69856480318313]
  AGILEは、対話的なプロセスとしてジグソー解決を定式化し、モデルが環境に徐々に関与できるようにする。 我々は AGILE がジグソータスクの性能を大幅に向上させることを示す。 また、9つの一般的な視覚タスクに対して強力な一般化を示し、平均3.1%の改善を実現した。
  論文  参考訳（メタデータ） (2025-10-01T17:58:05Z)
• MindOmni: Unleashing Reasoning Generation in Vision Language Models with RGPO [87.52631406241456]
  近年のテキスト・ツー・イメージシステムは、マルチモーダル入力や複雑な推論タスクの処理において制限に直面している。 我々は、強化学習による推論生成を取り入れ、これらの課題に対処する統合マルチモーダルな大規模言語モデルであるMind Omniを紹介する。
  論文  参考訳（メタデータ） (2025-05-19T12:17:04Z)
• GiT: Towards Generalist Vision Transformer through Universal Language Interface [94.33443158125186]
  本稿では,バニラ ViT のみを用いて,様々な視覚タスクに同時に適用可能な,シンプルかつ効果的な GiT フレームワークを提案する。 GiTはマルチタスクのビジュアルモデルで、タスク固有の微調整なしで5つの代表的なベンチマークで共同でトレーニングされている。
  論文  参考訳（メタデータ） (2024-03-14T13:47:41Z)
• ViGoR: Improving Visual Grounding of Large Vision Language Models with Fine-Grained Reward Modeling [35.098725056881655]
  大型視覚言語モデル(LVLM)は前例のない視覚推論能力を示している。 生成されたテキストは、しばしば視覚入力の不正確な接地に悩まされ、既存のシーン要素の幻覚などのエラーが発生する。 そこで我々は,LVLMの視覚的接地性を高めるために,微粒な報酬モデルを用いた新しいフレームワークViGoRを提案する。
  論文  参考訳（メタデータ） (2024-02-09T01:00:14Z)
• What Makes for Good Visual Tokenizers for Large Language Models? [26.488269091290597]
  優れた視覚的トークン化を実現するための適切な事前学習手法について検討し,LLM(Large Language Models)とMLLM(Multimodal Large Language Models)について検討した。 支配的手法(DeiT, CLIP, MAE, DINO)で事前訓練した視覚トークン化剤について検討する。 GVT(Good Visual Tokenizer)を備えたMLLMは,複数スケールで強力な視覚理解能力を示す。
  論文  参考訳（メタデータ） (2023-05-20T16:11:26Z)
• mPLUG: Effective and Efficient Vision-Language Learning by Cross-modal Skip-connections [104.14624185375897]
  mPLUGは、クロスモーダルな理解と生成のための新しいビジョン言語基盤モデルである。 画像キャプション、画像テキスト検索、視覚的グラウンドリング、視覚的質問応答など、幅広い視覚言語下流タスクの最先端結果を達成する。
  論文  参考訳（メタデータ） (2022-05-24T11:52:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。