論文の概要: GRASPLAT: Enabling dexterous grasping through novel view synthesis
- arxiv url: http://arxiv.org/abs/2510.19200v1
- Date: Wed, 22 Oct 2025 03:19:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-25 03:08:15.02031
- Title: GRASPLAT: Enabling dexterous grasping through novel view synthesis
- Title(参考訳): GRASPLAT:新しいビュー合成によるデクスタラス把握の実現
- Authors: Matteo Bortolon, Nuno Ferreira Duarte, Plinio Moreno, Fabio Poiesi, José Santos-Victor, Alessio Del Bue,
- Abstract要約: GRASPLATは、RGBイメージのみをトレーニングしながら、一貫性のある3D情報を活用する、新しい把握フレームワークである。
我々の重要な洞察は、物体をつかむ手の物理的に可塑性なイメージを合成することで、対応する手関節を回復させることで、うまくつかむことができるということである。
従来の手法と異なり,本手法では,レンダリング画像と実画像との差を最小化することにより,予測の把握を洗練する測光損失を取り入れている。
- 参考スコア(独自算出の注目度): 29.55492442334601
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Achieving dexterous robotic grasping with multi-fingered hands remains a significant challenge. While existing methods rely on complete 3D scans to predict grasp poses, these approaches face limitations due to the difficulty of acquiring high-quality 3D data in real-world scenarios. In this paper, we introduce GRASPLAT, a novel grasping framework that leverages consistent 3D information while being trained solely on RGB images. Our key insight is that by synthesizing physically plausible images of a hand grasping an object, we can regress the corresponding hand joints for a successful grasp. To achieve this, we utilize 3D Gaussian Splatting to generate high-fidelity novel views of real hand-object interactions, enabling end-to-end training with RGB data. Unlike prior methods, our approach incorporates a photometric loss that refines grasp predictions by minimizing discrepancies between rendered and real images. We conduct extensive experiments on both synthetic and real-world grasping datasets, demonstrating that GRASPLAT improves grasp success rates up to 36.9% over existing image-based methods. Project page: https://mbortolon97.github.io/grasplat/
- Abstract(参考訳): 複数の指でロボットをつかむことは、まだまだ大きな課題だ。
既存の手法は、把握ポーズを予測するために完全な3Dスキャンに頼っているが、これらのアプローチは、現実世界のシナリオで高品質な3Dデータを取得するのが困難であるため、制限に直面している。
本稿では,RGB画像のみをトレーニングしながら,一貫した3D情報を活用する新しい把握フレームワークGRASPLATを紹介する。
我々の重要な洞察は、物体をつかむ手の物理的に可塑性なイメージを合成することで、対応する手関節を回復させることで、うまくつかむことができるということである。
そこで,本研究では,3次元ガウススプラッティングを用いて,実物間相互作用の高忠実な新しいビューを生成し,RGBデータによるエンドツーエンドのトレーニングを可能にする。
従来の手法と異なり,本手法では,レンダリング画像と実画像との差を最小化することにより,予測の把握を洗練する測光損失を取り入れている。
GRASPLATは、既存の画像ベース手法よりも36.9%のグルーピング成功率を改善することを実証し、合成および実世界のグルーピングデータセットの両方について広範な実験を行った。
プロジェクトページ: https://mbortolon97.github.io/grasplat/
関連論文リスト
- EVolSplat: Efficient Volume-based Gaussian Splatting for Urban View Synthesis [61.1662426227688]
既存のNeRFおよび3DGSベースの手法は、フォトリアリスティックレンダリングを実現する上で有望な結果を示すが、スローでシーンごとの最適化が必要である。
本稿では,都市景観を対象とした効率的な3次元ガウススプレイティングモデルEVolSplatを紹介する。
論文 参考訳(メタデータ) (2025-03-26T02:47:27Z) - JGHand: Joint-Driven Animatable Hand Avater via 3D Gaussian Splatting [3.1143479095236892]
Jointly 3D Gaussian Hand (JGHand)は、新しい3D Gaussian Splatting (3DGS)ベースの手表現である。
JGHandは、最先端の手法を超越した、高品質なリアルタイムレンダリングを実現する。
論文 参考訳(メタデータ) (2025-01-31T12:33:24Z) - HandBooster: Boosting 3D Hand-Mesh Reconstruction by Conditional Synthesis and Sampling of Hand-Object Interactions [68.28684509445529]
HandBoosterは、データの多様性を向上し、3Dハンド・ミーシュ・リコンストラクションのパフォーマンスを向上する新しいアプローチである。
まず,多様な手やポーズ,ビュー,背景を持つリアルな画像を生成するために,拡散モデルを誘導する多目的コンテンツ認識条件を構築した。
そこで我々は,我々の類似性を考慮した分布サンプリング戦略に基づく新しい条件作成手法を設計し,トレーニングセットとは異なる,斬新で現実的なインタラクションのポーズを意図的に見つける。
論文 参考訳(メタデータ) (2024-03-27T13:56:08Z) - IT3D: Improved Text-to-3D Generation with Explicit View Synthesis [71.68595192524843]
本研究では、これらの問題に対処するために、明示的に合成されたマルチビュー画像を活用する新しい戦略を提案する。
我々のアプローチは、高画質画像を生成するために、LCDによって強化されたイメージ・ツー・イメージ・パイプラインを活用することである。
組込み判別器では、合成したマルチビュー画像は実データと見なされ、最適化された3Dモデルのレンダリングは偽データとして機能する。
論文 参考訳(メタデータ) (2023-08-22T14:39:17Z) - A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware
Image Synthesis [163.96778522283967]
そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。
正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。
複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
論文 参考訳(メタデータ) (2021-10-29T10:53:12Z) - Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image
Decomposition [67.9464567157846]
合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。
実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
論文 参考訳(メタデータ) (2020-06-29T12:53:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。