論文の概要: TranSplat: Surface Embedding-guided 3D Gaussian Splatting for Transparent Object Manipulation

• arxiv url: http://arxiv.org/abs/2502.07840v1
• Date: Tue, 11 Feb 2025 03:43:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:45:26.620331
• Title: TranSplat: Surface Embedding-guided 3D Gaussian Splatting for Transparent Object Manipulation
• Title（参考訳）: TranSplat:透明物体マニピュレーションのための表面埋め込み誘導型3Dガウススプラッティング
• Authors: Jeongyun Kim, Jeongho Noh, Dong-Guw Lee, Ayoung Kim,
• Abstract要約: TranSplat は透明物体に適した表面埋め込み誘導型3次元ガウス散乱法である。 これらの表面埋め込みと入力されたRGB画像を統合することで、TranSplatは透明な表面の複雑さを効果的に捉えることができる。
• 参考スコア（独自算出の注目度）: 10.957451368533302
• License:
• Abstract: Transparent object manipulation remains a sig- nificant challenge in robotics due to the difficulty of acquiring accurate and dense depth measurements. Conventional depth sensors often fail with transparent objects, resulting in in- complete or erroneous depth data. Existing depth completion methods struggle with interframe consistency and incorrectly model transparent objects as Lambertian surfaces, leading to poor depth reconstruction. To address these challenges, we propose TranSplat, a surface embedding-guided 3D Gaussian Splatting method tailored for transparent objects. TranSplat uses a latent diffusion model to generate surface embeddings that provide consistent and continuous representations, making it robust to changes in viewpoint and lighting. By integrating these surface embeddings with input RGB images, TranSplat effectively captures the complexities of transparent surfaces, enhancing the splatting of 3D Gaussians and improving depth completion. Evaluations on synthetic and real-world transpar- ent object benchmarks, as well as robot grasping tasks, show that TranSplat achieves accurate and dense depth completion, demonstrating its effectiveness in practical applications. We open-source synthetic dataset and model: https://github. com/jeongyun0609/TranSplat
• Abstract（参考訳）: 透明な物体の操作は、正確な深度測定と深度測定の取得が困難であるため、ロボット工学において重要な課題である。 従来の深度センサーは、しばしば透明な物体で失敗し、不完全または誤った深度データをもたらす。 既存の深度補完法はフレーム間の整合性に悩まされ、ランベルト面として不正確に透明な物体をモデル化する。 これらの課題に対処するために,透明物体に適した表面埋め込み誘導型3次元ガウス平滑化法であるTranSplatを提案する。 TranSplatは遅延拡散モデルを使用して、一貫した連続した表現を提供する表面埋め込みを生成し、視点や照明の変化に対して堅牢である。 これらの表面埋め込みと入力されたRGB画像を統合することで、TranSplatは透明な表面の複雑さを効果的に捉え、3Dガウスのスプレイティングを強化し、深さの完成度を向上させる。 合成および実世界のトランパーエントオブジェクトベンチマークの評価は、ロボットの把握タスクと同様に、TrranSplatが正確で密度の高い深度を達成し、その実用性を示している。 合成データセットとモデルをオープンソースで公開しています。 https://aws.com/jeongyun0609/TranSplat

関連論文リスト

• TDCNet: Transparent Objects Depth Completion with CNN-Transformer Dual-Branch Parallel Network [8.487135422430972]
  透明物体深度を補完する2分岐CNN-Transformer並列ネットワークであるTDCNetを提案する。 本モデルは,複数の公開データセットにまたがって最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-12-19T15:42:21Z)
• G2SDF: Surface Reconstruction from Explicit Gaussians with Implicit SDFs [84.07233691641193]
  G2SDFはニューラル暗黙の符号付き距離場をガウススプラッティングフレームワークに統合する新しいアプローチである。 G2SDFは, 3DGSの効率を維持しつつ, 従来よりも優れた品質を実現する。
  論文  参考訳（メタデータ） (2024-11-25T20:07:07Z)
• ClearDepth: Enhanced Stereo Perception of Transparent Objects for Robotic Manipulation [18.140839442955485]
  我々は透明物体の立体深度回復のための視覚変換器に基づくアルゴリズムを開発した。 提案手法は,効率的なデータ生成のためのパラメータ整合,ドメイン適応,物理的に現実的なSim2Realシミュレーションを含む。 実世界のシナリオにおけるSim2Realの例外的な一般化性を示す実験結果を得た。
  論文  参考訳（メタデータ） (2024-09-13T15:44:38Z)
• CVT-xRF: Contrastive In-Voxel Transformer for 3D Consistent Radiance Fields from Sparse Inputs [65.80187860906115]
  スパース入力によるNeRFの性能向上のための新しい手法を提案する。 まず, サンプル線が, 3次元空間内の特定のボクセルと交差することを保証するために, ボクセルを用いた放射線サンプリング戦略を採用する。 次に、ボクセル内の追加点をランダムにサンプリングし、トランスフォーマーを適用して各線上の他の点の特性を推測し、ボリュームレンダリングに組み込む。
  論文  参考訳（メタデータ） (2024-03-25T15:56:17Z)
• Hybrid Explicit Representation for Ultra-Realistic Head Avatars [55.829497543262214]
  我々は,超現実的な頭部アバターを作成し,それをリアルタイムにレンダリングする新しい手法を提案する。 UVマップされた3Dメッシュは滑らかな表面のシャープでリッチなテクスチャを捉えるのに使われ、3Dガウス格子は複雑な幾何学構造を表現するために用いられる。 モデル化された結果が最先端のアプローチを上回る実験を行ないました。
  論文  参考訳（メタデータ） (2024-03-18T04:01:26Z)
• RFTrans: Leveraging Refractive Flow of Transparent Objects for Surface Normal Estimation and Manipulation [50.10282876199739]
  本稿では、透明物体の表面正規化と操作のためのRGB-Dに基づくRFTransを提案する。 RFNetは屈折流、物体マスク、境界を予測し、次いでF2Netは屈折流から表面の正常を推定する。 現実のロボットがタスクをつかむと、成功率は83%となり、屈折流が直接シミュレートから現実への移動を可能にすることが証明される。
  論文  参考訳（メタデータ） (2023-11-21T07:19:47Z)
• TODE-Trans: Transparent Object Depth Estimation with Transformer [16.928131778902564]
  トランスを用いた1つのRGB-D入力からの透明物体深度推定手法を提案する。 きめ細かい機能を強化するため、特徴融合モジュール(FFM)はコヒーレントな予測を支援するように設計されている。
  論文  参考訳（メタデータ） (2022-09-18T03:04:01Z)
• Joint Learning of Salient Object Detection, Depth Estimation and Contour Extraction [91.43066633305662]
  RGB-D Salient Object Detection (SOD) のための新しいマルチタスク・マルチモーダルフィルタトランス (MMFT) ネットワークを提案する。 具体的には、深度推定、健全な物体検出、輪郭推定の3つの相補的なタスクを統合する。マルチタスク機構は、タスク認識の特徴を補助タスクから学習するためのモデルを促進する。 実験の結果、複数のデータセット上での深度に基づくRGB-D SOD法をはるかに上回るだけでなく、高品質の深度マップと塩分濃度を同時に正確に予測できることがわかった。
  論文  参考訳（メタデータ） (2022-03-09T17:20:18Z)
• RGB-D Local Implicit Function for Depth Completion of Transparent Objects [43.238923881620494]
  ロボット工学における認識方法の大部分は、RGB-Dカメラが提供する深度情報を必要とする。 標準的な3Dセンサーは、屈折と光の吸収により透明な物体の深さを捉えられない。 ノイズの多いRGB-D入力を考慮し,欠損深度を完備できる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-01T17:00:04Z)
• 3D Dense Geometry-Guided Facial Expression Synthesis by Adversarial Learning [54.24887282693925]
  本稿では,3次元密度(深度,表面正規度)情報を表現操作に用いる新しいフレームワークを提案する。 既製の最先端3D再構成モデルを用いて深度を推定し,大規模RGB-Depthデータセットを作成する。 実験により,提案手法は競争ベースラインと既存の芸術を大きなマージンで上回ることを示した。
  論文  参考訳（メタデータ） (2020-09-30T17:12:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。