論文の概要: DEF-oriCORN: efficient 3D scene understanding for robust language-directed manipulation without demonstrations

• arxiv url: http://arxiv.org/abs/2407.21267v1
• Date: Wed, 31 Jul 2024 01:13:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-01 19:04:58.117827
• Title: DEF-oriCORN: efficient 3D scene understanding for robust language-directed manipulation without demonstrations
• Title（参考訳）: DEF-oriCORN:実演なしでの堅牢な言語操作のための効率的な3Dシーン理解
• Authors: Dongwon Son, Sanghyeon Son, Jaehyung Kim, Beomjoon Kim,
• Abstract要約: DEF-oriCORNは言語指向の操作タスクのためのフレームワークである。 我々のフレームワークは、音声コマンドに応答して、効率的で堅牢な操作計画を可能にする。 データ生成、トレーニング、推論、事前訓練された重み付けのためのコードも公開されています。
• 参考スコア（独自算出の注目度）: 9.092163300680832
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present DEF-oriCORN, a framework for language-directed manipulation tasks. By leveraging a novel object-based scene representation and diffusion-model-based state estimation algorithm, our framework enables efficient and robust manipulation planning in response to verbal commands, even in tightly packed environments with sparse camera views without any demonstrations. Unlike traditional representations, our representation affords efficient collision checking and language grounding. Compared to state-of-the-art baselines, our framework achieves superior estimation and motion planning performance from sparse RGB images and zero-shot generalizes to real-world scenarios with diverse materials, including transparent and reflective objects, despite being trained exclusively in simulation. Our code for data generation, training, inference, and pre-trained weights are publicly available at: https://sites.google.com/view/def-oricorn/home.
• Abstract（参考訳）: 言語指向の操作タスクのためのフレームワークであるDEF-oriCORNを提案する。 オブジェクトをベースとした新しいシーン表現と拡散モデルに基づく状態推定アルゴリズムを活用することで,デモを伴わずにカメラビューの狭い密集環境でも,音声コマンドに応答して効率的でロバストな操作計画が可能になる。 従来の表現とは異なり、我々の表現は効率的な衝突チェックと言語接地を行うことができる。 現状のベースラインと比較すると,本フレームワークは,シミュレーションに特化して訓練されているにもかかわらず,粗いRGB画像からより優れた推定と運動計画性能を達成し,透明で反射的な物体を含む多種多様な物質を含む実世界のシナリオにゼロショットを一般化する。 データ生成、トレーニング、推論、事前トレーニングされたウェイトに関する私たちのコードは、https://sites.google.com/view/def-oricorn/home.comで公開されています。

関連論文リスト

• Language Driven Occupancy Prediction [11.208411421996052]
  オープン語彙占有予測のための効果的で一般化可能なフレームワークであるLOccを紹介する。 私たちのパイプラインは、画像の貴重な意味情報を掘り下げるための、実現可能な方法を提供します。 LOccは生成された言語基底の真実を効果的に利用し、3D言語ボリュームの学習をガイドする。
  論文  参考訳（メタデータ） (2024-11-25T03:47:10Z)
• SUGAR: Pre-training 3D Visual Representations for Robotics [85.55534363501131]
  ロボット工学のための新しい3D事前学習フレームワークSUGARを紹介した。 SUGARは3次元の点雲を通してオブジェクトの意味的、幾何学的、および余分な特性をキャプチャする。 SuGARの3D表現は最先端の2Dおよび3D表現よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-01T21:23:03Z)
• Grounding Language Plans in Demonstrations Through Counterfactual Perturbations [25.19071357445557]
  物理領域におけるLarge Language Models(LLM)の常識的推論は、具体化されたAIにとって重要な問題でありながら未解決である。 提案手法は,2次元ナビゲーションによる模倣学習の解釈性と反応性を向上し,シミュレーションおよび実ロボット操作タスクを実現する。
  論文  参考訳（メタデータ） (2024-03-25T19:04:59Z)
• Language Embedded 3D Gaussians for Open-Vocabulary Scene Understanding [2.517953665531978]
  オープン語彙クエリタスクのための新しいシーン表現であるLanguage Embedded 3D Gaussiansを紹介する。 我々の表現は、現在の言語埋め込み表現において、最高の視覚的品質と言語クエリの精度を達成する。
  論文  参考訳（メタデータ） (2023-11-30T11:50:07Z)
• ZoomNeXt: A Unified Collaborative Pyramid Network for Camouflaged Object Detection [70.11264880907652]
  最近のオブジェクト(COD)は、現実のシナリオでは極めて複雑で難しい、視覚的にブレンドされたオブジェクトを周囲に分割しようと試みている。 本研究では,不明瞭な画像を観察したり,ズームインしたりアウトしたりする際の人間の行動を模倣する,効果的な統合協調ピラミッドネットワークを提案する。 我々のフレームワークは、画像とビデオのCODベンチマークにおいて、既存の最先端の手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2023-10-31T06:11:23Z)
• CLIP$^2$: Contrastive Language-Image-Point Pretraining from Real-World Point Cloud Data [80.42480679542697]
  現実シナリオにおける3Dポイントクラウド表現の伝達を学習するために,Contrastive Language-Image-Point Cloud Pretraining (CLIP$2$)を提案する。 具体的には、2Dおよび3Dシナリオで自然に存在する対応を利用して、それらの複雑なシナリオから、適切に整列されたインスタンスベースのテキストイメージポイントプロキシを構築します。
  論文  参考訳（メタデータ） (2023-03-22T09:32:45Z)
• Effective End-to-End Vision Language Pretraining with Semantic Visual Loss [58.642954383282216]
  現在の視覚言語事前学習モデルは、物体検出器から抽出された領域視覚特徴を用いた手法によって支配されている。 3種類の視覚的損失を導入し、より高速な収束と微調整精度の向上を実現した。 リージョン機能モデルと比較して、私たちのエンドツーエンドモデルは、下流タスクで同様のあるいはより良いパフォーマンスを実現し、推論中に10倍以上高速に動作します。
  論文  参考訳（メタデータ） (2023-01-18T00:22:49Z)
• Sim-To-Real Transfer of Visual Grounding for Human-Aided Ambiguity Resolution [0.0]
  視覚的接地という課題について考察し, エージェントは, 混み合ったシーンからオブジェクトを抽出し, 自然言語で記述する。 視覚的接地に対する現代の全体論的アプローチは、言語構造を無視し、ジェネリックドメインをカバーするのに苦労する。 実体,属性,空間関係の合成視覚的グラウンド化のための,完全に分離されたモジュラー・フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-24T14:12:32Z)
• Pre-Trained Language Models for Interactive Decision-Making [72.77825666035203]
  目的と観測を埋め込みのシーケンスとして表現する模倣学習の枠組みを述べる。 このフレームワークは様々な環境にまたがって効果的な一般化を可能にすることを実証する。 新たなゴールや新しいシーンを含むテストタスクでは、言語モデルによる初期化ポリシーはタスク完了率を43.6%改善する。
  論文  参考訳（メタデータ） (2022-02-03T18:55:52Z)
• Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision [57.031588264841]
  高価なフィルタリングや後処理のステップを使わずに得られる10億以上の画像アルトテキストペアのノイズの多いデータセットを活用します。 単純なデュアルエンコーダアーキテクチャは、画像とテキストペアの視覚的および言語的表現を、対照的な損失を使って整列させることを学ぶ。 コーパスのスケールはノイズを補うことができ、そのような単純な学習方式であっても最先端の表現に繋がることを示す。
  論文  参考訳（メタデータ） (2021-02-11T10:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。