論文の概要: ReALFRED: An Embodied Instruction Following Benchmark in Photo-Realistic Environments

• arxiv url: http://arxiv.org/abs/2407.18550v1
• Date: Fri, 26 Jul 2024 07:00:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-29 14:10:09.966852
• Title: ReALFRED: An Embodied Instruction Following Benchmark in Photo-Realistic Environments
• Title（参考訳）: ReALFRED:フォトリアリスティックな環境におけるベンチマーク後の身体的インストラクション
• Authors: Taewoong Kim, Cheolhong Min, Byeonghwi Kim, Jinyeon Kim, Wonje Jeung, Jonghyun Choi,
• Abstract要約: 本研究では,実世界のシーン,オブジェクト,部屋のレイアウトを取り入れたReALFREDベンチマークを提案する。 具体的には、視覚領域のギャップを小さくした環境空間を更新したALFREDベンチマークを拡張する。 ReALFREDでは、以前作られたALFREDベンチマークのメソッドを分析し、すべてのメトリクスで一貫して低いパフォーマンスが得られることを観察する。
• 参考スコア（独自算出の注目度）: 13.988804095409133
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Simulated virtual environments have been widely used to learn robotic agents that perform daily household tasks. These environments encourage research progress by far, but often provide limited object interactability, visual appearance different from real-world environments, or relatively smaller environment sizes. This prevents the learned models in the virtual scenes from being readily deployable. To bridge the gap between these learning environments and deploying (i.e., real) environments, we propose the ReALFRED benchmark that employs real-world scenes, objects, and room layouts to learn agents to complete household tasks by understanding free-form language instructions and interacting with objects in large, multi-room and 3D-captured scenes. Specifically, we extend the ALFRED benchmark with updates for larger environmental spaces with smaller visual domain gaps. With ReALFRED, we analyze previously crafted methods for the ALFRED benchmark and observe that they consistently yield lower performance in all metrics, encouraging the community to develop methods in more realistic environments. Our code and data are publicly available.
• Abstract（参考訳）: シミュレーション仮想環境は、日常的な家庭作業を行うロボットエージェントの学習に広く利用されている。 これらの環境は研究の進歩を促進するが、しばしばオブジェクトの相互作用性や実際の環境とは異なる視覚的外観、あるいは比較的小さな環境サイズを提供する。 これにより、仮想シーンの学習したモデルが容易にデプロイできなくなる。 学習環境と実際の環境とのギャップを埋めるために,実世界のシーン,オブジェクト,部屋のレイアウトを取り入れたReALFREDベンチマークを提案する。 具体的には、視覚領域のギャップを小さくした環境空間を更新したALFREDベンチマークを拡張する。 ReALFREDでは、以前作られたALFREDベンチマークのメソッドを分析し、すべてのメトリクスで一貫して低いパフォーマンスが得られることを観察し、コミュニティがより現実的な環境でメソッドを開発することを奨励します。 私たちのコードとデータは公開されています。

関連論文リスト

• Scaling Instructable Agents Across Many Simulated Worlds [70.97268311053328]
  私たちのゴールは、シミュレーションされた3D環境で人間ができることを何でも達成できるエージェントを開発することです。 我々のアプローチは、最小限の仮定を示唆しながら、言語駆動の一般性に焦点を当てている。 我々のエージェントは、汎用的なヒューマンライクなインタフェースを使って、リアルタイムで環境と対話する。
  論文  参考訳（メタデータ） (2024-03-13T17:50:32Z)
• Enhancing Graph Representation of the Environment through Local and Cloud Computation [2.9465623430708905]
  複数の情報源からロボット環境のセマンティックな表現を提供するグラフベースの表現を提案する。 環境から情報を取得するために、このフレームワークは古典的なコンピュータビジョンツールと現代のコンピュータビジョンクラウドサービスを組み合わせる。 提案手法により、小さなオブジェクトも処理し、環境の意味表現に統合することが可能になる。
  論文  参考訳（メタデータ） (2023-09-22T08:05:32Z)
• ArK: Augmented Reality with Knowledge Interactive Emergent Ability [115.72679420999535]
  基礎モデルから新しいドメインへの知識記憶の伝達を学習する無限エージェントを開発する。 私たちのアプローチの核心は、Augmented Reality with Knowledge Inference Interaction (ArK)と呼ばれる新しいメカニズムである。 我々のArKアプローチは,大規模な基礎モデルと組み合わせることで,生成された2D/3Dシーンの品質を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-05-01T17:57:01Z)
• CoDEPS: Online Continual Learning for Depth Estimation and Panoptic Segmentation [28.782231314289174]
  深層学習に基づく単眼深度推定とパノプティックセグメンテーションのための連続学習をオンラインで導入する。 そこで本研究では,パノプティカルセグメンテーションに適応する擬似ラベルを生成するための新しいドメイン混合手法を提案する。 我々は,固定サイズのリプレイバッファを構築するためのサンプリング戦略を活用することで,ロボットシステムの限られたストレージ容量に明示的に対処する。
  論文  参考訳（メタデータ） (2023-03-17T17:31:55Z)
• RREx-BoT: Remote Referring Expressions with a Bag of Tricks [19.036557405184656]
  本研究では,未観測環境における物体の探索に視覚言語スコアリングモデルを用いる方法を示す。 私たちは、我々のモデルを現実世界のTurtleBotプラットフォーム上でデモし、このアプローチの単純さと有用性を強調します。 本分析では,3次元座標と文脈の利用から,視覚言語モデルから大規模3次元検索空間への一般化に至るまで,この課題を達成する上で不可欠な「トリックの袋」を概説する。
  論文  参考訳（メタデータ） (2023-01-30T02:19:19Z)
• Phone2Proc: Bringing Robust Robots Into Our Chaotic World [50.51598304564075]
  Phone2Procは、10分間の電話スキャンと条件付き手続き生成を使用して、トレーニングシーンの分布を作成する方法である。 生成されたシーンは、壁のレイアウトとスキャンからの大きなオブジェクトの配置に条件付けされる。 Phone2Procは、sim-to-real ObjectNavのパフォーマンスで34.7%から70.7%に大幅に改善されている。
  論文  参考訳（メタデータ） (2022-12-08T18:52:27Z)
• Robot Active Neural Sensing and Planning in Unknown Cluttered Environments [0.0]
  未知の乱雑な環境でのアクティブなセンシングと計画は、ホームサービス、探索と救助、狭い通行検査、医療支援を提供するロボットにとって、オープンな課題である。 本研究は,ロボットマニピュレータの動力学的に実現可能な視点列を手動カメラで生成し,基礎環境の再構築に必要な観測回数を最小化するための能動型ニューラルセンシング手法を提案する。 我々のフレームワークは視覚的RGBD観測を積極的に収集し、それらをシーン表現に集約し、環境との不要なロボットの相互作用を避けるためにオブジェクト形状推論を行う。
  論文  参考訳（メタデータ） (2022-08-23T16:56:54Z)
• SILG: The Multi-environment Symbolic Interactive Language Grounding Benchmark [62.34200575624785]
  マルチ環境対話型言語グラウンドベンチマーク(SILG)を提案する。 SILGは、新しいダイナミクス、エンティティ、部分的に観察された世界(RTFM、Messenger、NetHack)への一般化を必要とするグリッドワールド環境で構成されている。 SILGを用いた自己中心型局所的畳み込み,再帰状態追跡,エンティティ中心の注意,事前訓練によるLMなどの最近の進歩を評価した。
  論文  参考訳（メタデータ） (2021-10-20T17:02:06Z)
• Evaluating Continual Learning Algorithms by Generating 3D Virtual Environments [66.83839051693695]
  連続学習とは、人間や動物が特定の環境で徐々に学習する能力である。 本稿では3次元仮想環境の最近の進歩を活用して,フォトリアリスティックな外観を持つ潜在的に長寿命な動的シーンの自動生成にアプローチすることを提案する。 本論文の新たな要素は、シーンがパラメトリックな方法で記述され、エージェントが知覚する入力ストリームの視覚的複雑さを完全に制御できることである。
  論文  参考訳（メタデータ） (2021-09-16T10:37:21Z)
• iGibson, a Simulation Environment for Interactive Tasks in Large Realistic Scenes [54.04456391489063]
  iGibsonは、大規模な現実的なシーンにおける対話的なタスクのためのロボットソリューションを開発するための、新しいシミュレーション環境である。 私たちの環境には、厳密で明瞭な物体が密集した15のインタラクティブなホームサイズシーンが含まれています。 iGibsonの機能はナビゲーションエージェントの一般化を可能にし、人間-iGibsonインターフェースと統合されたモーションプランナーは、単純な人間の実演行動の効率的な模倣学習を促進する。
  論文  参考訳（メタデータ） (2020-12-05T02:14:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。