論文の概要: Embodied-RAG: General Non-parametric Embodied Memory for Retrieval and Generation
- arxiv url: http://arxiv.org/abs/2409.18313v3
- Date: Thu, 03 Oct 2024 15:17:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-04 13:57:34.231784
- Title: Embodied-RAG: General Non-parametric Embodied Memory for Retrieval and Generation
- Title(参考訳): Embodied-RAG: 検索・生成のための一般的な非パラメトリック・エボダイドメモリ
- Authors: Quanting Xie, So Yeon Min, Tianyi Zhang, Aarav Bajaj, Ruslan Salakhutdinov, Matthew Johnson-Roberson, Yonatan Bisk,
- Abstract要約: Embodied-RAGは、非パラメトリックメモリシステムによるエンボディエージェントのモデルを強化するフレームワークである。
コアとなるEmbodied-RAGのメモリはセマンティックフォレストとして構成され、言語記述を様々なレベルで詳細に保存する。
Embodied-RAGがRAGをロボット領域に効果的にブリッジし、200以上の説明とナビゲーションクエリをうまく処理できることを実証する。
- 参考スコア(独自算出の注目度): 68.0477497489619
- License:
- Abstract: There is no limit to how much a robot might explore and learn, but all of that knowledge needs to be searchable and actionable. Within language research, retrieval augmented generation (RAG) has become the workhouse of large-scale non-parametric knowledge, however existing techniques do not directly transfer to the embodied domain, which is multimodal, data is highly correlated, and perception requires abstraction. To address these challenges, we introduce Embodied-RAG, a framework that enhances the foundational model of an embodied agent with a non-parametric memory system capable of autonomously constructing hierarchical knowledge for both navigation and language generation. Embodied-RAG handles a full range of spatial and semantic resolutions across diverse environments and query types, whether for a specific object or a holistic description of ambiance. At its core, Embodied-RAG's memory is structured as a semantic forest, storing language descriptions at varying levels of detail. This hierarchical organization allows the system to efficiently generate context-sensitive outputs across different robotic platforms. We demonstrate that Embodied-RAG effectively bridges RAG to the robotics domain, successfully handling over 200 explanation and navigation queries across 19 environments, highlighting its promise for general-purpose non-parametric system for embodied agents.
- Abstract(参考訳): ロボットの探索と学習には限界はありませんが、その知識はすべて検索可能で実行可能でなければなりません。
言語研究の中では、検索拡張生成(RAG)が大規模な非パラメトリック知識のワークハウスとなっているが、既存の技術は、マルチモーダルなエンボディドメインに直接転送せず、データは高い相関性を持ち、知覚には抽象化が必要である。
これらの課題に対処するために、Embodied-RAGは、ナビゲーションと言語生成の両方の階層的知識を自律的に構築できる非パラメトリックメモリシステムを備えた、エンボディエージェントの基礎モデルを強化するフレームワークである。
Embodied-RAGは、特定のオブジェクトや周囲の全体的記述にかかわらず、さまざまな環境やクエリタイプにわたる、空間的および意味的な解決を幅広く扱う。
コアとなるEmbodied-RAGのメモリはセマンティックフォレストとして構成され、言語記述を様々なレベルで詳細に保存する。
この階層的な組織は、さまざまなロボットプラットフォームにまたがる状況に敏感なアウトプットを効率的に生成することを可能にする。
Embodied-RAGがRAGをロボット領域に効果的にブリッジし、19の環境における200以上の説明とナビゲーションクエリをうまく処理し、エンボディエージェントの汎用的ノンパラメトリックシステムへの期待を強調した。
関連論文リスト
- Towards a Search Engine for Machines: Unified Ranking for Multiple Retrieval-Augmented Large Language Models [21.115495457454365]
uRAGは、複数の下流検索拡張生成システム(RAG)を提供する統合検索エンジンを備えたフレームワークである。
我々は、訓練に従事する18のRAGシステムと、uRAGを検索エンジンの新規ユーザとして使用する18の未知のRAGシステムからなる大規模な実験エコシステムを構築した。
論文 参考訳(メタデータ) (2024-04-30T19:51:37Z) - RoboEXP: Action-Conditioned Scene Graph via Interactive Exploration for
Robotic Manipulation [22.30830950219317]
本稿では,ロボットが自律的に環境を探索し,行動条件付きシーングラフ(ACSG)を作成する,インタラクティブなシーン探索という新たな課題を紹介する。
ACSGは、幾何学や意味論のような低レベル情報と、シーン内の異なるエンティティ間のアクション条件付き関係のような高レベル情報の両方を記述している。
実世界の様々な環境にゼロショットで適用し、これまで見たことのない環境の探索とモデリングにその効果を実証する。
論文 参考訳(メタデータ) (2024-02-23T18:27:17Z) - Integrating LLMs and Decision Transformers for Language Grounded
Generative Quality-Diversity [0.0]
品質多様性(Quality-Diversity)は最適化の一分野であり、強化学習と制御ドメインの問題によく適用される。
本稿では,レパートリーをトラジェクトリの自然言語記述で拡張する大規模言語モデルを提案する。
また、このような生成エージェントの性能を評価するためのLCMベースのアプローチを提案する。
論文 参考訳(メタデータ) (2023-08-25T10:00:06Z) - Transferring Foundation Models for Generalizable Robotic Manipulation [82.12754319808197]
インターネット規模の基盤モデルによって生成された言語推論セグメンテーションマスクを効果的に活用する新しいパラダイムを提案する。
提案手法は,オブジェクトのポーズを効果的かつ堅牢に知覚し,サンプル効率のよい一般化学習を可能にする。
デモは提出されたビデオで見ることができ、より包括的なデモはlink1またはlink2で見ることができます。
論文 参考訳(メタデータ) (2023-06-09T07:22:12Z) - MuRAG: Multimodal Retrieval-Augmented Generator for Open Question
Answering over Images and Text [58.655375327681774]
我々は,Multimodal Retrieval-Augmented Transformer (MuRAG)を提案する。
MuRAGは外部の非パラメトリックマルチモーダルメモリにアクセスして言語生成を増強する。
以上の結果から, MuRAGは最先端の精度を達成し, 既存のモデルよりも10~20%精度が高いことがわかった。
論文 参考訳(メタデータ) (2022-10-06T13:58:03Z) - SCIM: Simultaneous Clustering, Inference, and Mapping for Open-World
Semantic Scene Understanding [34.19666841489646]
本研究では,ロボットが未知の環境を探索する際に,新しいセマンティッククラスを自律的に発見し,既知のクラスの精度を向上させる方法を示す。
セグメンテーションモデルを更新するための自己教師付き学習信号を生成するために,マッピングとクラスタリングのための一般的なフレームワークを開発する。
特に、デプロイ中にクラスタリングパラメータをどのように最適化するかを示し、複数の観測モダリティの融合が、以前の作業と比べて新しいオブジェクト発見を改善することを示す。
論文 参考訳(メタデータ) (2022-06-21T18:41:51Z) - MetaGraspNet: A Large-Scale Benchmark Dataset for Vision-driven Robotic
Grasping via Physics-based Metaverse Synthesis [78.26022688167133]
本稿では,物理に基づくメタバース合成による視覚駆動型ロボットグルーピングのための大規模ベンチマークデータセットを提案する。
提案するデータセットには,10万の画像と25種類のオブジェクトが含まれている。
また,オブジェクト検出とセグメンテーション性能を評価するためのデータセットとともに,新しいレイアウト重み付け性能指標を提案する。
論文 参考訳(メタデータ) (2021-12-29T17:23:24Z) - GenURL: A General Framework for Unsupervised Representation Learning [58.59752389815001]
教師なし表現学習(URL)は、教師なしの高次元データのコンパクトな埋め込みを学習する。
本稿では,様々なURLタスクにスムーズに適応可能な類似性ベースの統合URLフレームワークGenURLを提案する。
実験により、GenURLは、自己教師付き視覚学習、無教師付き知識蒸留(KD)、グラフ埋め込み(GE)、次元縮小において、一貫した最先端性能を達成することが示された。
論文 参考訳(メタデータ) (2021-10-27T16:24:39Z) - Enhancing Multi-Robot Perception via Learned Data Association [37.866254392010454]
本稿では,マルチロボット協調認識問題,特に分散セマンティックセグメンテーションにおけるマルチビューインフィル問題に対処する。
本稿では,ロボット群において各エージェントにデプロイ可能なニューラルネットワークであるMulti-Agent Infilling Networkを提案する。
具体的には、各ロボットが視覚情報を局所的に符号化・復号し、ニューラルメカニズムにより、不確実性を認識し、文脈に基づく中間特徴の交換を可能にする。
論文 参考訳(メタデータ) (2021-07-01T22:45:26Z) - Speech Command Recognition in Computationally Constrained Environments
with a Quadratic Self-organized Operational Layer [92.37382674655942]
軽量ネットワークの音声コマンド認識能力を向上するネットワーク層を提案する。
この手法はテイラー展開と二次形式の概念を借用し、入力層と隠蔽層の両方における特徴のより良い表現を構築する。
このリッチな表現は、Google音声コマンド(GSC)と合成音声コマンド(SSC)データセットに関する広範な実験で示されているように、認識精度の向上をもたらす。
論文 参考訳(メタデータ) (2020-11-23T14:40:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。