論文の概要: Episodic Memory Verbalization using Hierarchical Representations of Life-Long Robot Experience

• arxiv url: http://arxiv.org/abs/2409.17702v1
• Date: Thu, 26 Sep 2024 10:16:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-28 20:46:02.566996
• Title: Episodic Memory Verbalization using Hierarchical Representations of Life-Long Robot Experience
• Title（参考訳）: ライフロングロボット体験の階層的表現を用いたエピソード記憶言語化
• Authors: Leonard Bärmann, Chad DeChant, Joana Plewnia, Fabian Peller-Konrad, Daniel Bauer, Tamim Asfour, Alex Waibel,
• Abstract要約: 本研究では,大規模な事前学習モデルを用いて,エピソードデータの短い(数分間の)ストリームを音声化する。 樹状データ構造をエピソードメモリ(EM)から導出し,その低レベルは生の知覚と固有受容のデータを表す。 シミュレーションされた家庭用ロボットデータ,人間中心ビデオ,実世界のロボット記録について評価を行った。
• 参考スコア（独自算出の注目度）: 12.9617156851956
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Verbalization of robot experience, i.e., summarization of and question answering about a robot's past, is a crucial ability for improving human-robot interaction. Previous works applied rule-based systems or fine-tuned deep models to verbalize short (several-minute-long) streams of episodic data, limiting generalization and transferability. In our work, we apply large pretrained models to tackle this task with zero or few examples, and specifically focus on verbalizing life-long experiences. For this, we derive a tree-like data structure from episodic memory (EM), with lower levels representing raw perception and proprioception data, and higher levels abstracting events to natural language concepts. Given such a hierarchical representation built from the experience stream, we apply a large language model as an agent to interactively search the EM given a user's query, dynamically expanding (initially collapsed) tree nodes to find the relevant information. The approach keeps computational costs low even when scaling to months of robot experience data. We evaluate our method on simulated household robot data, human egocentric videos, and real-world robot recordings, demonstrating its flexibility and scalability.
• Abstract（参考訳）: ロボット体験の言語化、すなわち、ロボットの過去に関する要約と質問応答は、人間とロボットの相互作用を改善する重要な能力である。 以前の研究では、規則に基づくシステムや微調整された深層モデルを用いて、エピソードデータの短い(数分間の)ストリームを言語化し、一般化と転送可能性を制限する。 我々の研究では、この課題にゼロまたは少数の例で取り組むために、大規模な事前学習モデルを適用し、特に寿命の長い経験を口頭で表現することに重点を置いています。 この目的のために,木のようなデータ構造をエピソードメモリ(EM)から導出し,より低いレベルが生の知覚と固有受容データを示し,より高いレベルが自然言語の概念にイベントを抽象化する。 このような階層的な表現がエクスペリエンスストリームから構築されていることを前提として,ユーザのクエリを対話的に検索するエージェントとして,大規模な言語モデルを適用して,ツリーノードを動的に拡張(初期崩壊)して関連情報を検索する。 このアプローチは、数ヶ月のロボットエクスペリエンスデータにスケーリングしても、計算コストを低くする。 本研究では,その柔軟性とスケーラビリティを実証し,家庭内ロボットデータ,人間中心ビデオ,実世界のロボット記録のシミュレーション評価を行った。

関連論文リスト

• Interactive Planning Using Large Language Models for Partially Observable Robotics Tasks [54.60571399091711]
  大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。 LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T22:54:44Z)
• Self-Improving Robots: End-to-End Autonomous Visuomotor Reinforcement Learning [54.636562516974884]
  模倣と強化学習において、人間の監督コストは、ロボットが訓練できるデータの量を制限する。 本研究では,自己改善型ロボットシステムのための新しい設計手法であるMEDAL++を提案する。 ロボットは、タスクの実施と解除の両方を学ぶことで、自律的にタスクを練習し、同時にデモンストレーションから報酬関数を推論する。
  論文  参考訳（メタデータ） (2023-03-02T18:51:38Z)
• Open-World Object Manipulation using Pre-trained Vision-Language Models [72.87306011500084]
  ロボットが人からの指示に従うためには、人間の語彙の豊かな意味情報を繋げなければならない。 我々は、事前学習された視覚言語モデルを利用して、オブジェクト識別情報を抽出するシンプルなアプローチを開発する。 実際の移動マニピュレータにおける様々な実験において、MOOはゼロショットを様々な新しいオブジェクトカテゴリや環境に一般化する。
  論文  参考訳（メタデータ） (2023-03-02T01:55:10Z)
• Scaling Robot Learning with Semantically Imagined Experience [21.361979238427722]
  ロボット学習の最近の進歩は、ロボットが操作タスクを実行できることを約束している。 この進歩に寄与する要因の1つは、モデルのトレーニングに使用されるロボットデータのスケールである。 本稿では,コンピュータビジョンや自然言語処理に広く用いられているテキスト・ツー・イメージ基盤モデルを利用した代替手法を提案する。
  論文  参考訳（メタデータ） (2023-02-22T18:47:51Z)
• RT-1: Robotics Transformer for Real-World Control at Scale [98.09428483862165]
  我々は,有望なスケーラブルなモデル特性を示す,ロボティクストランスフォーマーと呼ばれるモデルクラスを提示する。 実世界の課題を遂行する実ロボットの大規模データ収集に基づいて,様々なモデルクラスと,データサイズ,モデルサイズ,データの多様性の関数として一般化する能力について検証した。
  論文  参考訳（メタデータ） (2022-12-13T18:55:15Z)
• From Play to Policy: Conditional Behavior Generation from Uncurated Robot Data [18.041329181385414]
  Conditional Behavior Transformer (C-BeT) は、動作変換器のマルチモーダル生成能力と将来の目標仕様を組み合わせた手法である。 C-BeTは、プレイデータから学ぶための最先端の研究を平均45.7%改善している。 プレイデータから実世界のロボットで有用なタスク中心の振る舞いを学習できることを初めて実証する。
  論文  参考訳（メタデータ） (2022-10-18T17:59:55Z)
• Reshaping Robot Trajectories Using Natural Language Commands: A Study of Multi-Modal Data Alignment Using Transformers [33.7939079214046]
  我々は、人間とロボットのコラボレーションのための柔軟な言語ベースのインタフェースを提供する。 我々は、ユーザコマンドをエンコードする大規模言語モデルの分野における最近の進歩を生かしている。 言語コマンドによって修正されたロボット軌跡を含むデータセット上で、模倣学習を用いてモデルを訓練する。
  論文  参考訳（メタデータ） (2022-03-25T01:36:56Z)
• Learning Generalizable Robotic Reward Functions from "In-The-Wild" Human Videos [59.58105314783289]
  ドメインに依存しないビデオ識別器(DVD)は、2つのビデオが同じタスクを実行しているかどうかを判断するために識別器を訓練することによりマルチタスク報酬関数を学習する。 DVDは、人間のビデオの広いデータセットで少量のロボットデータから学習することで、一般化することができる。 DVDと視覚モデル予測制御を組み合わせることで、実際のWidowX200ロボットのロボット操作タスクを単一の人間のデモから未知の環境で解決できます。
  論文  参考訳（メタデータ） (2021-03-31T05:25:05Z)
• Few-Shot Visual Grounding for Natural Human-Robot Interaction [0.0]
  本稿では,人間ユーザによって音声で示される,混み合ったシーンから対象物を分割するソフトウェアアーキテクチャを提案する。 システムのコアでは、視覚的な接地のためにマルチモーダルディープニューラルネットワークを使用します。 公開シーンデータセットから収集した実RGB-Dデータに対して,提案モデルの性能を評価する。
  論文  参考訳（メタデータ） (2021-03-17T15:24:02Z)
• Caption Generation of Robot Behaviors based on Unsupervised Learning of Action Segments [10.356412004005767]
  ロボットの行動シーケンスとその自然言語キャプションをブリッジすることは、人間のアシストロボットの説明可能性を高める重要な課題である。 本稿では,人間支援ロボットの動作を記述した自然言語キャプションを生成するシステムを提案する。
  論文  参考訳（メタデータ） (2020-03-23T03:44:56Z)
• Learning Predictive Models From Observation and Interaction [137.77887825854768]
  世界との相互作用から予測モデルを学ぶことで、ロボットのようなエージェントが世界がどのように働くかを学ぶことができる。 しかし、複雑なスキルのダイナミクスを捉えるモデルを学ぶことは大きな課題である。 本研究では,人間などの他のエージェントの観察データを用いて,トレーニングセットを増強する手法を提案する。
  論文  参考訳（メタデータ） (2019-12-30T01:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。