論文の概要: Summarizing a virtual robot's past actions in natural language
- arxiv url: http://arxiv.org/abs/2203.06671v1
- Date: Sun, 13 Mar 2022 15:00:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-16 08:00:24.841068
- Title: Summarizing a virtual robot's past actions in natural language
- Title（参考訳）: 自然言語による仮想ロボットの過去の行動の要約
- Authors: Chad DeChant and Daniel Bauer
- Abstract要約: 本稿では,ロボット行動と自然言語記述とを一致させた一般的なデータセットを,ロボット行動要約作業のトレーニング場として活用する方法について述べる。
自動プランナーが使用する動作の中間テキスト表現や、ロボットの自我中心の映像フレームから、このような要約を生成するためのいくつかの方法を提案し、テストする。
- 参考スコア（独自算出の注目度）: 0.3553493344868413
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose and demonstrate the task of giving natural language summaries of
the actions of a robotic agent in a virtual environment. We explain why such a
task is important, what makes it difficult, and discuss how it might be
addressed. To encourage others to work on this, we show how a popular existing
dataset that matches robot actions with natural language descriptions designed
for an instruction following task can be repurposed to serve as a training
ground for robot action summarization work. We propose and test several methods
of learning to generate such summaries, starting from either egocentric video
frames of the robot taking actions or intermediate text representations of the
actions used by an automatic planner. We provide quantitative and qualitative
evaluations of our results, which can serve as a baseline for future work.
- Abstract（参考訳）: 本稿では,仮想環境におけるロボットエージェントの行動の自然言語要約を提示するタスクを提案し,実演する。
このようなタスクがなぜ重要で、なぜ難しいのかを説明し、どのように対処するかを議論する。
そこで,本研究では,ロボット動作と自然言語記述とをマッチングする一般的なデータセットを,ロボット動作要約作業の訓練場として利用することを提案する。
自動プランナーが使用する動作のエゴセントリックな映像フレームや中間的なテキスト表現から、このような要約を生成するための学習方法をいくつか提案し、テストする。
我々は,研究成果の定量的,質的な評価を行い,今後の研究のベースラインとして機能する。
関連論文リスト
- Context-Aware Command Understanding for Tabletop Scenarios [1.7082212774297747]
本稿では,テーブルトップシナリオにおける自然人コマンドの解釈を目的とした,新しいハイブリッドアルゴリズムを提案する。
音声、ジェスチャー、シーンコンテキストを含む複数の情報ソースを統合することにより、ロボットに対して実行可能な指示を抽出する。
システムの長所と短所、特にマルチモーダルコマンド解釈の扱い方について論じる。
論文 参考訳（メタデータ） (2024-10-08T20:46:39Z) - Self-Explainable Affordance Learning with Embodied Caption [63.88435741872204]
具体的キャプションを具現化したSelf-Explainable Affordance Learning (SEA)を紹介する。
SEAは、ロボットが意図を明確に表現し、説明可能な視覚言語キャプションと視覚能力学習のギャップを埋めることを可能にする。
本稿では, 簡便かつ効率的な方法で, 空き地と自己説明を効果的に組み合わせた新しいモデルを提案する。
論文 参考訳（メタデータ） (2024-04-08T15:22:38Z) - Interactive Planning Using Large Language Models for Partially
Observable Robotics Tasks [54.60571399091711]
大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。
LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
論文 参考訳（メタデータ） (2023-12-11T22:54:44Z) - RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic
Control [140.48218261864153]
本研究では,インターネット規模のデータに基づいて学習した視覚言語モデルを,エンドツーエンドのロボット制御に直接組み込む方法について検討する。
提案手法は,インターネット規模のトレーニングから,RT-2による創発的能力の獲得を可能にした。
論文 参考訳（メタデータ） (2023-07-28T21:18:02Z) - Learning to Summarize and Answer Questions about a Virtual Robot's Past
Actions [3.088519122619879]
本研究では,自然言語のみを用いて,ロボットエージェントの過去の行動に関する質問を要約し,回答する学習の課題を実証する。
仮想ロボットのエゴ中心のビデオフレームと質問プロンプトが与えられたアクションシーケンスに関する質問を要約し、答えるように、大きな言語モデルがコアにある単一のシステムが訓練される。
論文 参考訳（メタデータ） (2023-06-16T15:47:24Z) - Learning Video-Conditioned Policies for Unseen Manipulation Tasks [83.2240629060453]
ビデオ条件付きポリシー学習は、以前は目に見えないタスクの人間のデモをロボット操作スキルにマッピングする。
我々は,現在のシーン観察と対象課題のビデオから適切なアクションを生成するためのポリシーを学習する。
われわれは,多タスクロボット操作環境の課題と,技術面における性能の面から,そのアプローチを検証した。
論文 参考訳（メタデータ） (2023-05-10T16:25:42Z) - ProgPrompt: Generating Situated Robot Task Plans using Large Language
Models [68.57918965060787]
大規模言語モデル(LLM)は、タスク計画中の潜在的な次のアクションを評価するために使用することができる。
本稿では, プログラム型LCMプロンプト構造を用いて, 配置環境間での計画生成機能を実現する。
論文 参考訳（メタデータ） (2022-09-22T20:29:49Z) - Learning Language-Conditioned Robot Behavior from Offline Data and
Crowd-Sourced Annotation [80.29069988090912]
本研究では,ロボットインタラクションの大規模なオフラインデータセットから視覚に基づく操作タスクを学習する問題について検討する。
クラウドソースの自然言語ラベルを用いたオフラインロボットデータセットの活用を提案する。
提案手法は目標画像仕様と言語条件付き模倣技術の両方を25%以上上回っていることがわかった。
論文 参考訳（メタデータ） (2021-09-02T17:42:13Z) - Caption Generation of Robot Behaviors based on Unsupervised Learning of
Action Segments [10.356412004005767]
ロボットの行動シーケンスとその自然言語キャプションをブリッジすることは、人間のアシストロボットの説明可能性を高める重要な課題である。
本稿では,人間支援ロボットの動作を記述した自然言語キャプションを生成するシステムを提案する。
論文 参考訳（メタデータ） (2020-03-23T03:44:56Z) - Interactive Robot Training for Non-Markov Tasks [6.252236971703546]
本研究では,教師が提示した2つのデモからロボットを学習することのできる,ベイズ的対話型ロボット訓練フレームワークを提案する。
また、タスク実行を最も不確実な受け入れ可能性で識別するためのアクティブな学習手法を提案する。
我々は,ロボットにディナーテーブルをセットするように教えるユーザスタディを通じて,現実の環境でのアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2020-03-04T18:19:05Z) - Autonomous Planning Based on Spatial Concepts to Tidy Up Home
Environments with Service Robots [5.739787445246959]
本研究では,確率的生成モデルのパラメータを学習することにより,対象物の順序や位置を効率的に推定できる新しい計画法を提案する。
このモデルにより、ロボットは、Tidied環境で収集されたマルチモーダルセンサ情報を用いて、オブジェクトと場所の共起確率の分布を学習することができる。
我々は,世界ロボットサミット2018国際ロボティクスコンペティションのTidy Up Hereタスクの条件を再現する実験シミュレーションにより,提案手法の有効性を評価する。
論文 参考訳（メタデータ） (2020-02-10T11:49:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。