論文の概要: CLARA: Classifying and Disambiguating User Commands for Reliable
Interactive Robotic Agents
- arxiv url: http://arxiv.org/abs/2306.10376v1
- Date: Sat, 17 Jun 2023 15:24:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-21 21:01:56.358223
- Title: CLARA: Classifying and Disambiguating User Commands for Reliable
Interactive Robotic Agents
- Title(参考訳): clara: 信頼できる対話型ロボットエージェントのためのユーザコマンドの分類と解除
- Authors: Jeongeun Park, Seungwon Lim, Joonhyung Lee, Sangbeom Park, Youngjae Yu
and Sungjoon Choi
- Abstract要約: 我々は、対話型ロボットエージェントの文脈において、与えられたユーザコマンドが明確であるか、曖昧であるか、あるいは不可能であるかを推測することに集中する。
あいまいなコマンドに対しては、質問生成を通じてユーザと対話することで、コマンドを曖昧にします。
本稿では,ロボットによる状況認識のためのデータセットについて述べる。
- 参考スコア(独自算出の注目度): 13.091329500788492
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we focus on inferring whether the given user command is clear,
ambiguous, or infeasible in the context of interactive robotic agents utilizing
large language models (LLMs). To tackle this problem, we first present an
uncertainty estimation method for LLMs to classify whether the command is
certain (i.e., clear) or not (i.e., ambiguous or infeasible). Once the command
is classified as uncertain, we further distinguish it between ambiguous or
infeasible commands leveraging LLMs with situational aware context in a
zero-shot manner. For ambiguous commands, we disambiguate the command by
interacting with users via question generation with LLMs. We believe that
proper recognition of the given commands could lead to a decrease in
malfunction and undesired actions of the robot, enhancing the reliability of
interactive robot agents. We present a dataset for robotic situational
awareness, consisting pair of high-level commands, scene descriptions, and
labels of command type (i.e., clear, ambiguous, or infeasible). We validate the
proposed method on the collected dataset, pick-and-place tabletop simulation.
Finally, we demonstrate the proposed approach in real-world human-robot
interaction experiments, i.e., handover scenarios.
- Abstract(参考訳): 本稿では,大規模言語モデル(LLM)を用いた対話型ロボットエージェントの文脈において,与えられたユーザコマンドが明確であるか,曖昧であるか,あるいは不可能であるかを推定することに焦点を当てる。
この問題に対処するために,まず,コマンドが確実かどうか(明確か)を分類するためのllmsの不確実性推定法(曖昧か不可能か)を提案する。
コマンドが不確実であると分類されると、ゼロショット方式で状況認識コンテキストでLLMを活用する不明瞭なコマンドと非実用的なコマンドとを区別する。
あいまいなコマンドに対しては、質問生成を通じてLLMと対話することで、コマンドを曖昧にします。
我々は、与えられたコマンドを適切に認識すると、ロボットの誤動作や望ましくない動作が減少し、対話型ロボットエージェントの信頼性が向上すると信じている。
我々は,ロボットの状況認識のためのデータセットを提示する。2つの高レベルコマンド,シーン記述,コマンドタイプのラベル(明快,曖昧,実行不可能)からなる。
提案手法は,テーブルトップのピック・アンド・プレースシミュレーションを用いて検証した。
最後に,実世界のロボットインタラクション実験,すなわちハンドオーバシナリオにおいて提案手法を実証する。
関連論文リスト
- Aligning Language Models to Explicitly Handle Ambiguity [22.078095273053506]
音声言語では、発話は効率性のために不完全または曖昧な形をしていることが多い。
モデルがユーザクエリの本質的なあいまいさを十分に扱うためには、非常に重要です。
本稿では,あいまいな入力を明示的に処理する対話エージェントのアライメント手法を提案する。
論文 参考訳(メタデータ) (2024-04-18T07:59:53Z) - Comparing Apples to Oranges: LLM-powered Multimodal Intention Prediction in an Object Categorization Task [17.190635800969456]
意図に基づくヒューマンロボットインタラクション(Human-Robot Interaction, HRI)システムは、ロボットがユーザーの行動を知覚し、解釈することを可能にする。
身振り,ポーズ,表情など,非言語的手がかりを解釈するための階層的アプローチを提案する。
本評価は,LLMが非言語的手がかりを解釈し,文脈理解能力と組み合わせることの可能性を示すものである。
論文 参考訳(メタデータ) (2024-04-12T12:15:14Z) - Can LLMs Generate Human-Like Wayfinding Instructions? Towards Platform-Agnostic Embodied Instruction Synthesis [51.04181562775778]
本稿では,ロボットエージェントの「ウェイフィンディング指示」を自動的に合成する手法を提案する。
提案アルゴリズムは,LLMの条件付けにコンテキスト内学習を用い,わずかな参照を用いて命令を生成する。
我々は,Matterport3D,AI Habitat,ThreeDWorldなど,複数のシミュレーションプラットフォームにアプローチを実装した。
論文 参考訳(メタデータ) (2024-03-18T05:38:07Z) - Interactive Planning Using Large Language Models for Partially
Observable Robotics Tasks [54.60571399091711]
大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。
LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
論文 参考訳(メタデータ) (2023-12-11T22:54:44Z) - Eliciting Human Preferences with Language Models [56.68637202313052]
言語モデル(LM)は、ラベル付き例や自然言語のプロンプトを使用してターゲットタスクを実行するように指示することができる。
タスク仕様プロセスのガイドには*LM自身を使うことを提案します。
我々は、メール検証、コンテンツレコメンデーション、道徳的推論の3つの領域でGATEを研究している。
論文 参考訳(メタデータ) (2023-10-17T21:11:21Z) - Incremental Learning of Humanoid Robot Behavior from Natural Interaction
and Large Language Models [13.350695714201555]
本研究では,自然相互作用から複雑な行動の漸進的な学習を実現するシステムを提案する。
本システムは,ヒューマノイドロボットARMAR-6のロボット認知アーキテクチャに組み込まれている。
論文 参考訳(メタデータ) (2023-09-08T13:29:05Z) - CARTIER: Cartographic lAnguage Reasoning Targeted at Instruction
Execution for Robots [9.393951367344894]
本研究は、空間計画とナビゲーションのための自然言語インタフェースの交わりにおける問題に対処する大規模言語モデルの能力について考察する。
我々は、ロボット工学で一般的に見られる従来の明示的な手続き的指示よりも、自然な会話に近い複雑な指示に従うことに重点を置いている。
我々は3DシミュレータAI2Thorを利用して、大規模な家庭用クエリシナリオを作成し、40のオブジェクトタイプに対して複雑な言語クエリを追加することで拡張する。
論文 参考訳(メタデータ) (2023-07-21T19:09:37Z) - First Contact: Unsupervised Human-Machine Co-Adaptation via Mutual
Information Maximization [112.40598205054994]
我々はこのアイデアを、インターフェースを最適化するための完全に教師なしの目的として定式化する。
タイピング,シミュレートされたロボットの制御,ゲームプレイなど,様々なキーボードとアイアイのインタフェースを運用しているユーザの540K例について,観察的研究を行った。
以上の結果から,我々の相互情報スコアは,様々な領域における真真正タスク完了メトリクスの予測値であることが示唆された。
論文 参考訳(メタデータ) (2022-05-24T21:57:18Z) - INVIGORATE: Interactive Visual Grounding and Grasping in Clutter [56.00554240240515]
INVIGORATEは、自然言語で人間と対話し、特定の物体をクラッタで把握するロボットシステムである。
我々は、物体検出、視覚的接地、質問生成、OBR検出と把握のために、別々のニューラルネットワークを訓練する。
我々は、学習したニューラルネットワークモジュールを統合する、部分的に観測可能なマルコフ決定プロセス(POMDP)を構築します。
論文 参考訳(メタデータ) (2021-08-25T07:35:21Z) - A Persistent Spatial Semantic Representation for High-level Natural
Language Instruction Execution [54.385344986265714]
本稿では,言語行動とロボット行動のギャップを埋めるために,永続的な空間意味表現法を提案する。
一般的なステップバイステップ命令を完全に回避しながら、ALFREDベンチマークに対する我々のアプローチを評価し、最先端の結果を得る。
論文 参考訳(メタデータ) (2021-07-12T17:47:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。