論文の概要: Situated Instruction Following

• arxiv url: http://arxiv.org/abs/2407.12061v1
• Date: Mon, 15 Jul 2024 19:32:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-18 21:28:12.166112
• Title: Situated Instruction Following
• Title（参考訳）: 訳語 次に来る;次なる;次なる
• Authors: So Yeon Min, Xavi Puig, Devendra Singh Chaplot, Tsung-Yen Yang, Akshara Rai, Priyam Parashar, Ruslan Salakhutdinov, Yonatan Bisk, Roozbeh Mottaghi,
• Abstract要約: 本稿では,実世界のコミュニケーションの非特異性とあいまいさを取り入れた位置指示について述べる。 位置指示の意味は、人間の過去の行動と将来の行動を通じて自然に展開される。 我々の実験は、現在最先端の身体的指示追従(EIF)モデルが、位置する人間の意図の全体的理解を欠いていることを示唆している。
• 参考スコア（独自算出の注目度）: 87.37244711380411
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language is never spoken in a vacuum. It is expressed, comprehended, and contextualized within the holistic backdrop of the speaker's history, actions, and environment. Since humans are used to communicating efficiently with situated language, the practicality of robotic assistants hinge on their ability to understand and act upon implicit and situated instructions. In traditional instruction following paradigms, the agent acts alone in an empty house, leading to language use that is both simplified and artificially "complete." In contrast, we propose situated instruction following, which embraces the inherent underspecification and ambiguity of real-world communication with the physical presence of a human speaker. The meaning of situated instructions naturally unfold through the past actions and the expected future behaviors of the human involved. Specifically, within our settings we have instructions that (1) are ambiguously specified, (2) have temporally evolving intent, (3) can be interpreted more precisely with the agent's dynamic actions. Our experiments indicate that state-of-the-art Embodied Instruction Following (EIF) models lack holistic understanding of situated human intention.
• Abstract（参考訳）: 言語は決して真空の中で話されることはない。 話者の歴史、行動、環境の全体的背景の中で表現され、解釈され、文脈化される。 人間は、位置する言語と効率的にコミュニケーションするために使用されるため、ロボットアシスタントの実用性は、暗黙的かつ位置した指示に対して理解し、行動する能力に依存している。 伝統的な指示では、エージェントは空の家で単独で働き、単純化され、人工的に「完全」な言語の使用につながる。 対照的に、人間の話者の物理的存在と現実世界のコミュニケーションの本質的不明瞭さとあいまいさを取り入れた位置指示法を提案する。 位置指示の意味は、人間の過去の行動と将来の行動を通じて自然に展開される。 具体的には,(1)は曖昧に特定され,(2)は時間的に進化する意図を持ち,(3)はエージェントの動的動作とより正確に解釈することができる。 我々の実験は、現在最先端の身体的指示追従(EIF)モデルが、位置する人間の意図の全体的理解を欠いていることを示唆している。

関連論文リスト

• Infer Human's Intentions Before Following Natural Language Instructions [24.197496779892383]
  本研究では,協調作業における自然言語学習の改善を目的とした,ソーシャル・エンボダイド推論によるフォローインストラクション(FISER)を提案する。 我々のフレームワークは、中間的推論ステップとして、人間の目標と意図を明確に推論する。 行動計画を立てる前に、社会的推論を用いて人間の意図を明示的に推測することが、純粋にエンドツーエンドのアプローチを超えることを実証的に実証する。
  論文  参考訳（メタデータ） (2024-09-26T17:19:49Z)
• SIFToM: Robust Spoken Instruction Following through Theory of Mind [51.326266354164716]
  本稿では,認知にインスパイアされた音声指導モデルであるSIFToMを提案し,多様な音声条件下でロボットが人間の指示を実践的に追従できるようにする。 結果から,SIFToMモデルは現状の音声モデルや言語モデルよりも優れており,課題に追従する音声命令に対する人間レベルの精度に近づいていることがわかった。
  論文  参考訳（メタデータ） (2024-09-17T02:36:10Z)
• ThinkBot: Embodied Instruction Following with Thought Chain Reasoning [66.09880459084901]
  EIF(Embodied Instruction following)は、複雑な環境下でオブジェクトを相互作用させることで、エージェントが人間の指示を完了させる。 我々は,人間の指導における思考連鎖を原因とした思考ボットを提案し,その不足した行動記述を復元する。 私たちのThinkBotは、成功率と実行効率の両面で、最先端のEIFメソッドよりも大きなマージンで優れています。
  論文  参考訳（メタデータ） (2023-12-12T08:30:09Z)
• Real-time Addressee Estimation: Deployment of a Deep-Learning Model on the iCub Robot [52.277579221741746]
  住所推定は、社会ロボットが人間とスムーズに対話するために必要なスキルである。 人間の知覚スキルにインスパイアされたディープラーニングモデルは、iCubロボットに設計、訓練、デプロイされる。 本研究では,人間-ロボットのリアルタイムインタラクションにおいて,そのような実装の手順とモデルの性能について述べる。
  論文  参考訳（メタデータ） (2023-11-09T13:01:21Z)
• "No, to the Right" -- Online Language Corrections for Robotic Manipulation via Shared Autonomy [70.45420918526926]
  LILACは、実行中に自然言語の修正をオンラインで実施し、適応するためのフレームワークである。 LILACは人間とロボットを個別にターンテイクする代わりに、人間とロボットの間にエージェンシーを分割する。 提案手法は,タスク完了率が高く,ユーザによって主観的に好まれることを示す。
  論文  参考訳（メタデータ） (2023-01-06T15:03:27Z)
• How to talk so your robot will learn: Instructions, descriptions, and pragmatics [14.289220844201695]
  我々は、人間が行動よりも好みを伝達する方法を研究する。 従来の強化学習環境では、実践的な社会学習が個別の学習と統合し、加速することができることを示す。 以上の結果から,より幅広い言語からの社会的学習が,より広範に価値アライメントと強化学習の有望なアプローチであることが示唆された。
  論文  参考訳（メタデータ） (2022-06-16T01:33:38Z)
• Scene-Intuitive Agent for Remote Embodied Visual Grounding [89.73786309180139]
  人間は生命の出来事から学び、視覚環境や言語を理解するための直感を形成する。 このような人間の行動を模倣するエージェントを紹介します。
  論文  参考訳（メタデータ） (2021-03-24T02:37:48Z)
• Language-Conditioned Imitation Learning for Robot Manipulation Tasks [39.40937105264774]
  本研究では,非構造化自然言語を模倣学習に組み込む手法を提案する。 訓練時には、専門家は、基礎となる意図を説明するために、言語記述とともにデモンストレーションを行うことができる。 トレーニングプロセスはこれらの2つのモードを相互に関連付け、言語、知覚、動きの相関を符号化する。 結果として得られた言語条件のvisuomotorポリシーは、実行時に新しいヒューマンコマンドと命令で条件付けできる。
  論文  参考訳（メタデータ） (2020-10-22T21:49:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。