論文の概要: Human in the loop approaches in multi-modal conversational task guidance system development

• arxiv url: http://arxiv.org/abs/2211.01824v1
• Date: Thu, 3 Nov 2022 14:05:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-04 13:17:36.998031
• Title: Human in the loop approaches in multi-modal conversational task guidance system development
• Title（参考訳）: マルチモーダル対話型タスクガイダンスシステムの開発におけるループアプローチの人間性
• Authors: Ramesh Manuvinakurike, Sovan Biswas, Giuseppe Raffa, Richard Beckwith, Anthony Rhodes, Meng Shi, Gesem Gudino Mejia, Saurav Sahay, Lama Nachman
• Abstract要約: 作業支援のためのタスクガイダンスシステムの開発は,依然として困難な課題である。 まず,このようなシステム開発における課題をいくつか取り上げる。 次に、利用可能な既存のデータセットの概要を説明し、その制限を強調します。
• 参考スコア（独自算出の注目度）: 6.493148232868973
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Development of task guidance systems for aiding humans in a situated task remains a challenging problem. The role of search (information retrieval) and conversational systems for task guidance has immense potential to help the task performers achieve various goals. However, there are several technical challenges that need to be addressed to deliver such conversational systems, where common supervised approaches fail to deliver the expected results in terms of overall performance, user experience and adaptation to realistic conditions. In this preliminary work we first highlight some of the challenges involved during the development of such systems. We then provide an overview of existing datasets available and highlight their limitations. We finally develop a model-in-the-loop wizard-of-oz based data collection tool and perform a pilot experiment.
• Abstract（参考訳）: 作業支援のためのタスクガイダンスシステムの開発は依然として困難な課題である。 タスク指導における検索(情報検索)と会話システムの役割は、タスクパフォーマーが様々な目標を達成するのに役立つ大きな可能性を秘めている。 しかし、このような会話システムを提供するために対処しなければならない技術的課題はいくつかあり、一般的な監督アプローチでは、全体的なパフォーマンス、ユーザエクスペリエンス、現実的な状況への適応という観点で期待された結果を提供できない。 この予備的な作業では、まず、このようなシステムの開発にかかわる課題をいくつか取り上げる。 次に、利用可能な既存のデータセットの概要と、その制限を強調する。 最終的に、ループウィザード・オブ・オズに基づくデータ収集ツールを開発し、パイロット実験を行う。

関連論文リスト

• SUPER: Evaluating Agents on Setting Up and Executing Tasks from Research Repositories [55.161075901665946]
  Superは、機械学習(ML)と自然言語処理(NLP)の研究リポジトリを扱う研究者が直面する現実的な課題を捉えることを目的としている。 本ベンチマークでは,注釈付きエキスパートソリューションを用いたエンドツーエンド問題45,特定の課題に焦点をあてたエキスパートソリューションから導いた152,大規模開発のための602の問題を自動生成する。 我々は、最先端のアプローチが、最良のモデル(GPT-4o)でこれらの問題を解決するのに苦労していることを示し、エンド・ツー・エンドの16.3%と46.1%のシナリオを解決した。
  論文  参考訳（メタデータ） (2024-09-11T17:37:48Z)
• Can Foundation Models Watch, Talk and Guide You Step by Step to Make a Cake? [62.59699229202307]
  AIの進歩にもかかわらず、インタラクティブなタスクガイダンスシステムの開発は依然として大きな課題である。 我々は、人間のユーザと人間のインストラクターとの自然なインタラクションに基づいて、新しいマルチモーダルベンチマークデータセット、ウォッチ、トーク、ガイド(WTaG)を作成しました。 いくつかの基礎モデルを活用して、これらのモデルが認識可能なタスクガイダンスに迅速に適応できるかを調査した。
  論文  参考訳（メタデータ） (2023-11-01T15:13:49Z)
• Solving Dialogue Grounding Embodied Task in a Simulated Environment using Further Masked Language Modeling [0.0]
  提案手法は,言語モデルを用いたSOTA(State-of-the-art)手法によるタスク理解を強化するために,言語モデリングを用いる。 実験の結果,提案手法が優れていることを示す証拠が得られた。
  論文  参考訳（メタデータ） (2023-06-21T17:17:09Z)
• Learning by Asking for Embodied Visual Navigation and Task Completion [20.0182240268864]
  本稿では,タスク完了のための追加情報を動的に取得するために,いつ,どの質問をするかを学習するELBA(Embodied Learning-By-Asking)モデルを提案する。 実験結果から,ELBAは質問応答能力のないベースラインモデルに比べ,タスク性能の向上を図っている。
  論文  参考訳（メタデータ） (2023-02-09T18:59:41Z)
• Measuring Progress on Scalable Oversight for Large Language Models [19.705153174673576]
  我々は、人間専門家が成功するが、人間や現在の汎用AIシステムが失敗するタスクを選択することに焦点を当てた実験的な設計を提案する。 チャットを通じて信頼できない大言語モデルダイアログアシスタントと対話する人間の参加者は、モデル単独と自明なパフォーマンスの両方を大幅に上回っていることがわかった。
  論文  参考訳（メタデータ） (2022-11-04T17:03:49Z)
• Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
  既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。 タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。 我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
  論文  参考訳（メタデータ） (2022-10-12T15:02:04Z)
• Task Allocation using a Team of Robots [29.024300177453824]
  本稿では、よく研究されている複数のバージョンを一般化するタスク割り当て問題の一般的な定式化について述べる。 我々の定式化には、ロボット、タスク、そしてそれらが動作する環境の状態が含まれる。 本稿では,実現可能性制約,目的関数,動的に変化する情報のレベルによって,その問題がどう変化するかを説明する。
  論文  参考訳（メタデータ） (2022-07-20T04:49:11Z)
• BC-Z: Zero-Shot Task Generalization with Robotic Imitation Learning [108.41464483878683]
  本稿では,視覚に基づくロボット操作システムにおいて,新しいタスクを一般化することの課題について検討する。 実演と介入の両方から学ぶことができるインタラクティブで柔軟な模倣学習システムを開発した。 実際のロボットにおけるデータ収集を100以上のタスクにスケールすると、このシステムは平均的な成功率44%で24の目に見えない操作タスクを実行できる。
  論文  参考訳（メタデータ） (2022-02-04T07:30:48Z)
• Multi-Task Learning with Sequence-Conditioned Transporter Networks [67.57293592529517]
  シーケンスコンディショニングと重み付きサンプリングのレンズによるマルチタスク学習の実現を目指している。 合成タスクを対象とした新しいベンチマークであるMultiRavensを提案する。 次に,視覚に基づくエンドツーエンドシステムアーキテクチャであるSequence-Conditioned Transporter Networksを提案する。
  論文  参考訳（メタデータ） (2021-09-15T21:19:11Z)
• Batch Exploration with Examples for Scalable Robotic Reinforcement Learning [63.552788688544254]
  BEE(Batch Exploration with Examples)は、重要状態の画像の少ない数の人間がガイドする状態空間の関連領域を探索する。 BEEは、シミュレーションと本物のフランカロボットの両方で、視覚ベースの操作に挑戦することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:49:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。