論文の概要: Talk to Act: A Synthetic Multi-Turn Dialogue Benchmark for Human Intent Extraction and Action Planning in Robotics
- arxiv url: http://arxiv.org/abs/2611.17549v1
- Date: Thu, 12 Nov 2026 22:11:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.265464
- Title: Talk to Act: A Synthetic Multi-Turn Dialogue Benchmark for Human Intent Extraction and Action Planning in Robotics
- Title(参考訳): ロボットにおけるヒューマンインテント抽出と行動計画のための合成多段階対話ベンチマーク
- Abstract要約: マルチターン対話型人間ロボットインタラクション(HRI)はロボット工学における課題であり続けている。
大規模言語モデル(LLM)の最近の進歩は、有望な方向性を提供する。
本稿では,動作意図,オブジェクト参照,タスクプランを付加したHRIのための合成多元対話データセットを提案する。
- 参考スコア(独自算出の注目度): 1.5499426028105903
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-turn conversational human-robot interaction (HRI) continues to be a challenging problem in robotics, as many existing systems rely on rigid, command-driven interfaces that can be unintuitive for users. Recent advances in Large Language Models (LLMs) provide a promising direction, given their ability to process natural language, generate structured outputs, and support tool-based reasoning, all of which are relevant for interpreting user intent in robotic settings. However, progress in this area is constrained by the limited availability of datasets and benchmarks that capture the nuances of real-world human communication, such as multi-turn dialogue, ambiguity, and context-dependent requests. In this work, we present a synthetically generated multi-turn dialogue dataset for HRI, annotated with action intents, object references, and task plans across a range of scenarios and user personas. Our primary focus is on evaluating the capability of small, open-weight language models for robotic tasks, particularly in settings where local deployment and efficiency are important. To this end, we frame intent extraction as a tool-calling problem where each predicted action corresponds to a structured function call with arguments grounded in the dialogue and benchmark models ranging from 270M to 8B parameters on their ability to perform intent extraction and action planning without task-specific fine-tuning. Our results show that these models can achieve reasonable performance on the task even at relatively small scales and without any task-specific fine-tuning. This suggests that compact, locally deployable models already provide a useful baseline for conversational robotic systems. We expect that task-specific fine-tuning and more realistic training data will enhance performance further and make such models increasingly suitable for real-world robotic applications.
- Abstract(参考訳): マルチターン会話型ヒューマンロボットインタラクション(HRI)は、多くの既存のシステムは、ユーザにとって直感的ではない厳密なコマンド駆動インターフェースに依存しているため、ロボット工学における困難な問題であり続けている。
大規模言語モデル(LLM)の最近の進歩は、自然言語の処理能力、構造化された出力の生成能力、ツールベースの推論のサポートなど、有望な方向性を提供する。
しかし、この領域の進歩は、マルチターン対話、あいまいさ、コンテキストに依存した要求といった現実の人間のコミュニケーションのニュアンスをキャプチャするデータセットやベンチマークの可用性の制限によって制限されている。
本研究では,HRIのための多元対話データセットを合成し,アクションインテントやオブジェクト参照,タスク計画など,さまざまなシナリオやユーザペルソナに対してアノテートする。
我々の主な焦点は、ロボットタスク、特にローカルデプロイメントと効率が重要となる環境で、小型でオープンウェイトな言語モデルの性能を評価することである。
この目的のために,各予測動作が270Mから8Bパラメータのベンチマークモデルと対話に基礎を置く引数を持つ構造化関数呼び出しに対応するツールコール問題として,タスク固有の微調整を伴わずに,意図抽出と行動計画を行う能力について考察する。
本結果は,タスク固有の微調整を伴わずに,比較的小さなスケールでもタスク上で適切な性能が得られることを示す。
これは、コンパクトでローカルにデプロイ可能なモデルはすでに対話型ロボットシステムに有用なベースラインを提供していることを示唆している。
タスク固有の微調整とより現実的なトレーニングデータにより、パフォーマンスが向上し、そのようなモデルが現実のロボットアプリケーションにますます適するよう期待する。
関連論文リスト
- Mechanistic Finetuning of Vision-Language-Action Models via Few-Shot Demonstrations [76.79742393097358]
Vision-Language Action (VLA)モデルは、視覚言語モデル(VLM)をロボット工学に拡張することを約束している。
既存の微調整手法には特異性がなく、タスクの視覚的、言語的、物理的特性に関わらず、同じパラメータセットを適用する。
神経科学における機能的特異性に触発されて、与えられたタスクに特有のスパースモデル表現を微調整することがより効果的である、という仮説を立てる。
論文 参考訳(メタデータ) (2025-11-27T18:50:21Z) - ASMR: Augmenting Life Scenario using Large Generative Models for Robotic Action Reflection [21.75681306780917]
本稿では,ロボット支援シナリオにおけるデータ拡張に着目した新しいフレームワークを提案する。
潜在的な会話や環境コンテキストをシミュレートするために、洗練された大きな言語モデルを活用する。
さらに生成されたデータは、最新のマルチモーダルモデルを洗練し、適切なアクションをより正確に決定するのに役立つ。
論文 参考訳(メタデータ) (2025-06-16T19:58:54Z) - Context-Aware Command Understanding for Tabletop Scenarios [1.7082212774297747]
本稿では,テーブルトップシナリオにおける自然人コマンドの解釈を目的とした,新しいハイブリッドアルゴリズムを提案する。
音声、ジェスチャー、シーンコンテキストを含む複数の情報ソースを統合することにより、ロボットに対して実行可能な指示を抽出する。
システムの長所と短所、特にマルチモーダルコマンド解釈の扱い方について論じる。
論文 参考訳(メタデータ) (2024-10-08T20:46:39Z) - Polaris: Open-ended Interactive Robotic Manipulation via Syn2Real Visual Grounding and Large Language Models [53.22792173053473]
我々はPolarisという対話型ロボット操作フレームワークを紹介した。
ポラリスはGPT-4と接地された視覚モデルを利用して知覚と相互作用を統合する。
本稿では,Syn2Real(Synthetic-to-Real)ポーズ推定パイプラインを提案する。
論文 参考訳(メタデータ) (2024-08-15T06:40:38Z) - MEIA: Multimodal Embodied Perception and Interaction in Unknown Environments [82.67236400004826]
本稿では,自然言語で表現されたハイレベルなタスクを実行可能なアクションのシーケンスに変換するための,MEIA(Multimodal Embodied Interactive Agent)を提案する。
MEMモジュールは、多様な要件とロボットの能力に基づいて、MEIAが実行可能なアクションプランを生成することを可能にする。
論文 参考訳(メタデータ) (2024-02-01T02:43:20Z) - Interactive Planning Using Large Language Models for Partially
Observable Robotics Tasks [54.60571399091711]
大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。
LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
論文 参考訳(メタデータ) (2023-12-11T22:54:44Z) - WALL-E: Embodied Robotic WAiter Load Lifting with Large Language Model [92.90127398282209]
本稿では,最新のLarge Language Models(LLM)と既存のビジュアルグラウンドとロボットグルーピングシステムを統合する可能性について検討する。
本稿では,この統合の例としてWALL-E (Embodied Robotic WAiter load lifting with Large Language model)を紹介する。
我々は,このLCMを利用したシステムを物理ロボットに展開し,よりユーザフレンドリなインタフェースで指導誘導型把握タスクを実現する。
論文 参考訳(メタデータ) (2023-08-30T11:35:21Z) - Chat with the Environment: Interactive Multimodal Perception Using Large
Language Models [19.623070762485494]
大型言語モデル(LLM)は、数発のロボット計画において顕著な推論能力を示している。
本研究は,LLMがマルチモーダル環境下での対話型ロボットの動作を制御し,高レベルな計画と推論能力を提供することを示す。
論文 参考訳(メタデータ) (2023-03-14T23:01:27Z) - ProgPrompt: Generating Situated Robot Task Plans using Large Language
Models [68.57918965060787]
大規模言語モデル(LLM)は、タスク計画中の潜在的な次のアクションを評価するために使用することができる。
本稿では, プログラム型LCMプロンプト構造を用いて, 配置環境間での計画生成機能を実現する。
論文 参考訳(メタデータ) (2022-09-22T20:29:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。