論文の概要: STEP: State-Aware Task Estimation and Planning with Multi-Modal LLMs for Human-Robot Collaboration

• arxiv url: http://arxiv.org/abs/2608.27225v1
• Date: Thu, 27 Aug 2026 15:08:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.457289
• Title: STEP: State-Aware Task Estimation and Planning with Multi-Modal LLMs for Human-Robot Collaboration
• Title（参考訳）: STEP:人間-ロボット協調のための多モードLCMによる状態認識タスク推定と計画
• Abstract要約: 産業環境での効果的な人間とロボットのコラボレーションは、人間の意図を理解し、タスク計画を支援し、作業負荷を減らす必要がある。 近年,マルチモーダル大規模言語モデル (MM-LLM) の課題計画への応用が検討されている。 本稿では, MM-LLMに対して, 実行した動作から生じる状態遷移を明示的に推定し, 状態遷移を予測するためのタスク推定・プランナーを提案する。
• 参考スコア（独自算出の注目度）: 5.18594960054919
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Effective human-robot collaboration in industrial settings requires robots to understand human intentions and assist with task planning, reducing workload. Recent works have explored the use of Multi-modal Large Language Models (MM-LLMs) for task planning in such data-scarce scenarios, leveraging in-context learning to interpret user actions and generate long-horizon action plans in natural language. However, MM-LLMs inherently lack an understanding of system states and do not track state transitions, often leading to hallucinated actions that deviate from the intended goal. Additionally, generating action plans in natural language tends to limit the generated plans to a high level, introducing ambiguity in action execution. To address these limitations, we propose the State-aware Task Estimator and Planner (STEP), which prompts a MM-LLM to explicitly estimate the state of the system and predict the state transitions resulting from executed actions. By forecasting future states alongside actions, STEP ensures task-convergent planning while also providing additional assistance parameters necessary for executing the predicted actions. We evaluate STEP in a simulated environment using a robot assembly task. Our approach outperforms the state-of-the-art by 32.8% in action executability and 14.8% in final-state error.
• Abstract（参考訳）: 産業環境での効果的な人間とロボットのコラボレーションは、人間の意図を理解し、タスク計画を支援し、作業負荷を減らす必要がある。 近年,マルチモーダル大規模言語モデル (MM-LLMs) をデータ共有シナリオのタスク計画に適用し,ユーザ行動の解釈や自然言語による長期行動計画の生成にコンテキスト内学習を活用している。 しかし、MM-LLMは本質的にシステム状態の理解を欠き、状態遷移を追跡せず、しばしば意図された目標から逸脱する幻覚的な行動を引き起こす。 さらに、自然言語でアクションプランを生成することは、生成されたプランを高いレベルに制限し、アクション実行の曖昧さをもたらす傾向がある。 これらの制約に対処するために, MM-LLM に対して, 実行した動作から生じる状態遷移を明示的に推定し, 状態遷移を予測する状態対応タスク推定・プランナー (STEP) を提案する。 アクションと共に将来の状態を予測することによって、STEPはタスクコンバージェントプランニングを保証し、予測されたアクションの実行に必要な追加のアシストパラメータを提供する。 ロボット組立作業を用いたシミュレーション環境におけるSTEPの評価を行った。 提案手法は, 動作実行可能性32.8%, 最終状態エラー14.8%より優れていた。

関連論文リスト

• Melding LLM and temporal logic for reliable human-swarm collaboration in complex scenarios [17.56189537207367]
  我々は,長期にわたる人間とスワムのコラボレーションのためのニューロシンボリックな枠組みを導入する。 ミッション目標と運用ルールを時間論理式として,タスクオートマトンとして許容可能なタスクオーダとして定式化する。 イベントトリガー方式のインタラクションプロトコルでは、操作者がスパースでハイレベルな確認とガイダンスに関与することを制限している。
  論文  参考訳（メタデータ） (2026-05-08T15:32:14Z)
• Leveraging Pre-trained Large Language Models with Refined Prompting for Online Task and Motion Planning [24.797220935378057]
  本稿では,事前学習型大規模言語モデル (LLM) によって支援された閉ループタスク計画・実行システム LLM-PAS を提案する。 タスク実行時の異常条件に対するLLM-PASの有効性とロバスト性を示す。
  論文  参考訳（メタデータ） (2025-04-30T12:53:53Z)
• MALMM: Multi-Agent Large Language Models for Zero-Shot Robotics Manipulation [62.854649499866774]
  大規模言語モデル(LLM)は、ロボティクスの操作やナビゲーションなど、さまざまな領域にまたがる優れた計画能力を示している。 特殊なLLMエージェント間で高レベル計画および低レベル制御コード生成を分散する新しいマルチエージェントLLMフレームワークを提案する。 長軸タスクを含む9つのRLBenchタスクに対するアプローチを評価し、ゼロショット環境でロボット操作を解く能力を実証した。
  論文  参考訳（メタデータ） (2024-11-26T17:53:44Z)
• Ask-before-Plan: Proactive Language Agents for Real-World Planning [68.08024918064503]
  プロアクティブエージェントプランニングでは、ユーザエージェントの会話とエージェント環境のインタラクションに基づいて、言語エージェントが明確化のニーズを予測する必要がある。 本稿では,明確化,実行,計画の3つのエージェントからなる新しいマルチエージェントフレームワーク,Clarification-Execution-Planning(textttCEP)を提案する。
  論文  参考訳（メタデータ） (2024-06-18T14:07:28Z)
• Probabilistically Correct Language-based Multi-Robot Planning using Conformal Prediction [11.614036749291216]
  本稿では,S-ATLAS for Safe plAnning for Teams of Language-instructed Agentsを提案する。 提案したプランナは,計画実行が成功すると仮定して,ユーザ指定のタスク成功率を達成可能であることを示す。 我々は,本手法が計算効率が高く,ヘルプレートが低いことを示す関連研究との比較実験を行った。
  論文  参考訳（メタデータ） (2024-02-23T15:02:44Z)
• Unified Task and Motion Planning using Object-centric Abstractions of Motion Constraints [56.283944756315066]
  本稿では,タスクとモーションプランニングを一つの検索に統一するTAMP手法を提案する。 我々のアプローチは、オフザシェルフAIサーチの計算効率を活用して、物理的に実現可能な計画が得られるような、オブジェクト中心の動作制約の抽象化に基づいている。
  論文  参考訳（メタデータ） (2023-12-29T14:00:20Z)
• Learning adaptive planning representations with natural language guidance [90.24449752926866]
  本稿では,タスク固有の計画表現を自動構築するフレームワークであるAdaについて述べる。 Adaは、プランナー互換の高レベルアクション抽象化と、特定の計画タスク領域に適応した低レベルコントローラのライブラリを対話的に学習する。
  論文  参考訳（メタデータ） (2023-12-13T23:35:31Z)
• Interactive Planning Using Large Language Models for Partially Observable Robotics Tasks [54.60571399091711]
  大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。 LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T22:54:44Z)
• AutoTAMP: Autoregressive Task and Motion Planning with LLMs as Translators and Checkers [20.857692296678632]
  人間とロボットの効果的なインタラクションには、ロボットは複雑な長期的タスクを理解し、計画し、実行する必要がある。 大規模言語モデルの最近の進歩は、自然言語をロボットのアクションシーケンスに変換することを約束している。 本研究では,複雑なタスク領域において,LLMをプランナとして用いる手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-10T21:58:29Z)
• Multimodal Contextualized Plan Prediction for Embodied Task Completion [9.659463406886301]
  タスクプランニングは従来のロボットシステムにおいて重要なコンポーネントであり、ロボットがより複雑なタスクを実行するためのきめ細かいスキルを組み立てることができる。 シミュレーション実施エージェントにおけるタスク完了のための自然言語を実行可能なアクションに翻訳する最近の作業構築システムは,低レベルのアクションシーケンスを直接予測することに焦点を当てている。 我々は,そのような具体化されたタスク完了データセット - TEACh に対して,より高いレベルの計画表現を予測することに集中する。
  論文  参考訳（メタデータ） (2023-05-10T22:29:12Z)
• A Framework for Neurosymbolic Robot Action Planning using Large Language Models [3.0501524254444767]
  本稿では,象徴的タスク計画と機械学習アプローチのギャップを埋めることを目的としたフレームワークを提案する。 大規模言語モデル(LLM)を計画ドメイン定義言語(PDDL)と互換性のあるニューロシンボリックタスクプランナーに訓練する根拠 選択されたドメインにおける予備的な結果から, (i) テストデータセットの95.5%の問題を1,000個のサンプルで解決し, (ii) 従来のシンボルプランナーよりも最大13.5%短いプランを作成し, (iii) 計画の可利用性の平均待ち時間を61.4%まで削減する。
  論文  参考訳（メタデータ） (2023-03-01T11:54:22Z)
• ProgPrompt: Generating Situated Robot Task Plans using Large Language Models [68.57918965060787]
  大規模言語モデル(LLM)は、タスク計画中の潜在的な次のアクションを評価するために使用することができる。 本稿では, プログラム型LCMプロンプト構造を用いて, 配置環境間での計画生成機能を実現する。
  論文  参考訳（メタデータ） (2022-09-22T20:29:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。