論文の概要: Robots That Ask For Help: Uncertainty Alignment for Large Language Model Planners

• arxiv url: http://arxiv.org/abs/2307.01928v2
• Date: Mon, 4 Sep 2023 16:06:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-07 04:27:28.454745
• Title: Robots That Ask For Help: Uncertainty Alignment for Large Language Model Planners
• Title（参考訳）: 支援を求めるロボット: 大きな言語モデルプランナーのための不確実性アライメント
• Authors: Allen Z. Ren, Anushri Dixit, Alexandra Bodrova, Sumeet Singh, Stephen Tu, Noah Brown, Peng Xu, Leila Takayama, Fei Xia, Jake Varley, Zhenjia Xu, Dorsa Sadigh, Andy Zeng, Anirudha Majumdar
• Abstract要約: KnowNoは、大きな言語モデルの不確実性を測定し、調整するためのフレームワークである。 KnowNoは、タスク完了に関する統計的保証を提供する共形予測理論に基づいている。
• 参考スコア（独自算出の注目度）: 85.03486419424647
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) exhibit a wide range of promising capabilities -- from step-by-step planning to commonsense reasoning -- that may provide utility for robots, but remain prone to confidently hallucinated predictions. In this work, we present KnowNo, which is a framework for measuring and aligning the uncertainty of LLM-based planners such that they know when they don't know and ask for help when needed. KnowNo builds on the theory of conformal prediction to provide statistical guarantees on task completion while minimizing human help in complex multi-step planning settings. Experiments across a variety of simulated and real robot setups that involve tasks with different modes of ambiguity (e.g., from spatial to numeric uncertainties, from human preferences to Winograd schemas) show that KnowNo performs favorably over modern baselines (which may involve ensembles or extensive prompt tuning) in terms of improving efficiency and autonomy, while providing formal assurances. KnowNo can be used with LLMs out of the box without model-finetuning, and suggests a promising lightweight approach to modeling uncertainty that can complement and scale with the growing capabilities of foundation models. Website: https://robot-help.github.io
• Abstract（参考訳）: 大規模言語モデル(llm)は、ステップバイステップの計画からコモンセンス推論まで、幅広い有望な能力を示しており、ロボットの実用性を提供するが、自信を持って幻覚的な予測を行う可能性が高い。 本研究では,LLMをベースとしたプランナの不確実性を計測・調整するフレームワークであるKnowNoについて述べる。 KnowNoは、複雑な多段階計画設定において人間の助けを最小化しながら、タスク完了に関する統計的保証を提供する共形予測理論に基づいている。 例えば、人間の好みからウィノグラードのスキーマまで、空間的な不確実性から数値的な不確実性まで)の異なるモードのタスクを含む様々なシミュレーションされた実ロボットのセットアップの実験では、KnowNoは効率性と自律性の向上の観点からモダンなベースライン(アンサンブルや広範囲な急進的なチューニングを含む)に対して好適に機能し、形式的な保証を提供する。 KnowNo はモデルファインタニングなしで LLM を最初から使用することができ、基礎モデルの増大する能力を補完し拡張できる不確実性をモデリングするための有望な軽量なアプローチを提案する。 ウェブサイト:https://robot-help.github.io

関連論文リスト

• Closed-Loop Long-Horizon Robotic Planning via Equilibrium Sequence Modeling [23.62433580021779]
  我々は、均衡に達するまで計画案を反復的に洗練する自己精製スキームを提唱する。 効率的なクローズドループ計画のためのネスト型平衡系列モデリング手法を考案した。 提案手法はVirtualHome-Envベンチマークで評価され,性能が向上し,推論精度が向上した。
  論文  参考訳（メタデータ） (2024-10-02T11:42:49Z)
• WorkArena++: Towards Compositional Planning and Reasoning-based Common Knowledge Work Tasks [85.95607119635102]
  大型言語モデル(LLM)は人間のような知性を模倣することができる。 WorkArena++は、Webエージェントの計画、問題解決、論理的/論理的推論、検索、コンテキスト的理解能力を評価するように設計されている。
  論文  参考訳（メタデータ） (2024-07-07T07:15:49Z)
• Large Language Models Must Be Taught to Know What They Don't Know [97.90008709512921]
  正解と誤解の小さなデータセットを微調整すると、高い一般化と計算オーバーヘッドの少ない不確実性推定が得られることを示す。 また,確実な不確実性推定を可能にする機構についても検討し,多くのモデルを汎用的不確実性推定器として利用することができることを示した。
  論文  参考訳（メタデータ） (2024-06-12T16:41:31Z)
• Probabilistically Correct Language-based Multi-Robot Planning using Conformal Prediction [11.614036749291216]
  本稿では,S-ATLAS for Safe plAnning for Teams of Language-instructed Agentsを提案する。 提案したプランナは,計画実行が成功すると仮定して,ユーザ指定のタスク成功率を達成可能であることを示す。 我々は,本手法が計算効率が高く,ヘルプレートが低いことを示す関連研究との比較実験を行った。
  論文  参考訳（メタデータ） (2024-02-23T15:02:44Z)
• Introspective Planning: Aligning Robots' Uncertainty with Inherent Task Ambiguity [0.659529078336196]
  大きな言語モデル(LLM)は高度な推論能力を示し、ロボットは自然言語の指示を理解することができる。 LLMの幻覚は、ユーザーの目標と不一致の計画を実行するロボットや、極端な場合、安全ではない。 本稿では,ロボットタスク実行のための不確実性を考慮した計画作成において,LLMを指導する体系的手法としての内省的計画の概念を考察する。
  論文  参考訳（メタデータ） (2024-02-09T16:40:59Z)
• Automated Process Planning Based on a Semantic Capability Model and SMT [50.76251195257306]
  製造システムと自律ロボットの研究において、機械で解釈可能なシステム機能の仕様に「能力」という用語が用いられる。 セマンティック能力モデルから始めて、AI計画問題を自動的に生成するアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-14T10:37:34Z)
• Interactive Planning Using Large Language Models for Partially Observable Robotics Tasks [54.60571399091711]
  大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。 LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T22:54:44Z)
• Grounded Decoding: Guiding Text Generation with Grounded Models for Embodied Agents [111.15288256221764]
  グラウンデッドデコーディングプロジェクトは、両方のモデルの知識を活用することで、ロボット環境で複雑な長期タスクを解決することを目的としている。 我々はこれを確率的フィルタリングに類似した問題として、言語モデルの下で高い確率を持つシーケンスをデコードし、基底モデル対象のセットで高い確率を示す。 本研究では,3つのシミュレーション領域と実世界の領域にまたがって,そのような基底モデルがどのように得られるのかを実証し,両モデルの知識を活用して,ロボット環境での複雑な長期的タスクを解くことができることを示す。
  論文  参考訳（メタデータ） (2023-03-01T22:58:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。