論文の概要: Multimodal Pretrained Models for Verifiable Sequential Decision-Making: Planning, Grounding, and Perception

• arxiv url: http://arxiv.org/abs/2308.05295v2
• Date: Mon, 17 Jun 2024 19:09:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-20 05:13:54.195283
• Title: Multimodal Pretrained Models for Verifiable Sequential Decision-Making: Planning, Grounding, and Perception
• Title（参考訳）: 検証順序決定のためのマルチモーダル事前学習モデル:計画・接地・知覚
• Authors: Yunhao Yang, Cyrus Neary, Ufuk Topcu,
• Abstract要約: 最近開発された事前学習モデルは、テキストや画像など、複数のモードで表現された豊かな世界知識を符号化することができる。 本研究では,事前学習したモデルからの知識を利用して,逐次意思決定タスクのための制御器の構築と検証を行うアルゴリズムを開発した。 我々は,実世界のタスクスイートを通じて,自動制御システムの構築,検証,および接地を行うアルゴリズムの能力を実証する。
• 参考スコア（独自算出の注目度）: 20.12750360095627
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently developed pretrained models can encode rich world knowledge expressed in multiple modalities, such as text and images. However, the outputs of these models cannot be integrated into algorithms to solve sequential decision-making tasks. We develop an algorithm that utilizes the knowledge from pretrained models to construct and verify controllers for sequential decision-making tasks, and to ground these controllers to task environments through visual observations with formal guarantees. In particular, the algorithm queries a pretrained model with a user-provided, text-based task description and uses the model's output to construct an automaton-based controller that encodes the model's task-relevant knowledge. It allows formal verification of whether the knowledge encoded in the controller is consistent with other independently available knowledge, which may include abstract information on the environment or user-provided specifications. Next, the algorithm leverages the vision and language capabilities of pretrained models to link the observations from the task environment to the text-based control logic from the controller (e.g., actions and conditions that trigger the actions). We propose a mechanism to provide probabilistic guarantees on whether the controller satisfies the user-provided specifications under perceptual uncertainties. We demonstrate the algorithm's ability to construct, verify, and ground automaton-based controllers through a suite of real-world tasks, including daily life and robot manipulation tasks.
• Abstract（参考訳）: 最近開発された事前学習モデルは、テキストや画像など、複数のモードで表現された豊かな世界知識を符号化することができる。 しかし、これらのモデルの出力は、シーケンシャルな意思決定タスクを解決するアルゴリズムに統合することはできない。 本研究では,事前学習したモデルから得られた知識を利用して,逐次意思決定タスクのための制御器の構築と検証を行い,これらの制御器を視覚的観察によりタスク環境に接地するアルゴリズムを開発した。 特に、アルゴリズムは、ユーザーが提供するテキストベースのタスク記述で事前訓練されたモデルをクエリし、モデルの出力を使用して、モデルのタスク関連知識を符号化するオートマトンベースのコントローラを構築する。 コントローラにエンコードされた知識が、環境やユーザが提供する仕様に関する抽象的な情報を含む、他の独立して利用可能な知識と一致しているかどうかの正式な検証を可能にする。 次に、事前訓練されたモデルのビジョンと言語能力を利用して、タスク環境からの観察とコントローラからのテキストベースの制御ロジック(アクションをトリガーするアクションや条件など)をリンクする。 本稿では,ユーザが提供する仕様を知覚的不確実性の下で満足するかどうか,確率的保証を提供する機構を提案する。 このアルゴリズムは,日常生活やロボット操作など,現実的なタスクのスイートを通じて,オートマトンベースのコントローラを構築し,検証し,構築する能力を示す。

関連論文リスト

• Learning Predictive Checklists with Probabilistic Logic Programming [17.360186431981592]
  本稿では,画像や時系列などの様々なデータモダリティから予測チェックリストを学習する手法を提案する。 本手法は,チェックリストの離散性と連続値データとのマッチングを可能にする学習パラダイムである確率論的論理プログラミングに依存する。 提案手法は,画像シーケンス,時系列,臨床ノートを含む予測タスクにおいて,さまざまな説明可能な機械学習手法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-11-25T09:07:19Z)
• The Foundations of Computational Management: A Systematic Approach to Task Automation for the Integration of Artificial Intelligence into Existing Workflows [55.2480439325792]
  本稿では,タスク自動化の体系的アプローチである計算管理を紹介する。 この記事では、ワークフロー内でAIを実装するプロセスを開始するための、ステップバイステップの手順を3つ紹介する。
  論文  参考訳（メタデータ） (2024-02-07T01:45:14Z)
• Automated Process Planning Based on a Semantic Capability Model and SMT [50.76251195257306]
  製造システムと自律ロボットの研究において、機械で解釈可能なシステム機能の仕様に「能力」という用語が用いられる。 セマンティック能力モデルから始めて、AI計画問題を自動的に生成するアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-14T10:37:34Z)
• Code Models are Zero-shot Precondition Reasoners [83.8561159080672]
  シーケンシャルな意思決定タスクのために、コード表現を使ってアクションの前提条件を推論します。 本稿では,政策によって予測される行動が前提条件と一致していることを保証する事前条件対応行動サンプリング戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-16T06:19:27Z)
• Fine-Tuning Language Models Using Formal Methods Feedback [53.24085794087253]
  我々は、自律システムにおけるアプリケーションのための、微調整済み言語モデルに対して、完全に自動化されたアプローチを提案する。 本手法は,自然言語タスク記述による事前学習モデルから自動制御器を合成する。 その結果、コントローラが満たした仕様の割合が60%から90%に改善したことが示唆された。
  論文  参考訳（メタデータ） (2023-10-27T16:24:24Z)
• A General Framework for Verification and Control of Dynamical Models via Certificate Synthesis [54.959571890098786]
  システム仕様を符号化し、対応する証明書を定義するためのフレームワークを提供する。 コントローラと証明書を形式的に合成する自動化手法を提案する。 我々のアプローチは、ニューラルネットワークの柔軟性を利用して、制御のための安全な学習の幅広い分野に寄与する。
  論文  参考訳（メタデータ） (2023-09-12T09:37:26Z)
• ControlVAE: Model-Based Learning of Generative Controllers for Physics-Based Characters [28.446959320429656]
  可変オートエンコーダ(VAE)に基づく生成動作制御ポリシーを学習するためのモデルベースのフレームワークであるControlVAEを紹介する。 我々のフレームワークは、多種多様な非組織的な動作シーケンスから、リッチで柔軟なスキル表現と、スキル条件付き生成制御ポリシーを学習することができる。 シミュレーション文字のリアルかつインタラクティブな制御を可能にする多種多様なタスクセットを用いた制御VAEの有効性を実証する。
  論文  参考訳（メタデータ） (2022-10-12T10:11:36Z)
• Counterfactual Explanation and Causal Inference in Service of Robustness in Robot Control [15.104159722499366]
  我々は「事象AがCの代わりにBを引き起こすように変更できるか?」という形式の逆実数条件の生成モデルを訓練するためのアーキテクチャを提案する。 従来の制御設計手法とは対照的に、ノイズを除去する能力の観点から頑健さを定量化する手法では、ある要件に違反する可能性のある反事実の空間を探索する。
  論文  参考訳（メタデータ） (2020-09-18T14:22:47Z)
• Goal-Aware Prediction: Learning to Model What Matters [105.43098326577434]
  学習した前進力学モデルを使用する際の根本的な課題の1つは、学習したモデルの目的と下流のプランナーやポリシーの目標とのミスマッチである。 本稿では,タスク関連情報への直接的予測を提案し,そのモデルが現在のタスクを認識し,状態空間の関連量のみをモデル化することを奨励する。 提案手法は,目標条件付きシーンの関連部分を効果的にモデル化し,その結果,標準タスク非依存のダイナミックスモデルやモデルレス強化学習より優れていることがわかった。
  論文  参考訳（メタデータ） (2020-07-14T16:42:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。