論文の概要: Know Where You're Uncertain When Planning with Multimodal Foundation Models: A Formal Framework

• arxiv url: http://arxiv.org/abs/2411.01639v1
• Date: Sun, 03 Nov 2024 17:32:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:51:04.485626
• Title: Know Where You're Uncertain When Planning with Multimodal Foundation Models: A Formal Framework
• Title（参考訳）: マルチモーダル・ファンデーション・モデルで計画する際の不確実さを知る: フォーマル・フレームワーク
• Authors: Neel P. Bhatt, Yunhao Yang, Rohan Siva, Daniel Milan, Ufuk Topcu, Zhangyang Wang,
• Abstract要約: 認識と計画生成の不確実性を解消し、定量化し、緩和する包括的枠組みを提案する。 本稿では,知覚と意思決定の独特な性質に合わせた手法を提案する。 この不確実性分散フレームワークは, 変動率を最大40%削減し, タスク成功率をベースラインに比べて5%向上させることを示した。
• 参考スコア（独自算出の注目度）: 54.40508478482667
• License:
• Abstract: Multimodal foundation models offer a promising framework for robotic perception and planning by processing sensory inputs to generate actionable plans. However, addressing uncertainty in both perception (sensory interpretation) and decision-making (plan generation) remains a critical challenge for ensuring task reliability. We present a comprehensive framework to disentangle, quantify, and mitigate these two forms of uncertainty. We first introduce a framework for uncertainty disentanglement, isolating perception uncertainty arising from limitations in visual understanding and decision uncertainty relating to the robustness of generated plans. To quantify each type of uncertainty, we propose methods tailored to the unique properties of perception and decision-making: we use conformal prediction to calibrate perception uncertainty and introduce Formal-Methods-Driven Prediction (FMDP) to quantify decision uncertainty, leveraging formal verification techniques for theoretical guarantees. Building on this quantification, we implement two targeted intervention mechanisms: an active sensing process that dynamically re-observes high-uncertainty scenes to enhance visual input quality and an automated refinement procedure that fine-tunes the model on high-certainty data, improving its capability to meet task specifications. Empirical validation in real-world and simulated robotic tasks demonstrates that our uncertainty disentanglement framework reduces variability by up to 40% and enhances task success rates by 5% compared to baselines. These improvements are attributed to the combined effect of both interventions and highlight the importance of uncertainty disentanglement which facilitates targeted interventions that enhance the robustness and reliability of autonomous systems.
• Abstract（参考訳）: マルチモーダル基礎モデルは、動作可能な計画を生成するために感覚入力を処理することで、ロボット知覚と計画のための有望なフレームワークを提供する。 しかし、認識(感覚的解釈)と意思決定(計画生成)の両面での不確実性に対処することは、タスクの信頼性を確保する上で重要な課題である。 この2つの不確実性を解消し、定量化し、緩和する包括的枠組みを提案する。 まず、視覚的理解の限界と、生成された計画の堅牢性に関連する決定の不確実性から生じる認識の不確実性を分離する不確実性解消のための枠組みを導入する。 本研究では,認識の不確かさの定量化に共形予測を用いるとともに,決定の不確かさを定量化するために形式的手法駆動予測(FMDP)を導入し,理論的保証のために形式的検証手法を活用する方法を提案する。 この定量化に基づいて、視覚的入力品質を向上させるために動的に不確実なシーンを再観測するアクティブセンシングプロセスと、高精度データ上でモデルを微調整し、タスク仕様を満たす能力を向上する自動精細化手順の2つを実装した。 実世界およびシミュレーションロボットタスクにおける実証検証により、我々の不確実性分散フレームワークは、変動を最大40%減少させ、ベースラインと比較してタスク成功率を5%向上させることを示した。 これらの改善は、両方の介入の複合効果によるものであり、自律システムの堅牢性と信頼性を高める目的の介入を促進する不確実性障害の重要性を強調している。

関連論文リスト

• Entropy-Based Uncertainty Modeling for Trajectory Prediction in Autonomous Driving [9.365269316773219]
  我々は、不確実性の定量化、分解、およびモデル構成の影響に焦点を当てた全体論的アプローチを採用する。 提案手法は,不確実性を測定するための理論に基づく情報理論に基づく手法である。 我々はnuScenesデータセットに関する広範な実験を行い、異なるモデルアーキテクチャと構成が不確実性定量化とモデルロバスト性にどのように影響するかを評価する。
  論文  参考訳（メタデータ） (2024-10-02T15:02:32Z)
• End-to-End Conformal Calibration for Optimization Under Uncertainty [32.844953018302874]
  本稿では,条件最適化のための不確実性推定を学習するためのエンドツーエンドフレームワークを開発する。 さらに,部分凸ニューラルネットワークを用いた任意の凸不確実性集合の表現を提案する。 我々のアプローチは2段階最適化によって一貫して改善される。
  論文  参考訳（メタデータ） (2024-09-30T17:38:27Z)
• Quantification of Predictive Uncertainty via Inference-Time Sampling [57.749601811982096]
  本稿では,データあいまいさの予測不確実性を推定するためのポストホックサンプリング手法を提案する。 この方法は与えられた入力に対して異なる可算出力を生成することができ、予測分布のパラメトリック形式を仮定しない。
  論文  参考訳（メタデータ） (2023-08-03T12:43:21Z)
• Training, Architecture, and Prior for Deterministic Uncertainty Methods [33.45069308137142]
  本研究は決定論的不確実性法(DUM)における重要な設計選択について検討する。 コアアーキテクチャと不確実性ヘッドスキームを分離したトレーニングスキームは、不確実性性能を大幅に改善できることを示す。 他のベイズモデルとは対照的に、DUMが定義した事前定義が最終的な性能に強い影響を及ぼさないことを示す。
  論文  参考訳（メタデータ） (2023-03-10T09:00:52Z)
• Lightweight, Uncertainty-Aware Conformalized Visual Odometry [2.429910016019183]
  データ駆動型ビジュアルオドメトリー(VO)は、自律エッジロボティクスにとって重要なサブルーチンである。 昆虫スケールドローンや外科ロボットのような最先端ロボットデバイスは、VOの予測の不確実性を推定する計算的に効率的な枠組みを欠いている。 本稿では,共形推論(CI)を利用してVOの不確実な帯域を抽出する,新しい,軽量で統計的に堅牢なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-03T20:37:55Z)
• Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval [51.83967175585896]
  UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。 データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
  論文  参考訳（メタデータ） (2022-10-24T17:53:20Z)
• Bayesian autoencoders with uncertainty quantification: Towards trustworthy anomaly detection [78.24964622317634]
  本研究では, ベイズオートエンコーダ (BAEs) の定式化により, 全体の異常不確かさを定量化する。 不確実性の質を評価するために,不確実性の予測を拒否するオプションを追加して,異常を分類する作業を検討する。 本実験は,BAEと総異常不確かさが,ベンチマークデータセットと製造用実データセットのセットに与える影響を実証するものである。
  論文  参考訳（メタデータ） (2022-02-25T12:20:04Z)
• Approaching Neural Network Uncertainty Realism [53.308409014122816]
  自動運転車などの安全クリティカルなシステムには、定量化または少なくとも上限の不確実性が不可欠です。 マハラノビス距離に基づく統計的テストにより、厳しい品質基準である不確実性リアリズムを評価します。 自動車分野に採用し、プレーンエンコーダデコーダモデルと比較して、不確実性リアリズムを大幅に改善することを示した。
  論文  参考訳（メタデータ） (2021-01-08T11:56:12Z)
• Uncertainty as a Form of Transparency: Measuring, Communicating, and Using Uncertainty [66.17147341354577]
  我々は,モデル予測に関連する不確実性を推定し,伝達することにより,相補的な透明性の形式を考えることについて議論する。 モデルの不公平性を緩和し、意思決定を強化し、信頼できるシステムを構築するために不確実性がどのように使われるかを説明する。 この研究は、機械学習、可視化/HCI、デザイン、意思決定、公平性にまたがる文学から引き出された学際的レビューを構成する。
  論文  参考訳（メタデータ） (2020-11-15T17:26:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。