論文の概要: Cocoon: Robust Multi-Modal Perception with Uncertainty-Aware Sensor Fusion

• arxiv url: http://arxiv.org/abs/2410.12592v1
• Date: Wed, 16 Oct 2024 14:10:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:43:31.914075
• Title: Cocoon: Robust Multi-Modal Perception with Uncertainty-Aware Sensor Fusion
• Title（参考訳）: Cocoon:不確かさを意識したセンサフュージョンを用いたロバストマルチモード知覚
• Authors: Minkyoung Cho, Yulong Cao, Jiachen Sun, Qingzhao Zhang, Marco Pavone, Jeong Joon Park, Heng Yang, Z. Morley Mao,
• Abstract要約: オブジェクトレベルの不確実性を認識した融合フレームワークであるCocoonを紹介します。 鍵となる革新は不均一表現に対する不確実な定量化である。 Cocoonは、通常の条件と挑戦条件の両方において、既存の静的および適応的な手法より一貫して優れている。
• 参考スコア（独自算出の注目度）: 26.979291099052194
• License:
• Abstract: An important paradigm in 3D object detection is the use of multiple modalities to enhance accuracy in both normal and challenging conditions, particularly for long-tail scenarios. To address this, recent studies have explored two directions of adaptive approaches: MoE-based adaptive fusion, which struggles with uncertainties arising from distinct object configurations, and late fusion for output-level adaptive fusion, which relies on separate detection pipelines and limits comprehensive understanding. In this work, we introduce Cocoon, an object- and feature-level uncertainty-aware fusion framework. The key innovation lies in uncertainty quantification for heterogeneous representations, enabling fair comparison across modalities through the introduction of a feature aligner and a learnable surrogate ground truth, termed feature impression. We also define a training objective to ensure that their relationship provides a valid metric for uncertainty quantification. Cocoon consistently outperforms existing static and adaptive methods in both normal and challenging conditions, including those with natural and artificial corruptions. Furthermore, we show the validity and efficacy of our uncertainty metric across diverse datasets.
• Abstract（参考訳）: 3Dオブジェクト検出における重要なパラダイムは、通常条件と挑戦条件の両方、特にロングテールシナリオの精度を高めるために多重モードを使用することである。 異なる対象構成から生じる不確実性に苦しむMoEベースの適応核融合と、別個の検出パイプラインと包括的な理解を制限する出力レベルの適応核融合の後期核融合である。 本稿では,オブジェクトレベルの不確実性を考慮した統合フレームワークであるCocoonを紹介する。 鍵となる革新は不均一表現の不確かさの定量化であり、特徴整合性の導入と学習可能な土台真理(英語版)、いわゆる特徴印象(英語版)の導入により、モダリティ間の公正な比較を可能にする。 また、それらの関係が不確実性定量化の有効な指標となることを保証するための訓練目標も定義する。 Cocoonは、自然と人工の腐敗を含む通常の状況と困難な状況の両方において、既存の静的および適応的な手法を一貫して上回っている。 さらに,各データセットにおける不確実性指標の有効性と有効性を示す。

関連論文リスト

• Know Where You're Uncertain When Planning with Multimodal Foundation Models: A Formal Framework [54.40508478482667]
  認識と計画生成の不確実性を解消し、定量化し、緩和する包括的枠組みを提案する。 本稿では,知覚と意思決定の独特な性質に合わせた手法を提案する。 この不確実性分散フレームワークは, 変動率を最大40%削減し, タスク成功率をベースラインに比べて5%向上させることを示した。
  論文  参考訳（メタデータ） (2024-11-03T17:32:00Z)
• UAHOI: Uncertainty-aware Robust Interaction Learning for HOI Detection [18.25576487115016]
  本稿では,Human-Object Interaction(HOI)検出について述べる。 与えられた画像やビデオフレーム内の人間とオブジェクト間の相互作用を識別し、理解するという課題に対処する。 本研究では,不確実性を考慮したロバストなヒューマンオブジェクトインタラクション学習であるtextscUAHOIを提案する。
  論文  参考訳（メタデータ） (2024-08-14T10:06:39Z)
• Regulating Model Reliance on Non-Robust Features by Smoothing Input Marginal Density [93.32594873253534]
  信頼できる機械学習は、非ロバストな特徴に依存するモデルの厳密な規制を必要とする。 本稿では,モデル予測を入力に関連付けることによって,そのような特徴を記述・規制するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-05T09:16:56Z)
• Mutual Information-calibrated Conformal Feature Fusion for Uncertainty-Aware Multimodal 3D Object Detection at the Edge [1.7898305876314982]
  3次元(3D)物体検出は、重要なロボティクスの操作であり、大きな進歩を遂げている。 本研究は,共形推論の原理と情報理論測度を統合し,モンテカルロ自由な不確実性推定を行う。 このフレームワークは、KITTIの3Dオブジェクト検出ベンチマークにおいて、不確実性に気付かない類似のメソッドと同等またはより良いパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-09-18T09:02:44Z)
• A Sequentially Fair Mechanism for Multiple Sensitive Attributes [0.46040036610482665]
  アルゴリズムフェアネスの標準的なユースケースでは、感度変数と対応するスコアの関係を排除することが目標である。 センシティブな特徴の集合にまたがって、段階的に公平性を達成できるシーケンシャルなフレームワークを提案する。 当社のアプローチは、リスクと不公平の間のトレードオフを緩和するフレームワークを包含することで、公平性をシームレスに拡張します。
  論文  参考訳（メタデータ） (2023-09-12T22:31:57Z)
• Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical Fusion for Multimodal Affect Recognition [69.32305810128994]
  モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。 本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。 HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
  論文  参考訳（メタデータ） (2023-05-23T01:24:15Z)
• Composed Image Retrieval with Text Feedback via Multi-grained Uncertainty Regularization [73.04187954213471]
  粗い検索ときめ細かい検索を同時にモデル化する統合学習手法を提案する。 提案手法は、強いベースラインに対して+4.03%、+3.38%、+2.40%のRecall@50精度を達成した。
  論文  参考訳（メタデータ） (2022-11-14T14:25:40Z)
• Uncertainty Quantification of Collaborative Detection for Self-Driving [12.590332512097698]
  連結車両と自律車両(CAV)間の情報共有は、自動運転のための協調物体検出の性能を向上させる。 しかし、CAVは実用上の課題のため、まだ物体検出に不確実性を持っている。 我々の研究は、協調物体検出の不確かさを最初に見積もるものである。
  論文  参考訳（メタデータ） (2022-09-16T20:30:45Z)
• Exploring the Trade-off between Plausibility, Change Intensity and Adversarial Power in Counterfactual Explanations using Multi-objective Optimization [73.89239820192894]
  自動対物生成は、生成した対物インスタンスのいくつかの側面を考慮すべきである。 本稿では, 対実例生成のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-20T15:02:53Z)
• Robustness and Accuracy Could Be Reconcilable by (Proper) Definition [109.62614226793833]
  強靭性と精度のトレードオフは、敵文学において広く研究されている。 局所的不変性の帰納的バイアスを課す不適切に定義された頑健な誤差に由来する可能性がある。 定義上、SCOREは、最悪のケースの不確実性に対処しながら、堅牢性と正確性の間の和解を促進する。
  論文  参考訳（メタデータ） (2022-02-21T10:36:09Z)
• Modal Uncertainty Estimation via Discrete Latent Representation [4.246061945756033]
  本稿では,インプットとアウトプットの1対1マッピングを,忠実な不確実性対策とともに学習するディープラーニングフレームワークを提案する。 我々のフレームワークは、現在の最先端手法よりもはるかに正確な不確実性推定を実証している。
  論文  参考訳（メタデータ） (2020-07-25T05:29:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。