論文の概要: Test-Time Certifiable Self-Supervision to Bridge the Sim2Real Gap in Event-Based Satellite Pose Estimation
- arxiv url: http://arxiv.org/abs/2409.06240v1
- Date: Tue, 10 Sep 2024 06:17:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-11 18:50:07.733843
- Title: Test-Time Certifiable Self-Supervision to Bridge the Sim2Real Gap in Event-Based Satellite Pose Estimation
- Title（参考訳）: イベントベース衛星データ推定におけるSim2Realギャップをブリッジするテストタイム認定セルフスーパービジョン
- Authors: Mohsi Jawaid, Rajat Talak, Yasir Latif, Luca Carlone, Tat-Jun Chin,
- Abstract要約: Sim2Realのギャップの主な原因は、試験中に遭遇した新しい照明条件である。
本稿では,認証モジュールを用いたテスト時間自己監督方式を提案する。
- 参考スコア（独自算出の注目度）: 39.53065184075108
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning plays a critical role in vision-based satellite pose estimation. However, the scarcity of real data from the space environment means that deep models need to be trained using synthetic data, which raises the Sim2Real domain gap problem. A major cause of the Sim2Real gap are novel lighting conditions encountered during test time. Event sensors have been shown to provide some robustness against lighting variations in vision-based pose estimation. However, challenging lighting conditions due to strong directional light can still cause undesirable effects in the output of commercial off-the-shelf event sensors, such as noisy/spurious events and inhomogeneous event densities on the object. Such effects are non-trivial to simulate in software, thus leading to Sim2Real gap in the event domain. To close the Sim2Real gap in event-based satellite pose estimation, the paper proposes a test-time self-supervision scheme with a certifier module. Self-supervision is enabled by an optimisation routine that aligns a dense point cloud of the predicted satellite pose with the event data to attempt to rectify the inaccurately estimated pose. The certifier attempts to verify the corrected pose, and only certified test-time inputs are backpropagated via implicit differentiation to refine the predicted landmarks, thus improving the pose estimates and closing the Sim2Real gap. Results show that the our method outperforms established test-time adaptation schemes.
- Abstract（参考訳）: 深層学習は視覚ベースの衛星ポーズ推定において重要な役割を果たす。
しかし、宇宙環境からの実際のデータの不足は、深層モデルを合成データを用いて訓練する必要があることを意味するため、Sim2Realドメインギャップ問題を引き起こす。
Sim2Realのギャップの主な原因は、試験中に遭遇した新しい照明条件である。
イベントセンサは、視覚に基づくポーズ推定における照明の変動に対して、ある程度の堅牢性をもたらすことが示されている。
しかし、強い方向光による困難な照明条件は、ノイズ/スパージュイベントや不均一なイベント密度などの市販のオフザシェルフイベントセンサの出力に依然として好ましくない効果をもたらす可能性がある。
このような効果はソフトウェアでシミュレートするのは簡単ではないため、イベントドメインのSim2Realギャップにつながる。
イベントベースの衛星ポーズ推定におけるSim2Realギャップを埋めるため,認証モジュールを用いたテスト時間自己スーパービジョン方式を提案する。
セルフスーパービジョンは、予測された衛星の密度の高い点雲をイベントデータと整列させ、不正確な推定されたポーズを修正しようとする最適化ルーチンによって実現される。
認証者は修正されたポーズを検証しようと試み、認定されたテストタイム入力のみが暗黙の区別によって逆伝播され、予測されたランドマークを洗練し、ポーズ推定を改善し、Sim2Realギャップを閉じる。
その結果,本手法はテスト時間適応方式よりも優れていた。
関連論文リスト
- Assessing Quality Metrics for Neural Reality Gap Input Mitigation in Autonomous Driving Testing [2.194575078433007]
自動走行システム(ADS)のシミュレーションベースのテストは業界標準であり、現実世界のテストに対する制御され、安全で費用対効果の高い代替手段である。
これらの利点にもかかわらず、仮想シミュレーションは画像の忠実さ、テクスチャ表現、環境の正確さといった現実世界の状態を正確に再現することができないことが多い。
これは、シミュレートされたドメインと実世界のドメイン間のADSの挙動に大きな違いをもたらす可能性がある。
研究者は、画像から画像へのニューラルトランスレーション(I2I)を使用して、シミュレートされた環境のリアリズムを高め、合成データをより本物にすることで、シミュレートされた環境のリアリズムを高めた。
論文 参考訳（メタデータ） (2024-04-29T10:37:38Z) - Are NeRFs ready for autonomous driving? Towards closing the real-to-simulation gap [6.393953433174051]
本稿では,実際のデータギャップに対処するための新しい視点を提案する。
自律運転環境における実シミュレーションデータギャップの大規模調査を初めて実施する。
シミュレーションデータに対するモデルロバスト性は顕著に向上し,実世界の性能も向上した。
論文 参考訳（メタデータ） (2024-03-24T11:09:41Z) - LROC-PANGU-GAN: Closing the Simulation Gap in Learning Crater
Segmentation with Planetary Simulators [5.667566032625522]
外国の惑星体への探査機の着陸は、危険を確実に識別し、避けることが重要である。
この問題に対するディープラーニングの最近の応用は有望な結果を示している。
しかしながら、これらのモデルは、注釈付きデータセットに対する明確な監督によってしばしば学習される。
本稿では,ラベルの忠実さを維持しつつ,この「現実主義」のギャップを埋めるシステムを提案する。
論文 参考訳（メタデータ） (2023-10-04T12:52:38Z) - Bridging the Sim2Real gap with CARE: Supervised Detection Adaptation
with Conditional Alignment and Reweighting [72.75792823726479]
条件整合と再重み付けによる条件付きドメイン翻訳(CARE)を提案する。
本稿では,提案アルゴリズムの解析的正当性を示し,標準ベンチマーク上での競合手法よりも強い利得を示す。
論文 参考訳（メタデータ） (2023-02-09T18:39:28Z) - Towards Spatial Equilibrium Object Detection [88.9747319572368]
本稿では,現代物体検出器の空間的不平衡問題について考察する。
本稿では,ゾーンにおける検出性能の測定により,この問題の定量化を提案する。
これは、より一般化された測度を設計する動機となり、空間平衡精度と呼ばれる。
論文 参考訳（メタデータ） (2023-01-14T17:33:26Z) - Practical Exposure Correction: Great Truths Are Always Simple [65.82019845544869]
我々は,効率と性能の特性を組み立てるPEC(Practical Exposure Corrector)を確立する。
観測結果から有用な情報を抽出するキーエンジンとして,露光対向関数を導入する。
我々の実験は提案したPECの優位性を十分に明らかにしている。
論文 参考訳（メタデータ） (2022-12-29T09:52:13Z) - Towards Bridging the Space Domain Gap for Satellite Pose Estimation
using Event Sensing [35.467052373502575]
イベントセンシングは、スターク照明の違いの下で、シミュレーションからターゲットドメインへの一般化を期待できるソリューションを提供する。
我々の主な貢献は、合成データに基づいて純粋に訓練されたイベントベースの衛星ポーズ推定技術である。
その結果,適応のない合成データのみを訓練した事象に基づく衛星ポーズ推定法が,対象領域に効果的に一般化できることが示唆された。
論文 参考訳（メタデータ） (2022-09-24T07:22:09Z) - Ev-TTA: Test-Time Adaptation for Event-Based Object Recognition [7.814941658661939]
Ev-TTAは、イベントベースのオブジェクト認識のためのシンプルで効果的なテスト時間適応である。
我々の定式化は、入力表現に関係なくうまく適用でき、回帰タスクに拡張できる。
論文 参考訳（メタデータ） (2022-03-23T07:43:44Z) - Motion Deblurring with Real Events [50.441934496692376]
本稿では,イベントベースの動作を自己教師型で記述するエンド・ツー・エンドの学習フレームワークを提案する。
実世界のイベントは、データ不整合によるパフォーマンス劣化を軽減するために利用される。
論文 参考訳（メタデータ） (2021-09-28T13:11:44Z) - Worsening Perception: Real-time Degradation of Autonomous Vehicle
Perception Performance for Simulation of Adverse Weather Conditions [47.529411576737644]
本研究では,自律走行車両における簡易かつ軽量な画像強調システムの利用の可能性を検討する。
最小限の調整で、プロトタイプシステムは、カメラレンズ上の水滴と退色光条件の両方の効果を複製することができます。
論文 参考訳（メタデータ） (2021-03-03T23:49:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。