論文の概要: CoDEPS: Online Continual Learning for Depth Estimation and Panoptic Segmentation

• arxiv url: http://arxiv.org/abs/2303.10147v2
• Date: Wed, 31 May 2023 09:05:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 02:50:13.356387
• Title: CoDEPS: Online Continual Learning for Depth Estimation and Panoptic Segmentation
• Title（参考訳）: CoDEPS: 深度推定とパノプティックセグメンテーションのためのオンライン連続学習
• Authors: Niclas V\"odisch, K\"ursat Petek, Wolfram Burgard, Abhinav Valada
• Abstract要約: 深層学習に基づく単眼深度推定とパノプティックセグメンテーションのための連続学習をオンラインで導入する。 そこで本研究では,パノプティカルセグメンテーションに適応する擬似ラベルを生成するための新しいドメイン混合手法を提案する。 我々は,固定サイズのリプレイバッファを構築するためのサンプリング戦略を活用することで,ロボットシステムの限られたストレージ容量に明示的に対処する。
• 参考スコア（独自算出の注目度）: 28.782231314289174
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Operating a robot in the open world requires a high level of robustness with respect to previously unseen environments. Optimally, the robot is able to adapt by itself to new conditions without human supervision, e.g., automatically adjusting its perception system to changing lighting conditions. In this work, we address the task of continual learning for deep learning-based monocular depth estimation and panoptic segmentation in new environments in an online manner. We introduce CoDEPS to perform continual learning involving multiple real-world domains while mitigating catastrophic forgetting by leveraging experience replay. In particular, we propose a novel domain-mixing strategy to generate pseudo-labels to adapt panoptic segmentation. Furthermore, we explicitly address the limited storage capacity of robotic systems by leveraging sampling strategies for constructing a fixed-size replay buffer based on rare semantic class sampling and image diversity. We perform extensive evaluations of CoDEPS on various real-world datasets demonstrating that it successfully adapts to unseen environments without sacrificing performance on previous domains while achieving state-of-the-art results. The code of our work is publicly available at http://codeps.cs.uni-freiburg.de.
• Abstract（参考訳）: オープンな世界でロボットを運用するには、これまで目に見えない環境に対して高いレベルの堅牢性が必要である。 最適に、ロボットは人間の監督なしに新しい条件に適応できる。例えば、その知覚システムを照明条件の変更に自動的に調整する。 本研究では,新しい環境下での,深層学習に基づく単眼深度推定とパンオプティカルセグメンテーションのための連続学習の課題をオンライン方式で解決する。 複数の現実世界のドメインを包含する連続学習を実現するために,我々は,経験リプレイを活用することで破滅的な忘れを軽減しつつ,CoDEPSを導入している。 特に,パンオプティカルセグメンテーションを適応させるために擬似ラベルを生成する新しいドメイン混合戦略を提案する。 さらに,珍しいセマンティッククラスサンプリングと画像の多様性に基づいて,固定サイズのリプレイバッファを構築するためのサンプリング戦略を活用することで,ロボットシステムの限られたストレージ容量に対処する。 我々は,さまざまな実世界のデータセット上でCoDEPSを広範囲に評価し,従来のドメインの性能を犠牲にすることなく,現状の成果を達成できることを示す。 私たちの作業のコードはhttp://codeps.cs.uni-freiburg.deで公開されています。

関連論文リスト

• ReALFRED: An Embodied Instruction Following Benchmark in Photo-Realistic Environments [13.988804095409133]
  本研究では,実世界のシーン,オブジェクト,部屋のレイアウトを取り入れたReALFREDベンチマークを提案する。 具体的には、視覚領域のギャップを小さくした環境空間を更新したALFREDベンチマークを拡張する。 ReALFREDでは、以前作られたALFREDベンチマークのメソッドを分析し、すべてのメトリクスで一貫して低いパフォーマンスが得られることを観察する。
  論文  参考訳（メタデータ） (2024-07-26T07:00:27Z)
• ECLIPSE: Efficient Continual Learning in Panoptic Segmentation with Visual Prompt Tuning [54.68180752416519]
  パノプティカルセグメンテーション(英: Panoptic segmentation)は、コンピュータビジョンの最先端タスクである。 ECLIPSE と呼ばれる Visual Prompt Tuning をベースとした,新規で効率的なパノプティカルセグメンテーション手法を提案する。 我々のアプローチは、基本モデルのパラメータを凍結し、小さなプロンプト埋め込みだけを微調整することであり、破滅的な忘れ物と塑性の両方に対処する。
  論文  参考訳（メタデータ） (2024-03-29T11:31:12Z)
• SCIM: Simultaneous Clustering, Inference, and Mapping for Open-World Semantic Scene Understanding [34.19666841489646]
  本研究では,ロボットが未知の環境を探索する際に,新しいセマンティッククラスを自律的に発見し,既知のクラスの精度を向上させる方法を示す。 セグメンテーションモデルを更新するための自己教師付き学習信号を生成するために,マッピングとクラスタリングのための一般的なフレームワークを開発する。 特に、デプロイ中にクラスタリングパラメータをどのように最適化するかを示し、複数の観測モダリティの融合が、以前の作業と比べて新しいオブジェクト発見を改善することを示す。
  論文  参考訳（メタデータ） (2022-06-21T18:41:51Z)
• Continual Predictive Learning from Videos [100.27176974654559]
  本稿では,ビデオ予測の文脈において,新たな連続学習問題について検討する。 本稿では,連続予測学習(Continuousal predictive Learning, CPL)アプローチを提案する。 我々はRoboNetとKTHに基づく2つの新しいベンチマークを構築し、異なるタスクが異なる物理ロボット環境や人間の行動に対応するようにした。
  論文  参考訳（メタデータ） (2022-04-12T08:32:26Z)
• Stronger Generalization Guarantees for Robot Learning by Combining Generative Models and Real-World Data [5.935761705025763]
  実世界の環境の有限データセットを活用することで、一般化保証を提供するためのフレームワークを提供する。 非線形・ハイブリッド力学とリッチ・センシング・モダリティを持つ2つのシミュレーションシステムに対するアプローチを実証する。
  論文  参考訳（メタデータ） (2021-11-16T20:13:10Z)
• Evaluating Continual Learning Algorithms by Generating 3D Virtual Environments [66.83839051693695]
  連続学習とは、人間や動物が特定の環境で徐々に学習する能力である。 本稿では3次元仮想環境の最近の進歩を活用して,フォトリアリスティックな外観を持つ潜在的に長寿命な動的シーンの自動生成にアプローチすることを提案する。 本論文の新たな要素は、シーンがパラメトリックな方法で記述され、エージェントが知覚する入力ストリームの視覚的複雑さを完全に制御できることである。
  論文  参考訳（メタデータ） (2021-09-16T10:37:21Z)
• Bayesian Embeddings for Few-Shot Open World Recognition [60.39866770427436]
  埋め込みベースの数ショット学習アルゴリズムをオープンワールド認識設定に拡張する。 当社のフレームワークは,MiniImageNetとTieredImageNetによる数ショット学習データセットのオープンワールド拡張をベンチマークする。
  論文  参考訳（メタデータ） (2021-07-29T00:38:47Z)
• Towards Real-World Category-level Articulation Pose Estimation [46.813224754603866]
  カテゴリレベルの調音量推定(CAPE)法は、各カテゴリの固定キネマティック構造を有する単一インスタンス設定の下で研究される。 これらの制約を考慮して,この問題を実環境環境に適用し,cape-real(caper)タスク設定を提案する。 この設定により、意味圏内の様々なキネマティック構造が可能となり、複数のインスタンスが現実世界の観察において共存する。
  論文  参考訳（メタデータ） (2021-05-07T13:41:16Z)
• Learning to Continuously Optimize Wireless Resource In Episodically Dynamic Environment [55.91291559442884]
  この研究は、データ駆動型手法が動的環境で継続的に学習し、最適化できる方法論を開発する。 本稿では,無線システム学習のモデリングプロセスに連続学習の概念を構築することを提案する。 我々の設計は、異なるデータサンプル間で「一定の公正性を保証する」新しいmin-maxの定式化に基づいている。
  論文  参考訳（メタデータ） (2020-11-16T08:24:34Z)
• Unsupervised Domain Adaptation in Person re-ID via k-Reciprocal Clustering and Large-Scale Heterogeneous Environment Synthesis [76.46004354572956]
  個人再識別のための教師なし領域適応手法を提案する。 実験結果から,ktCUDA法とSHRED法は,再同定性能において,+5.7 mAPの平均的改善を実現することがわかった。
  論文  参考訳（メタデータ） (2020-01-14T17:43:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。