論文の概要: Domain Adaptive Knowledge Distillation for Driving Scene Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2011.08007v2
• Date: Thu, 26 Nov 2020 13:02:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 05:29:14.491307
• Title: Domain Adaptive Knowledge Distillation for Driving Scene Semantic Segmentation
• Title（参考訳）: シーン意味セグメンテーション駆動のためのドメイン適応知識蒸留
• Authors: Divya Kothandaraman, Athira Nambiar, Anurag Mittal
• Abstract要約: 本稿では,限られたメモリを持つモデルにおいて,ドメイン適応知識を学習するための新しいアプローチを提案する。 異なるレベルの知識を効果的に消毒するための多段階蒸留戦略を提案する。 実物と実物の両方のシナリオについて、広範囲にわたる実験およびアブレーション研究を行う。
• 参考スコア（独自算出の注目度）: 9.203485172547824
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Practical autonomous driving systems face two crucial challenges: memory constraints and domain gap issues. In this paper, we present a novel approach to learn domain adaptive knowledge in models with limited memory, thus bestowing the model with the ability to deal with these issues in a comprehensive manner. We term this as "Domain Adaptive Knowledge Distillation" and address the same in the context of unsupervised domain-adaptive semantic segmentation by proposing a multi-level distillation strategy to effectively distil knowledge at different levels. Further, we introduce a novel cross entropy loss that leverages pseudo labels from the teacher. These pseudo teacher labels play a multifaceted role towards: (i) knowledge distillation from the teacher network to the student network & (ii) serving as a proxy for the ground truth for target domain images, where the problem is completely unsupervised. We introduce four paradigms for distilling domain adaptive knowledge and carry out extensive experiments and ablation studies on real-to-real as well as synthetic-to-real scenarios. Our experiments demonstrate the profound success of our proposed method.
• Abstract（参考訳）: 実用的な自動運転システムは、メモリ制約とドメインギャップの問題という2つの重要な課題に直面している。 本稿では,限られたメモリを持つモデルにおいて,ドメイン適応知識を学習するための新しい手法を提案する。 我々はこれを「ドメイン適応知識蒸留」と呼び、異なるレベルで知識を効果的に区別するために多段階蒸留戦略を提案することにより、教師なしドメイン適応意味セグメンテーションの文脈でこれに対処する。 さらに,教師の擬似ラベルを利用した新しいクロスエントロピー損失について紹介する。 これらの擬似教師ラベルは多面的な役割を担っている。 (i)教員ネットワークから学生ネットワークへの知識蒸留 (ii)問題は完全に管理されていない対象ドメインイメージの根拠真理のプロキシとして機能する。 ドメイン適応知識を蒸留する4つのパラダイムを導入し,実物間及び合成実物間シナリオに関する広範な実験およびアブレーション研究を行う。 提案手法の有効性を実証する実験を行った。

関連論文リスト

• Direct Distillation between Different Domains [97.39470334253163]
  異なるドメイン間の直接蒸留(4Ds)と呼ばれる新しいワンステージ手法を提案する。 まず、Fourier変換に基づいて学習可能なアダプタを設計し、ドメイン固有の知識からドメイン不変知識を分離する。 次に、価値あるドメイン不変知識を学生ネットワークに転送するための融合活性化機構を構築する。
  論文  参考訳（メタデータ） (2024-01-12T02:48:51Z)
• Transfer RL via the Undo Maps Formalism [29.798971172941627]
  ドメイン間で知識を伝達することは、機械学習における最も基本的な問題の1つである。 本稿では,対話型ドメイン間で知識を伝達するフレームワークTvDを提案する。 この目的が,模倣学習を想起させるポリシー更新スキームに結びつき,それを実装するための効率的なアルゴリズムを導出することを示す。
  論文  参考訳（メタデータ） (2022-11-26T03:44:28Z)
• Learning with Style: Continual Semantic Segmentation Across Tasks and Domains [25.137859989323537]
  ドメイン適応とクラス増分学習はドメインとタスクの変数を別々に扱います。 我々は、入力空間とラベル空間のセマンティックシフトを考慮して、問題の両面に一緒に取り組みます。 提案手法は,タスクシフトとドメインシフトの両方で連続的なセマンティックセグメンテーションを扱うのに不十分であることを示す既存手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-13T13:24:34Z)
• Learn what matters: cross-domain imitation learning with task-relevant embeddings [77.34726150561087]
  自律エージェントが、異なる環境や異なるエージェントなど、異なる領域のデモンストレーションからタスクを実行することを学習する方法について検討する。 我々は、追加のデモンストレーションやさらなるドメイン知識にアクセスすることなく、クロスドメインの模倣学習を可能にするスケーラブルなフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-24T21:56:58Z)
• Cross-domain Imitation from Observations [50.669343548588294]
  模擬学習は、専門家の行動を利用して訓練エージェントに適切な報酬関数を設計することの難しさを回避しようとする。 本稿では,専門家とエージェントMDPの相違点が存在する場合に,タスクを模倣する方法の問題について検討する。 このようなドメイン間の対応を学習するための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-05-20T21:08:25Z)
• Towards Recognizing New Semantic Concepts in New Visual Domains [9.701036831490768]
  我々は、これまで見えない視覚領域で機能し、新しいセマンティックな概念を認識できるディープアーキテクチャを設計することが重要であると論じている。 論文の第1部では、深層モデルが新しいビジュアルドメインに一般化できるように、異なるソリューションについて記述する。 第2部では、事前訓練された深層モデルの知識を、元のトレーニングセットにアクセスすることなく、新しい意味概念に拡張する方法を示す。
  論文  参考訳（メタデータ） (2020-12-16T16:23:40Z)
• A Review of Single-Source Deep Unsupervised Visual Domain Adaptation [81.07994783143533]
  大規模ラベル付きトレーニングデータセットにより、ディープニューラルネットワークは、幅広いベンチマークビジョンタスクを拡張できるようになった。 多くのアプリケーションにおいて、大量のラベル付きデータを取得するのは非常に高価で時間を要する。 限られたラベル付きトレーニングデータに対処するため、大規模ラベル付きソースドメインでトレーニングされたモデルを、疎ラベルまたは未ラベルのターゲットドメインに直接適用しようと試みている人も多い。
  論文  参考訳（メタデータ） (2020-09-01T00:06:50Z)
• Unsupervised Transfer Learning with Self-Supervised Remedy [60.315835711438936]
  手動ラベルのない新しいドメインにディープネットワークを一般化することは、ディープラーニングにとって難しい。 事前学習された知識は、学習されたドメインや新しいドメインについて強い仮定をしなければ、うまく伝達しない。 本研究は,ラベル付き関連ドメインからの知識伝達により,新規ドメインにおける未ラベル対象データの識別潜在空間を学習することを目的とする。
  論文  参考訳（メタデータ） (2020-06-08T16:42:17Z)
• Continuous Domain Adaptation with Variational Domain-Agnostic Feature Replay [78.7472257594881]
  非定常環境での学習は、機械学習における最大の課題の1つだ。 非定常性はタスクドリフトまたはドメインドリフトによって引き起こされる。 本稿では,3つのコンポーネントから構成されるアプローチである変分ドメインに依存しない特徴リプレイを提案する。
  論文  参考訳（メタデータ） (2020-03-09T19:50:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。