論文の概要: Energy-based Domain-Adaptive Segmentation with Depth Guidance
- arxiv url: http://arxiv.org/abs/2402.03795v1
- Date: Tue, 6 Feb 2024 08:27:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 15:57:36.003328
- Title: Energy-based Domain-Adaptive Segmentation with Depth Guidance
- Title（参考訳）: 深度誘導によるエネルギーベースドメイン適応セグメンテーション
- Authors: Jinjing Zhu, Zhedong Hu, Tae-Kyun Kim, and Lin Wang
- Abstract要約: SMART(croSs doMain semAntic segmentation based on eneRgy esTimation)と呼ばれる新しいUDAフレームワークを提案する。
本フレームワークには,エネルギーベース機能融合(EB2F)とエネルギーベース信頼性融合評価(RFA)モジュールの2つの新しいコンポーネントが組み込まれている。
提案手法は,従来の研究よりも大きな性能向上を実現し,エネルギーベースの学習手法の有効性を検証した。
- 参考スコア（独自算出の注目度）: 28.91033049685918
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent endeavors have been made to leverage self-supervised depth estimation
as guidance in unsupervised domain adaptation (UDA) for semantic segmentation.
Prior arts, however, overlook the discrepancy between semantic and depth
features, as well as the reliability of feature fusion, thus leading to
suboptimal segmentation performance. To address this issue, we propose a novel
UDA framework called SMART (croSs doMain semAntic segmentation based on eneRgy
esTimation) that utilizes Energy-Based Models (EBMs) to obtain task-adaptive
features and achieve reliable feature fusion for semantic segmentation with
self-supervised depth estimates. Our framework incorporates two novel
components: energy-based feature fusion (EB2F) and energy-based reliable fusion
Assessment (RFA) modules. The EB2F module produces task-adaptive semantic and
depth features by explicitly measuring and reducing their discrepancy using
Hopfield energy for better feature fusion. The RFA module evaluates the
reliability of the feature fusion using an energy score to improve the
effectiveness of depth guidance. Extensive experiments on two datasets
demonstrate that our method achieves significant performance gains over prior
works, validating the effectiveness of our energy-based learning approach.
- Abstract（参考訳）: セマンティックセグメンテーションのための非教師なしドメイン適応(UDA)のガイダンスとして,自己教師付き深度推定を活用する試みが近年行われている。
しかし、先行芸術は、意味的特徴と深さ的特徴の相違、および特徴融合の信頼性を軽視し、したがって準最適セグメンテーション性能に繋がる。
本稿では,エネルギーベースモデル(ebms)を用いたタスク適応的特徴の獲得と,自己教師付き深さ推定によるセマンティクスセグメンテーションのための信頼性の高い機能融合を実現する,smart(cross domain semantic segmentation based energy estimation)と呼ばれる新しいudaフレームワークを提案する。
本フレームワークには,エネルギーベース機能融合(EB2F)とエネルギーベース信頼性融合評価(RFA)モジュールの2つの新しいコンポーネントが組み込まれている。
EB2Fモジュールは、機能融合を改善するためにホップフィールドエネルギーを用いて、その相違を明示的に測定し、低減することにより、タスク適応的な意味と深さの特徴を生成する。
RFAモジュールは、エネルギースコアを用いて特徴融合の信頼性を評価し、深さ誘導の有効性を向上させる。
2つのデータセットに対する大規模な実験により,本手法は先行研究よりも大きな性能向上を達成し,エネルギーベース学習手法の有効性を検証した。
関連論文リスト
- Feature Fusion Transferability Aware Transformer for Unsupervised Domain Adaptation [1.9035011984138845]
Unsupervised domain adapt (UDA) は、ラベル付きソースドメインから学んだ知識を活用し、ラベルなしターゲットドメインのパフォーマンスを改善することを目的としている。
近年の研究では、視覚変換器(ViT)の応用が期待されている。
本稿では,UDAタスクにおけるVT性能を向上させるために,FFTAT(Feature Fusion Transferability Aware Transformer)を提案する。
論文 参考訳（メタデータ） (2024-11-10T22:23:12Z) - A Novel Energy based Model Mechanism for Multi-modal Aspect-Based
Sentiment Analysis [85.77557381023617]
マルチモーダル感情分析のための新しいフレームワークDQPSAを提案する。
PDQモジュールは、プロンプトをビジュアルクエリと言語クエリの両方として使用し、プロンプト対応の視覚情報を抽出する。
EPEモジュールはエネルギーベースモデルの観点から解析対象の境界ペアリングをモデル化する。
論文 参考訳（メタデータ） (2023-12-13T12:00:46Z) - Guided Focal Stack Refinement Network for Light Field Salient Object
Detection [20.42257631830276]
光フィールド・サリエント・オブジェクト検出(SOD)は、光フィールドデータの豊かさに起因する新たな研究方向である。
本稿では,マルチモーダルな特徴を利用して焦点スタックをガイド的に洗練し,新たな焦点スタック改善ネットワークであるGFRNetを提案する。
4つのベンチマークデータセットの実験結果は、GFRNetモデルが12の最先端モデルに対して優れていることを示している。
論文 参考訳（メタデータ） (2023-05-09T08:32:06Z) - FemtoDet: An Object Detection Baseline for Energy Versus Performance
Tradeoffs [27.006082622843653]
常にオンの監視カメラのような畳み込みニューラルネットワークの視覚応用は、エネルギー制約にとって重要である。
本稿では,2つの視点からエネルギーと性能のトレードオフに到達するための検出器を設計し,ベースラインとして機能することを目的とする。
論文 参考訳（メタデータ） (2023-01-17T06:24:08Z) - Transformer-based Context Condensation for Boosting Feature Pyramids in
Object Detection [77.50110439560152]
現在の物体検出器は、通常マルチレベル特徴融合(MFF)のための特徴ピラミッド(FP)モジュールを持つ。
我々は,既存のFPがより優れたMFF結果を提供するのに役立つ,新しい,効率的なコンテキストモデリング機構を提案する。
特に,包括的文脈を2種類の表現に分解・凝縮して高効率化を図っている。
論文 参考訳（メタデータ） (2022-07-14T01:45:03Z) - Semantics-Depth-Symbiosis: Deeply Coupled Semi-Supervised Learning of
Semantics and Depth [83.94528876742096]
我々は,意味的セグメンテーションと深さ推定という2つの密なタスクのMTL問題に取り組み,クロスチャネル注意モジュール(CCAM)と呼ばれる新しいアテンションモジュールを提案する。
次に,AffineMixと呼ばれる予測深度を用いた意味分節タスクのための新しいデータ拡張と,ColorAugと呼ばれる予測セマンティクスを用いた単純な深度増分を定式化する。
最後に,提案手法の性能向上をCityscapesデータセットで検証し,深度と意味に基づく半教師付きジョイントモデルにおける最先端結果の実現を支援する。
論文 参考訳（メタデータ） (2022-06-21T17:40:55Z) - Rectified Max-Value Entropy Search for Bayesian Optimization [54.26984662139516]
我々は、相互情報の概念に基づいて、修正されたMES取得関数を開発する。
その結果、RMESは、いくつかの合成関数ベンチマークと実世界の最適化問題において、MESよりも一貫した改善を示している。
論文 参考訳（メタデータ） (2022-02-28T08:11:02Z) - EPMF: Efficient Perception-aware Multi-sensor Fusion for 3D Semantic Segmentation [62.210091681352914]
自律運転やロボティクスなど,多くのアプリケーションを対象とした3次元セマンティックセマンティックセグメンテーションのためのマルチセンサフュージョンについて検討する。
本研究では,知覚認識型マルチセンサフュージョン(PMF)と呼ばれる協調融合方式について検討する。
本稿では,2つのモードから特徴を分離して抽出する2ストリームネットワークを提案する。
論文 参考訳（メタデータ） (2021-06-21T10:47:26Z) - AFD-Net: Adaptive Fully-Dual Network for Few-Shot Object Detection [8.39479809973967]
Few-shot Object Detection (FSOD) は、未確認の物体に迅速に適応できる検出器の学習を目的としている。
既存の方法では、共有コンポーネントを用いて分類と局所化のサブタスクを実行することで、この問題を解決している。
本稿では,2つのサブタスクの明示的な分解を考慮し,両者の情報を活用して特徴表現の強化を図ることを提案する。
論文 参考訳（メタデータ） (2020-11-30T10:21:32Z) - Multi-View Adaptive Fusion Network for 3D Object Detection [14.506796247331584]
LiDAR-カメラ融合に基づく3Dオブジェクト検出は、自動運転の新たな研究テーマになりつつある。
本稿では,LiDARの鳥眼ビュー,LiDARレンジビュー,カメラビューイメージを3Dオブジェクト検出の入力として利用する,単一ステージ多視点融合フレームワークを提案する。
これら2つのコンポーネントを統合するために,MVAF-Netというエンドツーエンドの学習ネットワークを設計する。
論文 参考訳（メタデータ） (2020-11-02T00:06:01Z) - iffDetector: Inference-aware Feature Filtering for Object Detection [70.8678270164057]
Inference-aware Feature Filtering (IFF)モジュールを導入し、現代の検出器と簡単に組み合わせることができる。
IFFは、畳み込み機能を強化するためにハイレベルなセマンティクスを活用することでクローズドループ最適化を行う。
IFFはCNNベースの物体検出器とプラグアンドプレイ方式で融合でき、計算コストのオーバーヘッドは無視できる。
論文 参考訳（メタデータ） (2020-06-23T02:57:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。