論文の概要: LIX: Implicitly Infusing Spatial Geometric Prior Knowledge into Visual Semantic Segmentation for Autonomous Driving

• arxiv url: http://arxiv.org/abs/2403.08215v1
• Date: Wed, 13 Mar 2024 03:24:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-14 15:50:00.430382
• Title: LIX: Implicitly Infusing Spatial Geometric Prior Knowledge into Visual Semantic Segmentation for Autonomous Driving
• Title（参考訳）: LIX:空間幾何学的事前知識を視覚に注入する 自律運転のためのセマンティックセグメンテーション
• Authors: Sicen Guo, Zhiyuan Wu, Qijun Chen, Ioannis Pitas and Rui Fan
• Abstract要約: 本稿では,ロジット蒸留と特徴蒸留の両面に新たな貢献をし,Learning to Infuse "X" (LIX) フレームワークを紹介した。 本稿では,2つの技術ノベルティを含む適応的な特徴蒸留アルゴリズムを開発した。
• 参考スコア（独自算出の注目度）: 26.319489913682574
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the impressive performance achieved by data-fusion networks with duplex encoders for visual semantic segmentation, they become ineffective when spatial geometric data are not available. Implicitly infusing the spatial geometric prior knowledge acquired by a duplex-encoder teacher model into a single-encoder student model is a practical, albeit less explored research avenue. This paper delves into this topic and resorts to knowledge distillation approaches to address this problem. We introduce the Learning to Infuse "X" (LIX) framework, with novel contributions in both logit distillation and feature distillation aspects. We present a mathematical proof that underscores the limitation of using a single fixed weight in decoupled knowledge distillation and introduce a logit-wise dynamic weight controller as a solution to this issue. Furthermore, we develop an adaptively-recalibrated feature distillation algorithm, including two technical novelties: feature recalibration via kernel regression and in-depth feature consistency quantification via centered kernel alignment. Extensive experiments conducted with intermediate-fusion and late-fusion networks across various public datasets provide both quantitative and qualitative evaluations, demonstrating the superior performance of our LIX framework when compared to other state-of-the-art approaches.
• Abstract（参考訳）: 視覚的セマンティックセグメンテーションのための2重エンコーダを用いたデータフュージョンネットワークによって達成された印象的な性能にもかかわらず、空間幾何学的データが利用できないと効果が低下する。 二重エンコーダの教師モデルによって得られた空間幾何学的事前知識を単一エンコーダの学生モデルに含めることは、実際的なものであり、研究の道程は未熟である。 本論文は,この問題を考察し,この問題に対処するための知識蒸留手法を取り入れたものである。 本稿では,ロジット蒸留と特徴蒸留の両面に新たな貢献をし,Learning to Infuse "X" (LIX) フレームワークを紹介した。 本稿では, 切り離された知識蒸留における1つの固定重みの限界を浮き彫りにした数学的証明と, この問題に対する解法としてロジットワイド・ダイナミックウェイト・コントローラを導入する。 さらに,カーネルレグレッションによる特徴補正と,中心となるカーネルアライメントによる機能整合性定量化という2つの技術革新を含む,適応的な特徴蒸留アルゴリズムを開発した。 様々な公開データセットにまたがる中間核融合および遅延核融合ネットワークを用いて行った広範囲な実験は、定量的および定性的な評価を提供し、他の最先端アプローチと比較してLIXフレームワークの優れた性能を示す。

関連論文リスト

• Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
  本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。 注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-09-20T07:41:47Z)
• Fully Differentiable Correlation-driven 2D/3D Registration for X-ray to CT Image Fusion [3.868072865207522]
  画像ベース剛性2D/3Dレジストレーションは, 蛍光ガイド下外科手術において重要な技術である。 デュアルブランチCNN変換器エンコーダを用いた完全微分型相関型ネットワークを提案する。 組込み情報に基づく低周波特徴と高周波特徴の分解に対して相関型損失を提案する。
  論文  参考訳（メタデータ） (2024-02-04T14:12:51Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Generative Model-based Feature Knowledge Distillation for Action Recognition [11.31068233536815]
  本稿では,軽量学生モデルの学習のための生成モデルを用いた,革新的な知識蒸留フレームワークについて紹介する。 提案手法の有効性は,多種多様な人気データセットに対する総合的な実験によって実証される。
  論文  参考訳（メタデータ） (2023-12-14T03:55:29Z)
• DUCK: Distance-based Unlearning via Centroid Kinematics [40.2428948628001]
  本研究は,Centroid Kinematics (DUCK) による遠隔学習(Distance-based Unlearning)と呼ばれる新しいアンラーニングアルゴリズムを導入する。 アルゴリズムの性能評価は、様々なベンチマークデータセットにまたがって行われる。 また,適応学習スコア (Adaptive Unlearning Score, AUS) と呼ばれる新しい指標を導入し, 対象データに対する未学習プロセスの有効性だけでなく, 元のモデルに対する性能損失の定量化も行った。
  論文  参考訳（メタデータ） (2023-12-04T17:10:25Z)
• Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
  分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。 本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:19:39Z)
• EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
  大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する 本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。 提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
  論文  参考訳（メタデータ） (2023-01-27T22:04:37Z)
• Point-to-Voxel Knowledge Distillation for LiDAR Semantic Segmentation [74.67594286008317]
  本稿では,大きな教師モデルから,LiDARセマンティックセグメンテーションのためのスリムな学生ネットワークへの知識の抽出の問題に対処する。 本稿では,点レベルとボクセルレベルの両方から隠れた知識を伝達するPVDを提案する。
  論文  参考訳（メタデータ） (2022-06-05T05:28:32Z)
• Bayesian Low-rank Matrix Completion with Dual-graph Embedding: Prior Analysis and Tuning-free Inference [16.82986562533071]
  本稿では,デュアルグラフ正規化に関連するハイパーパラメータを自動的に学習する新しいベイズ学習アルゴリズムを提案する。 行列の低ランク化を促進し、デュアルグラフ情報を同時に符号化する新規な事前設計を行う。 合成および実世界のデータセットを用いた実験は、提案した学習アルゴリズムの最先端性能を示す。
  論文  参考訳（メタデータ） (2022-03-18T16:38:30Z)
• Extendable and invertible manifold learning with geometry regularized autoencoders [9.742277703732187]
  データ探索における基本的な課題は、データ内の固有幾何学をキャプチャする単純化された低次元表現を抽出することである。 このタスクに対する一般的なアプローチは、多様体学習にカーネルメソッドを使用する。 オートエンコーダのボトルネックに幾何正規化項を組み込むことにより,両手法を統合する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-07-14T15:59:10Z)
• One-Shot Object Detection without Fine-Tuning [62.39210447209698]
  本稿では,第1ステージのMatching-FCOSネットワークと第2ステージのStructure-Aware Relation Moduleからなる2段階モデルを提案する。 また,検出性能を効果的に向上する新たなトレーニング戦略を提案する。 提案手法は,複数のデータセット上で一貫した最先端のワンショット性能を上回る。
  論文  参考訳（メタデータ） (2020-05-08T01:59:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。