論文の概要: DistilVPR: Cross-Modal Knowledge Distillation for Visual Place Recognition

• arxiv url: http://arxiv.org/abs/2312.10616v1
• Date: Sun, 17 Dec 2023 05:59:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-19 15:32:04.042552
• Title: DistilVPR: Cross-Modal Knowledge Distillation for Visual Place Recognition
• Title（参考訳）: distilvpr : 視覚位置認識のためのクロスモーダル知識蒸留
• Authors: Sijie Wang, Rui She, Qiyu Kang, Xingchao Jian, Kai Zhao, Yang Song, Wee Peng Tay
• Abstract要約: DistilVPRは視覚的位置認識のための新しい蒸留パイプラインである。 本稿では,教師と学生のニューラルネットワークにおいて,自己エージェントやクロスエージェントを含む複数のエージェントの機能的関係を活用することを提案する。 実験により, 提案したパイプラインは, 他の蒸留ベースラインと比較して, 最先端の性能を達成できることが実証された。
• 参考スコア（独自算出の注目度）: 27.742693995915808
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The utilization of multi-modal sensor data in visual place recognition (VPR) has demonstrated enhanced performance compared to single-modal counterparts. Nonetheless, integrating additional sensors comes with elevated costs and may not be feasible for systems that demand lightweight operation, thereby impacting the practical deployment of VPR. To address this issue, we resort to knowledge distillation, which empowers single-modal students to learn from cross-modal teachers without introducing additional sensors during inference. Despite the notable advancements achieved by current distillation approaches, the exploration of feature relationships remains an under-explored area. In order to tackle the challenge of cross-modal distillation in VPR, we present DistilVPR, a novel distillation pipeline for VPR. We propose leveraging feature relationships from multiple agents, including self-agents and cross-agents for teacher and student neural networks. Furthermore, we integrate various manifolds, characterized by different space curvatures for exploring feature relationships. This approach enhances the diversity of feature relationships, including Euclidean, spherical, and hyperbolic relationship modules, thereby enhancing the overall representational capacity. The experiments demonstrate that our proposed pipeline achieves state-of-the-art performance compared to other distillation baselines. We also conduct necessary ablation studies to show design effectiveness. The code is released at: https://github.com/sijieaaa/DistilVPR
• Abstract（参考訳）: 視覚的位置認識(VPR)におけるマルチモーダルセンサデータの利用は,単一モーダルセンサに比べて高い性能を示した。 それでも、追加のセンサーの統合はコストの増大を伴うため、軽量な運用を必要とするシステムでは実現不可能であり、vprの実用的な展開に影響を与える可能性がある。 この問題に対処するために,単モードの学生が推論中に追加のセンサーを導入することなく,クロスモーダルの教師から学ぶことができる知識蒸留を利用する。 現在の蒸留アプローチによる顕著な進歩にもかかわらず、特徴関係の探求は未開発の領域である。 VPRにおけるクロスモーダル蒸留の課題に対処するために,新しいVPR蒸留パイプラインであるDistilVPRを提案する。 本稿では,教師と学生のニューラルネットワークにおいて,自己エージェントやクロスエージェントを含む複数のエージェントの機能的関係を活用することを提案する。 さらに、特徴関係を探索するための異なる空間曲率によって特徴づけられる様々な多様体を統合する。 このアプローチはユークリッド、球状、双曲的関係加群を含む特徴関係の多様性を高め、全体的な表現能力を高める。 実験により,提案パイプラインは他の蒸留基線と比較して最先端の性能が得られることを確認した。 また,設計効果を示すためのアブレーション研究も行う。 コードは、https://github.com/sijieaaa/DistilVPRでリリースされる。

関連論文リスト

• Deep Boosting Learning: A Brand-new Cooperative Approach for Image-Text Matching [53.05954114863596]
  画像テキストマッチングのための新しいDeep Boosting Learning (DBL)アルゴリズムを提案する。 アンカーブランチは、まずデータプロパティに関する洞察を提供するために訓練される。 ターゲットブランチは、一致したサンプルと未一致のサンプルとの相対距離をさらに拡大するために、より適応的なマージン制約を同時に課される。
  論文  参考訳（メタデータ） (2024-04-28T08:44:28Z)
• TSCM: A Teacher-Student Model for Vision Place Recognition Using Cross-Metric Knowledge Distillation [6.856317526681759]
  視覚的位置認識は、移動ロボットの自律的な探索とナビゲーションにおいて重要な役割を果たす。 既存の手法では、強力だが大規模なネットワークを利用することでこれを克服している。 本稿では,TSCMと呼ばれる高性能な教師と軽量な学生蒸留フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-02T02:29:41Z)
• Accelerating exploration and representation learning with offline pre-training [52.6912479800592]
  1つのオフラインデータセットから2つの異なるモデルを別々に学習することで、探索と表現の学習を改善することができることを示す。 ノイズコントラスト推定と補助報酬モデルを用いて状態表現を学習することで、挑戦的なNetHackベンチマークのサンプル効率を大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2023-03-31T18:03:30Z)
• EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
  大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する 本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。 提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
  論文  参考訳（メタデータ） (2023-01-27T22:04:37Z)
• LightVessel: Exploring Lightweight Coronary Artery Vessel Segmentation via Similarity Knowledge Distillation [6.544757635738911]
  冠状動脈血管分節の簡易化のための類似知識蒸留フレームワークである textbfLightVessel を提案する。 セマンティックシフトモデリングのためのFSDモジュール; 学生モデルによりピクセル単位のセマンティック情報を学ぶよう促すASDモジュール。 臨床冠動脈血管データセットを用いて行った実験は、LightVesselが様々な知識蒸留よりも優れていることを示した。
  論文  参考訳（メタデータ） (2022-11-02T05:49:19Z)
• Exploring Inter-Channel Correlation for Diversity-preserved KnowledgeDistillation [91.56643684860062]
  ICKD (Inter-Channel correlation for Knowledge Distillation) を開発した。 ICKDは教師ネットワークにおける特徴空間の内在分布と十分な多様性特性をキャプチャする。 我々は,ノウルエッジ蒸留に基づく最初の手法であるResNet18は,ImageNet分類におけるTop-1の精度を72%以上向上させる。
  論文  参考訳（メタデータ） (2022-02-08T07:01:56Z)
• Semantics-aware Adaptive Knowledge Distillation for Sensor-to-Vision Action Recognition [131.6328804788164]
  本稿では,視覚・センサ・モダリティ(動画)における行動認識を強化するためのフレームワーク,Semantics-Aware Adaptive Knowledge Distillation Networks (SAKDN)を提案する。 SAKDNは複数のウェアラブルセンサーを教師のモダリティとして使用し、RGB動画を学生のモダリティとして使用している。
  論文  参考訳（メタデータ） (2020-09-01T03:38:31Z)
• Differentiable Feature Aggregation Search for Knowledge Distillation [47.94874193183427]
  単教師蒸留フレームワークにおける多教師蒸留を模倣する特徴集約について紹介する。 DFAは、ニューラルネットワーク探索においてDARTSによって動機付けられた2段階の微分可能特徴集合探索法である。 実験の結果,DFAはCIFAR-100およびCINIC-10データセットの既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-08-02T15:42:29Z)
• Learning Multiplicative Interactions with Bayesian Neural Networks for Visual-Inertial Odometry [44.209301916028124]
  本稿では,視覚慣性オドメトリー(VIO)のためのエンドツーエンドマルチモーダル学習手法を提案する。 センサ劣化シナリオに照らして、センサの相補性を利用するように設計されている。
  論文  参考訳（メタデータ） (2020-07-15T11:39:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。