論文の概要: Ranking-aware Continual Learning for LiDAR Place Recognition
- arxiv url: http://arxiv.org/abs/2505.07198v1
- Date: Mon, 12 May 2025 03:06:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-13 20:21:49.249396
- Title: Ranking-aware Continual Learning for LiDAR Place Recognition
- Title(参考訳): LiDAR位置認識のためのランキングアウェア連続学習
- Authors: Xufei Wang, Gengxuan Tian, Junqiao Zhao, Siyue Tao, Qiwen Gu, Qiankun Yu, Tiantian Feng,
- Abstract要約: 本稿では,LPRのためのKDF(Knowledge Distillation and Fusion)を用いた連続学習フレームワークを提案する。
位置認識検索のランク付けプロセスにインスパイアされ、ランキング対応の知識蒸留損失を提示する。
また,LiDARの位置認識のための古モデルと新モデルの知識を統合するための知識融合モジュールも導入する。
- 参考スコア(独自算出の注目度): 7.769301524248828
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Place recognition plays a significant role in SLAM, robot navigation, and autonomous driving applications. Benefiting from deep learning, the performance of LiDAR place recognition (LPR) has been greatly improved. However, many existing learning-based LPR methods suffer from catastrophic forgetting, which severely harms the performance of LPR on previously trained places after training on a new environment. In this paper, we introduce a continual learning framework for LPR via Knowledge Distillation and Fusion (KDF) to alleviate forgetting. Inspired by the ranking process of place recognition retrieval, we present a ranking-aware knowledge distillation loss that encourages the network to preserve the high-level place recognition knowledge. We also introduce a knowledge fusion module to integrate the knowledge of old and new models for LiDAR place recognition. Our extensive experiments demonstrate that KDF can be applied to different networks to overcome catastrophic forgetting, surpassing the state-of-the-art methods in terms of mean Recall@1 and forgetting score.
- Abstract(参考訳): 場所認識はSLAM、ロボットナビゲーション、自律運転アプリケーションにおいて重要な役割を果たす。
深層学習により,LiDAR位置認識(LPR)の性能は大幅に向上した。
しかし, 既存の学習型LPR法の多くは, 破滅的な忘れ込みに悩まされており, 新しい環境下でのトレーニング後, 以前に訓練された場所でのLPRの性能を著しく損なう。
本稿では,LPRにおけるKDF(Knowledge Distillation and Fusion)を用いた連続学習フレームワークを提案する。
位置認識検索のランク付けプロセスにインスパイアされ、高いレベルの位置認識知識をネットワークが保持することを奨励するランキング認識知識蒸留損失を提示する。
また,LiDARの位置認識のための古モデルと新モデルの知識を統合するための知識融合モジュールも導入する。
我々の広範な実験は、KDFをさまざまなネットワークに適用し、破滅的な忘れ込みを克服し、Recall@1の平均値と忘れるスコアで最先端の手法を超越できることを実証している。
関連論文リスト
- Do LLMs Really Forget? Evaluating Unlearning with Knowledge Correlation and Confidence Awareness [44.37155305736321]
大規模言語モデル(LLM)における意図しない記憶の軽減を目的とした機械学習手法
実世界の知識の暗黙構造をより正確に捉えた知識未学習評価フレームワークを提案する。
私たちのフレームワークは、未学習のパフォーマンスをより現実的で厳格に評価します。
論文 参考訳(メタデータ) (2025-06-06T04:35:19Z) - Unveiling Knowledge Utilization Mechanisms in LLM-based Retrieval-Augmented Generation [77.10390725623125]
検索強化世代(RAG)は知識範囲の拡大に広く利用されている。
RAGは、オープンドメインの質問応答のような知識集約的なタスクを約束しているので、複雑なタスクやインテリジェントアシスタントへの幅広い応用は、その実用性をさらに進歩させてきた。
本稿では、RAGが内部(パラメトリック)知識と外部(検索)知識を統合する本質的なメカニズムを体系的に検討する。
論文 参考訳(メタデータ) (2025-05-17T13:13:13Z) - Effective LLM Knowledge Learning via Model Generalization [73.16975077770765]
大規模言語モデル(LLM)は、広範囲な世界知識を含む膨大なドキュメントに基づいて訓練されている。
自己回帰的な事前学習を通じて知識がどのように獲得されるかは、まだよく理解されていない。
本稿では,LLM知識学習の理解と改善に焦点をあてる。
論文 参考訳(メタデータ) (2025-03-05T17:56:20Z) - How Do LLMs Acquire New Knowledge? A Knowledge Circuits Perspective on Continual Pre-Training [92.88889953768455]
大きな言語モデル(LLM)は、どのようにして新しい知識を内部化するかを理解する上で、重大なギャップに直面します。
知識記憶と処理を容易にする計算サブグラフを同定する。
論文 参考訳(メタデータ) (2025-02-16T16:55:43Z) - Efficient Knowledge Injection in LLMs via Self-Distillation [50.24554628642021]
本稿では, 急速蒸留を利用して, 自由形式文書から新たな事実知識を内包する手法を提案する。
急速蒸留は標準的な微調整よりも優れており,RAGを超越することさえ可能であることを示す。
論文 参考訳(メタデータ) (2024-12-19T15:44:01Z) - Adaptive Rank, Reduced Forgetting: Knowledge Retention in Continual Learning Vision-Language Models with Dynamic Rank-Selective LoRA [19.982853959240497]
継続学習(CL)において、視覚言語モデル(VLM)の事前学習知識が維持可能か、あるいは強化可能かを検討する。
動的ランク選択ロラ(CoDyRA)に基づくVLMの普遍的かつ効率的な連続学習手法を提案する。
論文 参考訳(メタデータ) (2024-12-01T23:41:42Z) - Supportiveness-based Knowledge Rewriting for Retrieval-augmented Language Modeling [65.72918416258219]
支援性に基づく知識書き換え(SKR)は、LLM生成に本質的に最適化された堅牢でプラガブルな知識書き換えである。
知識支援に基づき、まず、リライターモデルのためのトレーニングデータキュレーション戦略を設計する。
次に、生成したリライトを最適な支持度に調整するために、直接選好最適化(DPO)アルゴリズムを導入する。
論文 参考訳(メタデータ) (2024-06-12T11:52:35Z) - ActiveRAG: Autonomously Knowledge Assimilation and Accommodation through Retrieval-Augmented Agents [49.30553350788524]
Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)が外部知識を活用することを可能にする。
既存のRAGモデルは、LLMを受動的情報受信者として扱うことが多い。
人間の学習行動を模倣するマルチエージェントフレームワークであるActiveRAGを紹介する。
論文 参考訳(メタデータ) (2024-02-21T06:04:53Z) - Forgetting before Learning: Utilizing Parametric Arithmetic for
Knowledge Updating in Large Language Models [53.52344131257681]
本稿では,F-Learningと呼ばれるファインチューニングのための新しいパラダイムを提案する。これはパラメトリック算術を用いて,古い知識の忘れと新しい知識の学習を容易にする。
2つの公開データセットによる実験結果から、提案したFラーニングは、完全な微調整とLoRA微調整の両方の知識更新性能を向上させることが明らかに示されている。
論文 参考訳(メタデータ) (2023-11-14T09:12:40Z) - CCL: Continual Contrastive Learning for LiDAR Place Recognition [5.025654873456756]
現在のディープラーニングベースの手法は、一般化能力の低下と破滅的な忘れ込みに悩まされている。
破滅的な忘れの問題に対処するために,CCLという連続的なコントラスト学習手法を提案する。
本手法は,最先端の継続的学習法よりも優れた環境下での異なる手法の性能を継続的に向上させる。
論文 参考訳(メタデータ) (2023-03-24T12:14:54Z) - Learning with Recoverable Forgetting [77.56338597012927]
学習wIth Recoverable Forgettingは、タスクまたはサンプル固有の知識の除去とリカバリを明示的に処理する。
具体的には、LIRFは2つの革新的なスキーム、すなわち知識預金と離脱をもたらす。
いくつかのデータセットで実験を行い、提案したLIRF戦略が一般化能力を満足させる結果をもたらすことを示す。
論文 参考訳(メタデータ) (2022-07-17T16:42:31Z) - Class-Incremental Continual Learning into the eXtended DER-verse [17.90483695137098]
この研究は、我々の以前の提案であるDark Experience Replay(DER)の落とし穴を評価し、克服することを目的としています。
過去の記憶を常に書き直し、将来への期待を設定する方法に刺激されて、過去のデータに関する新しい情報を歓迎するために、リプレイ記憶を改訂する能力を備えたモデルを作りました。
これらの戦略の適用により、顕著な改善がもたらされることを示す。
論文 参考訳(メタデータ) (2022-01-03T17:14:30Z) - Place recognition survey: An update on deep learning approaches [0.6352264764099531]
本稿では,場所認識における最近の手法,特に深層学習に基づく手法について検討する。
この研究の貢献は2つある: 位置認識に適用された3D LiDARやRADARといった最近のセンサーを調査する。
この調査は、さまざまなDLベースの作業について検討し、各フレームワークの要約を提示します。
論文 参考訳(メタデータ) (2021-06-19T09:17:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。