論文の概要: Context-Based Visual-Language Place Recognition

• arxiv url: http://arxiv.org/abs/2410.19341v1
• Date: Fri, 25 Oct 2024 06:59:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-28 13:35:51.698942
• Title: Context-Based Visual-Language Place Recognition
• Title（参考訳）: 文脈に基づく視覚空間認識
• Authors: Soojin Woo, Seong-Woo Kim,
• Abstract要約: 視覚に基づく位置認識に対する一般的なアプローチは、低レベルの視覚的特徴に依存している。 シーン変更に対して堅牢で,追加のトレーニングを必要としない,新しいVPRアプローチを導入する。 ゼロショット・言語駆動セマンティックセグメンテーションモデルを用いて画素レベルの埋め込みを抽出し,セマンティックイメージ記述子を構築する。
• 参考スコア（独自算出の注目度）: 4.737519767218666
• License:
• Abstract: In vision-based robot localization and SLAM, Visual Place Recognition (VPR) is essential. This paper addresses the problem of VPR, which involves accurately recognizing the location corresponding to a given query image. A popular approach to vision-based place recognition relies on low-level visual features. Despite significant progress in recent years, place recognition based on low-level visual features is challenging when there are changes in scene appearance. To address this, end-to-end training approaches have been proposed to overcome the limitations of hand-crafted features. However, these approaches still fail under drastic changes and require large amounts of labeled data to train models, presenting a significant limitation. Methods that leverage high-level semantic information, such as objects or categories, have been proposed to handle variations in appearance. In this paper, we introduce a novel VPR approach that remains robust to scene changes and does not require additional training. Our method constructs semantic image descriptors by extracting pixel-level embeddings using a zero-shot, language-driven semantic segmentation model. We validate our approach in challenging place recognition scenarios using real-world public dataset. The experiments demonstrate that our method outperforms non-learned image representation techniques and off-the-shelf convolutional neural network (CNN) descriptors. Our code is available at https: //github.com/woo-soojin/context-based-vlpr.
• Abstract（参考訳）: 視覚に基づくロボットのローカライゼーションとSLAMでは、視覚的位置認識(VPR)が不可欠である。 本稿では,与えられたクエリ画像に対応する位置を正確に認識するVPRの問題に対処する。 視覚に基づく位置認識に対する一般的なアプローチは、低レベルの視覚的特徴に依存している。 近年の進歩にもかかわらず、シーンの外観の変化がある場合、低レベルの視覚的特徴に基づく位置認識は困難である。 これを解決するために、手作り機能の限界を克服するために、エンドツーエンドのトレーニングアプローチが提案されている。 しかし、これらのアプローチは依然として急激な変更の下で失敗し、モデルのトレーニングには大量のラベル付きデータを必要とするため、大きな制限が生じる。 オブジェクトやカテゴリなどの高レベルな意味情報を活用する手法は、外観のバリエーションを扱うために提案されている。 本稿では,シーン変更に対して頑健であり,追加の訓練を必要としない新しいVPR手法を提案する。 ゼロショット・言語駆動セマンティックセグメンテーションモデルを用いて画素レベルの埋め込みを抽出し,セマンティックイメージ記述子を構築する。 実世界の公開データセットを用いて、場所認識に挑戦するシナリオにおいて、我々のアプローチを検証する。 実験により,本手法は,非学習画像表現技術や既製の畳み込みニューラルネットワーク(CNN)デクリプタよりも優れていることが示された。 私たちのコードはhttps: //github.com/woo-soojin/context-based-vlprで利用可能です。

関連論文リスト

• Locality Alignment Improves Vision-Language Models [55.275235524659905]
  近年では視覚言語モデル (VLM) が普及しているが、その多くが基本的な空間推論の誤りに悩まされている。 局所性アライメント(Locality alignment)と呼ばれる,視覚障害者のための新しい学習段階を提案する。 局所性に整合したバックボーンは、様々なベンチマークでパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2024-10-14T21:01:01Z)
• CricaVPR: Cross-image Correlation-aware Representation Learning for Visual Place Recognition [73.51329037954866]
  視覚的位置認識のための画像間相関認識を用いたロバストなグローバル表現手法を提案する。 本手法では,バッチ内の複数の画像の相関にアテンション機構を用いる。 本手法は,訓練時間を大幅に短縮し,最先端の手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-02-29T15:05:11Z)
• Deep Semantic-Visual Alignment for Zero-Shot Remote Sensing Image Scene Classification [26.340737217001497]
  ゼロショット学習(ZSL)は、トレーニング中に見えない新しいクラスを識別する。 以前のZSLモデルは、主に言語モデルから抽出された手作業でラベル付けされた属性や単語の埋め込みに依存し、見受けられるクラスから新しいクラスに知識を伝達する。 本稿では,視覚的に検出可能な属性を自動的に収集することを提案する。属性と画像のセマンティック・視覚的類似性を記述することで,クラスごとの属性を予測する。
  論文  参考訳（メタデータ） (2024-02-03T09:18:49Z)
• Location-Aware Self-Supervised Transformers [74.76585889813207]
  画像部品の相対的な位置を予測し,セマンティックセグメンテーションのためのネットワークを事前訓練する。 参照パッチのサブセットを問合せのサブセットにマスキングすることで,タスクの難しさを制御します。 実験により,この位置認識事前学習が,いくつかの難解なセマンティックセグメンテーションベンチマークに競合する表現をもたらすことが示された。
  論文  参考訳（メタデータ） (2022-12-05T16:24:29Z)
• Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision [57.031588264841]
  高価なフィルタリングや後処理のステップを使わずに得られる10億以上の画像アルトテキストペアのノイズの多いデータセットを活用します。 単純なデュアルエンコーダアーキテクチャは、画像とテキストペアの視覚的および言語的表現を、対照的な損失を使って整列させることを学ぶ。 コーパスのスケールはノイズを補うことができ、そのような単純な学習方式であっても最先端の表現に繋がることを示す。
  論文  参考訳（メタデータ） (2021-02-11T10:08:12Z)
• City-Scale Visual Place Recognition with Deep Local Features Based on Multi-Scale Ordered VLAD Pooling [5.274399407597545]
  本稿では,コンテンツに基づく画像検索に基づいて,都市規模で位置認識を行うシステムを提案する。 まず,視覚的位置認識の包括的分析を行い,その課題を概観する。 次に,画像表現ベクトルに空間情報を埋め込むために,畳み込み型ニューラルネットワークアクティベーションを用いた単純なプーリング手法を提案する。
  論文  参考訳（メタデータ） (2020-09-19T15:21:59Z)
• Region Comparison Network for Interpretable Few-shot Image Classification [97.97902360117368]
  新しいクラスのモデルをトレーニングするために、ラベル付きサンプルの限られた数だけを効果的に活用するための画像分類が提案されている。 本研究では,領域比較ネットワーク (RCN) と呼ばれる距離学習に基づく手法を提案する。 また,タスクのレベルからカテゴリへの解釈可能性の一般化も提案する。
  論文  参考訳（メタデータ） (2020-09-08T07:29:05Z)
• Complementing Representation Deficiency in Few-shot Image Classification: A Meta-Learning Approach [27.350615059290348]
  本稿では,MCRNetを用いたメタラーニング手法を提案する。 特に、潜時空間を埋め込んで、潜時符号を余分な表現情報で再構成し、表現不足を補完する。 我々のエンドツーエンドフレームワークは、3つの標準的な数ショット学習データセット上の画像分類における最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-07-21T13:25:54Z)
• Distilling Localization for Self-Supervised Representation Learning [82.79808902674282]
  コントラスト学習は教師なし表現学習に革命をもたらした。 現在のコントラストモデルでは、前景オブジェクトのローカライズには効果がない。 本稿では,背景変化を学習するためのデータ駆動型手法を提案する。
  論文  参考訳（メタデータ） (2020-04-14T16:29:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。