論文の概要: Label-Free Event-based Object Recognition via Joint Learning with Image Reconstruction from Events

• arxiv url: http://arxiv.org/abs/2308.09383v1
• Date: Fri, 18 Aug 2023 08:28:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-21 13:56:43.683024
• Title: Label-Free Event-based Object Recognition via Joint Learning with Image Reconstruction from Events
• Title（参考訳）: イベントからの画像再構成を伴う共同学習によるラベルフリーイベントベース物体認識
• Authors: Hoonhee Cho, Hyeonseong Kim, Yujeong Chae, and Kuk-Jin Yoon
• Abstract要約: 本研究では,カテゴリラベルとペア画像が利用できない,ラベルのないイベントベースオブジェクト認識について検討する。 提案手法はまずイベントからイメージを再構成し,コントラスト言語-画像事前学習(CLIP)によるオブジェクト認識を行う。 画像の再構成にはカテゴリ情報が不可欠であるため,カテゴリ誘導アトラクション損失とカテゴリ非依存の反発損失を提案する。
• 参考スコア（独自算出の注目度）: 42.71383489578851
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recognizing objects from sparse and noisy events becomes extremely difficult when paired images and category labels do not exist. In this paper, we study label-free event-based object recognition where category labels and paired images are not available. To this end, we propose a joint formulation of object recognition and image reconstruction in a complementary manner. Our method first reconstructs images from events and performs object recognition through Contrastive Language-Image Pre-training (CLIP), enabling better recognition through a rich context of images. Since the category information is essential in reconstructing images, we propose category-guided attraction loss and category-agnostic repulsion loss to bridge the textual features of predicted categories and the visual features of reconstructed images using CLIP. Moreover, we introduce a reliable data sampling strategy and local-global reconstruction consistency to boost joint learning of two tasks. To enhance the accuracy of prediction and quality of reconstruction, we also propose a prototype-based approach using unpaired images. Extensive experiments demonstrate the superiority of our method and its extensibility for zero-shot object recognition. Our project code is available at \url{https://github.com/Chohoonhee/Ev-LaFOR}.
• Abstract（参考訳）: ペア画像やカテゴリラベルが存在しない場合、スパースイベントやノイズイベントからオブジェクトを認識することは極めて困難になる。 本稿では,カテゴリラベルとペア画像が利用できないラベルのないイベントベースオブジェクト認識について検討する。 この目的のために,物体認識と画像再構成を相補的に共同で定式化することを提案する。 提案手法は,まずイベントからイメージを再構成し,コントラスト言語-画像事前学習(CLIP)によりオブジェクト認識を行う。 画像の復元にはカテゴリ情報が不可欠であるため,予測したカテゴリのテクスト特徴とクリップを用いた再構成画像の視覚特徴を橋渡しするために,カテゴリ誘導アトラクション損失とカテゴリ非依存反発損失を提案する。 さらに,信頼性の高いデータサンプリング戦略と局所的グローバルリコンストラクション一貫性を導入し,協調学習の促進を図る。 また, 予測精度と復元品質を向上させるため, 非ペア画像を用いたプロトタイプベース手法を提案する。 広汎な実験により,ゼロショット物体認識における手法の優位性と拡張性を示す。 プロジェクトコードは \url{https://github.com/Chohoonhee/Ev-LaFOR} で利用可能です。

関連論文リスト

• Knowledge Fused Recognition: Fusing Hierarchical Knowledge for Image Recognition through Quantitative Relativity Modeling and Deep Metric Learning [18.534970504136254]
  画像クラスに関する階層的な事前知識を融合させるための,新しい深層計量学習手法を提案する。 画像分類を組み込んだ既存の深度学習は、主に画像クラス間の定性的相対性を利用している。 モデル潜在空間における量的相対性を利用して知識空間における距離を整列する新しい三重項損失関数項も提案され、提案された双対モダリティ融合法に組み込まれている。
  論文  参考訳（メタデータ） (2024-07-30T07:24:33Z)
• RAFIC: Retrieval-Augmented Few-shot Image Classification [0.0]
  少ないショット画像分類は、見えない画像を互いに排他的なクラスに分類するタスクである。 我々は,検索した画像の付加集合を用いて,Kの集合を増大させる手法を開発した。 我々は,RAFICが2つの挑戦的データセットをまたいだ数ショット画像分類の性能を著しく向上させることを実証した。
  論文  参考訳（メタデータ） (2023-12-11T22:28:51Z)
• Re-Scoring Using Image-Language Similarity for Few-Shot Object Detection [4.0208298639821525]
  ラベルの少ない新規なオブジェクトの検出に焦点をあてるオブジェクト検出は,コミュニティにおいて新たな課題となっている。 近年の研究では、事前訓練されたモデルや修正された損失関数の適応により、性能が向上することが示されている。 我々は、より高速なR-CNNを拡張するFew-shot Object Detection (RISF)のための画像言語類似性を用いた再構成を提案する。
  論文  参考訳（メタデータ） (2023-11-01T04:04:34Z)
• No Token Left Behind: Explainability-Aided Image Classification and Generation [79.4957965474334]
  ここでは、CLIPが入力のすべての関連する意味的部分に焦点を当てることを保証するために、損失項を追加する新しい説明可能性に基づくアプローチを提案する。 本手法は, 追加訓練や微調整を伴わずに, 認識率の向上を図っている。
  論文  参考訳（メタデータ） (2022-04-11T07:16:39Z)
• Unpaired Image Captioning by Image-level Weakly-Supervised Visual Concept Recognition [83.93422034664184]
  未ペア画像キャプション(UIC)とは、訓練段階で画像キャプチャペアを使わずに画像を記述することである。 既存の研究の多くは、既成のアルゴリズムを使って視覚的概念を得る。 画像レベルラベルを用いたコスト効率の高いUICを実現するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-03-07T08:02:23Z)
• Unsupervised Part Discovery from Contrastive Reconstruction [90.88501867321573]
  自己監督型視覚表現学習の目標は、強く伝達可能な画像表現を学習することである。 対象部分の発見とセグメンテーションに対する教師なしアプローチを提案する。 本手法は, 細粒度, 視覚的に異なるカテゴリ間でセマンティックな部分を生成する。
  論文  参考訳（メタデータ） (2021-11-11T17:59:42Z)
• Region-level Active Learning for Cluttered Scenes [60.93811392293329]
  本稿では,従来の画像レベルのアプローチとオブジェクトレベルのアプローチを一般化した領域レベルのアプローチに仮定する新たな戦略を提案する。 その結果,本手法はラベル付けの労力を大幅に削減し,クラス不均衡や散らかったシーンを生かしたリアルなデータに対する希少なオブジェクト検索を改善することが示唆された。
  論文  参考訳（メタデータ） (2021-08-20T14:02:38Z)
• Rectifying the Shortcut Learning of Background: Shared Object Concentration for Few-Shot Image Recognition [101.59989523028264]
  Few-Shot画像分類は、大規模なデータセットから学んだ事前学習された知識を利用して、一連の下流分類タスクに取り組むことを目的としている。 本研究では,Few-Shot LearningフレームワークであるCOSOCを提案する。
  論文  参考訳（メタデータ） (2021-07-16T07:46:41Z)
• A Self-supervised GAN for Unsupervised Few-shot Object Recognition [39.79912546252623]
  本稿では、教師なし数発の物体認識について述べる。 すべてのトレーニングイメージはラベル付けされておらず、テストイメージはクエリと、対象のクラス毎にラベル付きサポートイメージに分割されている。 我々は,バニラGANを2つの損失関数で拡張し,それぞれが自己教師型学習を目的とした。
  論文  参考訳（メタデータ） (2020-08-16T19:47:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。