論文の概要: Towards Open-Ended Visual Recognition with Large Language Model
- arxiv url: http://arxiv.org/abs/2311.08400v1
- Date: Tue, 14 Nov 2023 18:59:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-15 12:50:06.041433
- Title: Towards Open-Ended Visual Recognition with Large Language Model
- Title(参考訳): 大規模言語モデルによるオープンエンド視覚認識に向けて
- Authors: Qihang Yu, Xiaohui Shen, Liang-Chieh Chen
- Abstract要約: 我々は,新しいLarge Language Model (LLM) ベースのマスク分類器であるOmniScient Model (OSM)を紹介する。
OSMは、クラスラベルを生成的に予測し、トレーニングとテストの両方でクラス名の供給を除去する。
また、人間の干渉なしにデータセット間のトレーニングを可能にする。
- 参考スコア(独自算出の注目度): 27.56182473356992
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Localizing and recognizing objects in the open-ended physical world poses a
long-standing challenge within the domain of machine perception. Recent methods
have endeavored to address the issue by employing a class-agnostic mask (or
box) proposal model, complemented by an open-vocabulary classifier (e.g., CLIP)
using pre-extracted text embeddings. However, it is worth noting that these
open-vocabulary recognition models still exhibit limitations in practical
applications. On one hand, they rely on the provision of class names during
testing, where the recognition performance heavily depends on this predefined
set of semantic classes by users. On the other hand, when training with
multiple datasets, human intervention is required to alleviate the label
definition conflict between them. In this paper, we introduce the OmniScient
Model (OSM), a novel Large Language Model (LLM) based mask classifier, as a
straightforward and effective solution to the aforementioned challenges.
Specifically, OSM predicts class labels in a generative manner, thus removing
the supply of class names during both training and testing. It also enables
cross-dataset training without any human interference, exhibiting robust
generalization capabilities due to the world knowledge acquired from the LLM.
By combining OSM with an off-the-shelf mask proposal model, we present
promising results on various benchmarks, and demonstrate its effectiveness in
handling novel concepts. Code/model are available at
https://github.com/bytedance/OmniScient-Model.
- Abstract(参考訳): オープンエンドの物理的世界におけるオブジェクトのローカライズと認識は、マシン知覚の領域内で長年の課題となる。
最近の手法では、事前に抽出されたテキスト埋め込みを使用してオープン語彙分類器(例えばCLIP)で補完されるクラスに依存しないマスク(またはボックス)の提案モデルを用いてこの問題に対処している。
しかし、これらのオープン語彙認識モデルは、実用上はまだ限界がある。
一方で、テスト中はクラス名の提供に依存しており、ユーザによるこの事前に定義されたセマンティッククラスのセットに大きく依存している。
一方、複数のデータセットを用いたトレーニングでは、ラベル定義の衝突を軽減するために人間の介入が必要である。
本稿では、上記の課題に対する単純かつ効果的な解決法として、新しいLarge Language Model (LLM)ベースのマスク分類器であるOmniScient Model (OSM)を紹介する。
具体的には、OSMはクラスラベルを生成的に予測し、トレーニングとテストの両方でクラス名の供給を除去する。
また、人間の干渉なしにデータセット間のトレーニングを可能にし、LLMから得た世界的知識により、堅牢な一般化能力を示す。
osmを市販マスクの提案モデルと組み合わせることで,様々なベンチマークで有望な結果を示し,その新しい概念の取り扱いにおける効果を実証する。
コード/モデルはhttps://github.com/bytedance/OmniScient-Modelで入手できる。
関連論文リスト
- PosSAM: Panoptic Open-vocabulary Segment Anything [58.72494640363136]
PosSAMはオープン・ボキャブラリ・パノプティ・セグメンテーション・モデルであり、Segment Anything Model(SAM)の強みを、エンドツーエンドのフレームワークで視覚ネイティブのCLIPモデルと統合する。
本稿では,マスクの質を適応的に向上し,各画像の推論中にオープン語彙分類の性能を高めるマスク対応選択組立アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-03-14T17:55:03Z) - Data-free Multi-label Image Recognition via LLM-powered Prompt Tuning [23.671999163027284]
本稿では,学習データを持たないマルチラベル画像認識のための新しいフレームワークを提案する。
事前学習されたLarge Language Modelの知識を使用して、CLIPのような事前学習されたVision-Language Modelをマルチラベル分類に適応させるプロンプトを学ぶ。
本フレームワークは,新しいカテゴリー認識のための複数の事前学習モデル間の相乗効果を探索する新しい手法を提案する。
論文 参考訳(メタデータ) (2024-03-02T13:43:32Z) - Aligning and Prompting Everything All at Once for Universal Visual
Perception [79.96124061108728]
APEは、さまざまなタスクを実行するために、すべてのことを一度に調整し、促す、普遍的な視覚知覚モデルである。
APEは、言語誘導接地をオープン語彙検出として再構成することで、検出と接地の収束を推し進める。
160以上のデータセットの実験では、APEが最先端のモデルより優れていることが示されている。
論文 参考訳(メタデータ) (2023-12-04T18:59:50Z) - Learning to recognize occluded and small objects with partial inputs [8.460351690226817]
Masked Supervised Learningは、マルチラベル画像認識のための1段階のモデルに依存しない学習パラダイムである。
MSLはランダムマスキングに頑健であり,非マスキング物体の認識に有効であることを示す。
論文 参考訳(メタデータ) (2023-10-27T22:29:27Z) - Incremental Object Detection with CLIP [39.85017351940035]
インクリメンタルな検出タスクでは、インクリメンタルな分類タスクとは異なり、ラベル付きバウンディングボックスが異なるため、データのあいまいさが存在する。
本稿では,CLIPなどの言語視覚モデルを用いて,異なるクラスセットに対するテキスト特徴埋め込みを生成することを提案する。
次に、学習段階の未使用の新規クラスを置き換えるために、幅広いクラスを使用し、実際の段階的なシナリオをシミュレートします。
論文 参考訳(メタデータ) (2023-10-13T01:59:39Z) - Mask-free OVIS: Open-Vocabulary Instance Segmentation without Manual
Mask Annotations [86.47908754383198]
Open-Vocabulary (OV) 法は、大規模な画像キャプチャペアと視覚言語モデルを利用して、新しいカテゴリを学習する。
提案手法は,イメージキャプションペアに存在するオブジェクトに対して,事前学習された視覚言語モデルの局所化能力を活用することで,擬似マスクアノテーションを生成する。
擬似マスクを用いてトレーニングした手法は,MS-COCOデータセットとOpenImagesデータセットのmAPスコアを大幅に改善する。
論文 参考訳(メタデータ) (2023-03-29T17:58:39Z) - Global Knowledge Calibration for Fast Open-Vocabulary Segmentation [124.74256749281625]
本稿では,各学習カテゴリの同義語群を生成するテキスト多様化戦略を提案する。
また,CLIPの汎用的な知識を維持するために,テキスト誘導型知識蒸留法を用いている。
提案手法は, 各種データセットに対して頑健な一般化性能を実現する。
論文 参考訳(メタデータ) (2023-03-16T09:51:41Z) - Dynamic Prototype Mask for Occluded Person Re-Identification [88.7782299372656]
既存の手法では、目に見える部分を識別するために、余分なネットワークによって提供される身体の手がかりを利用することで、この問題に対処している。
2つの自己明快な事前知識に基づく新しい動的プロトタイプマスク(DPM)を提案する。
この条件下では、隠蔽された表現は、選択された部分空間において自然にうまく整列することができる。
論文 参考訳(メタデータ) (2022-07-19T03:31:13Z) - Multi-Modal Few-Shot Object Detection with Meta-Learning-Based
Cross-Modal Prompting [77.69172089359606]
本稿では,マルチモーダルな複数ショットオブジェクト検出(FSOD)について,少数ショット視覚例とクラスセマンティック情報の両方を用いて検討する。
我々のアプローチは、(メトリックベース)メタラーニングとプロンプトベースラーニングの高レベルな概念的類似性によって動機付けられている。
提案するマルチモーダルFSODモデルを,複数の複数ショットオブジェクト検出ベンチマークで総合的に評価し,有望な結果を得た。
論文 参考訳(メタデータ) (2022-04-16T16:45:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。