論文の概要: OVMR: Open-Vocabulary Recognition with Multi-Modal References

• arxiv url: http://arxiv.org/abs/2406.04675v1
• Date: Fri, 7 Jun 2024 06:45:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 15:19:38.503636
• Title: OVMR: Open-Vocabulary Recognition with Multi-Modal References
• Title（参考訳）: OVMR: マルチモーダル参照によるオープン語彙認識
• Authors: Zehong Ma, Shiliang Zhang, Longhui Wei, Qi Tian,
• Abstract要約: 既存の研究では、モデルにカテゴリキューを埋め込む方法がいくつか提案されている。 本稿では,テキスト記述と模範画像からなるマルチモーダル手がかりを参考に,異なる視点からオープン語彙認識に取り組む。 提案したOVMRはプラグイン・アンド・プレイモジュールであり、インターネットからランダムにクロールされた典型的な画像とうまく機能する。
• 参考スコア（独自算出の注目度）: 96.21248144937627
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The challenge of open-vocabulary recognition lies in the model has no clue of new categories it is applied to. Existing works have proposed different methods to embed category cues into the model, \eg, through few-shot fine-tuning, providing category names or textual descriptions to Vision-Language Models. Fine-tuning is time-consuming and degrades the generalization capability. Textual descriptions could be ambiguous and fail to depict visual details. This paper tackles open-vocabulary recognition from a different perspective by referring to multi-modal clues composed of textual descriptions and exemplar images. Our method, named OVMR, adopts two innovative components to pursue a more robust category cues embedding. A multi-modal classifier is first generated by dynamically complementing textual descriptions with image exemplars. A preference-based refinement module is hence applied to fuse uni-modal and multi-modal classifiers, with the aim to alleviate issues of low-quality exemplar images or textual descriptions. The proposed OVMR is a plug-and-play module, and works well with exemplar images randomly crawled from the Internet. Extensive experiments have demonstrated the promising performance of OVMR, \eg, it outperforms existing methods across various scenarios and setups. Codes are publicly available at \href{https://github.com/Zehong-Ma/OVMR}{https://github.com/Zehong-Ma/OVMR}.
• Abstract（参考訳）: オープン語彙認識の課題は、モデルに適用される新しいカテゴリの手がかりがないことである。 既存の研究は、カテゴリー名やテキスト記述をビジョンランゲージモデルに提供し、数ショットの微調整を通じてカテゴリキューをモデルに組み込む方法を提案している。 微調整は時間を要するため、一般化能力は低下する。 文章の記述は曖昧であり、視覚的な詳細を表現できない可能性がある。 本稿では,テキスト記述と模範画像からなるマルチモーダル手がかりを参考に,異なる視点からオープン語彙認識に取り組む。 OVMRという名前の手法では,より堅牢なカテゴリキューの埋め込みを追求するために,革新的な2つのコンポーネントが採用されている。 画像例でテキスト記述を動的に補完することにより、まずマルチモーダル分類器を生成する。 そのため、低品質の模範画像やテキスト記述の問題を緩和するために、一様および多モードの分類器を融合するために、嗜好ベースの改良モジュールが適用される。 提案したOVMRはプラグイン・アンド・プレイモジュールであり、インターネットからランダムにクロールされた典型的な画像とうまく機能する。 大規模な実験は、OVMR、 \egの有望なパフォーマンスを実証した。 コードは \href{https://github.com/Zehong-Ma/OVMR}{https://github.com/Zehong-Ma/OVMR} で公開されている。

関連論文リスト

• Interactive Text-to-Image Retrieval with Large Language Models: A Plug-and-Play Approach [33.231639257323536]
  本稿では,対話型テキスト・画像検索タスクにおける対話型コンテキストクエリの問題に対処する。 対話形式のコンテキストを再構成することにより、既存の視覚的対話データから検索モデルを微調整する必要がなくなる。 対象画像の属性に関する非冗長な質問を生成するために,LLM質問機を構築した。
  論文  参考訳（メタデータ） (2024-06-05T16:09:01Z)
• Few-shot Action Recognition with Captioning Foundation Models [61.40271046233581]
  CapFSARは、テキストを手動でアノテートすることなく、マルチモーダルモデルの知識を利用するフレームワークである。 Transformerをベースとしたビジュアルテキストアグリゲーションモジュールはさらに、モーダル時間間の補完情報を組み込むように設計されている。 複数の標準的な数ショットベンチマークの実験では、提案したCapFSARが既存の手法に対して好適に動作することを示した。
  論文  参考訳（メタデータ） (2023-10-16T07:08:39Z)
• Language as the Medium: Multimodal Video Classification through text only [3.744589644319257]
  マルチモーダル映像情報をキャプチャする詳細なテキスト記述を生成するためのモデルに依存しない新しい手法を提案する。 本手法は, GPT-3.5 や Llama2 といった大規模言語モデルによって学習された広範な知識を活用する。 UCF-101 や Kinetics などの一般的な行動認識ベンチマークによる評価は,これらの文脈に富んだ記述をビデオ理解タスクでうまく利用できることを示す。
  論文  参考訳（メタデータ） (2023-09-19T17:32:21Z)
• Text Descriptions are Compressive and Invariant Representations for Visual Learning [63.3464863723631]
  本研究では,クラスごとの複数の視覚的特徴に対する人間の理解に則って,頑健な数ショット学習環境では魅力的な性能が得られることを示す。 特に,SLR-AVD (Sparse Logistic Regression using Augmented Visual Descriptors) という新しい手法を導入する。 このメソッドはまず、まず大きな言語モデル(LLM)を介して各クラスの複数の視覚的記述を自動生成し、次にVLMを使用してこれらの記述を各画像の視覚的特徴埋め込みに変換し、最後に、これらの特徴の関連するサブセットを選択するためにスパースロジスティック回帰を使用する。
  論文  参考訳（メタデータ） (2023-07-10T03:06:45Z)
• Multi-Modal Classifiers for Open-Vocabulary Object Detection [104.77331131447541]
  本論文の目的は,OVOD(Open-vocabulary Object Detection)である。 標準の2段階オブジェクト検出器アーキテクチャを採用する。 言語記述、画像例、これら2つの組み合わせの3つの方法を探究する。
  論文  参考訳（メタデータ） (2023-06-08T18:31:56Z)
• I2MVFormer: Large Language Model Generated Multi-View Document Supervision for Zero-Shot Image Classification [108.83932812826521]
  Webスケールのテキストでトレーニングされた大規模言語モデル(LLM)は、学習した知識をさまざまなタスクに再利用する素晴らしい能力を示している。 提案するモデルであるI2MVFormerは,これらのクラスビューを用いたゼロショット画像分類のためのマルチビューセマンティック埋め込みを学習する。 I2MVFormerは、教師なしセマンティック埋め込みを備えたゼロショット画像分類のための3つの公開ベンチマークデータセットに対して、最先端の新たなデータセットを確立する。
  論文  参考訳（メタデータ） (2022-12-05T14:11:36Z)
• Multi-Modal Few-Shot Object Detection with Meta-Learning-Based Cross-Modal Prompting [77.69172089359606]
  本稿では,マルチモーダルな複数ショットオブジェクト検出(FSOD)について,少数ショット視覚例とクラスセマンティック情報の両方を用いて検討する。 我々のアプローチは、(メトリックベース)メタラーニングとプロンプトベースラーニングの高レベルな概念的類似性によって動機付けられている。 提案するマルチモーダルFSODモデルを,複数の複数ショットオブジェクト検出ベンチマークで総合的に評価し,有望な結果を得た。
  論文  参考訳（メタデータ） (2022-04-16T16:45:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。