論文の概要: Few-Shot Classification & Segmentation Using Large Language Models Agent

• arxiv url: http://arxiv.org/abs/2311.12065v1
• Date: Sun, 19 Nov 2023 00:33:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 03:36:57.638523
• Title: Few-Shot Classification & Segmentation Using Large Language Models Agent
• Title（参考訳）: 大規模言語モデルエージェントを用いたマイナショット分類とセグメンテーション
• Authors: Tian Meng, Yang Tao, Wuliang Yin
• Abstract要約: 本研究では,大規模言語モデル(LLM)をエージェントとして利用し,FS-CS問題にトレーニング不要で対処する手法を提案する。 提案手法はPascal-5iデータセット上での最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 0.7550566004119158
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The task of few-shot image classification and segmentation (FS-CS) requires the classification and segmentation of target objects in a query image, given only a few examples of the target classes. We introduce a method that utilises large language models (LLM) as an agent to address the FS-CS problem in a training-free manner. By making the LLM the task planner and off-the-shelf vision models the tools, the proposed method is capable of classifying and segmenting target objects using only image-level labels. Specifically, chain-of-thought prompting and in-context learning guide the LLM to observe support images like human; vision models such as Segment Anything Model (SAM) and GPT-4Vision assist LLM understand spatial and semantic information at the same time. Ultimately, the LLM uses its summarizing and reasoning capabilities to classify and segment the query image. The proposed method's modular framework makes it easily extendable. Our approach achieves state-of-the-art performance on the Pascal-5i dataset.
• Abstract（参考訳）: 少数ショット画像分類とセグメンテーション(FS-CS)のタスクは、ターゲットクラスのいくつかの例を考慮すれば、クエリ画像中のターゲットオブジェクトの分類とセグメンテーションを必要とする。 本研究では,大規模言語モデル(LLM)をエージェントとして利用し,FS-CS問題にトレーニング不要で対処する手法を提案する。 LLMをタスクプランナーおよび市販のビジョンモデルにツールを組み込むことにより、画像レベルラベルのみを用いて対象オブジェクトの分類とセグメンテーションを行うことができる。 具体的には、chain-of-thought prompting and in-context learning guide the llm to observe support images like human; segment anything model (sam) や gpt-4vision といったビジョンモデルは、llm が空間的および意味的情報を同時に理解するのを支援する。 最終的に、LLMはその要約と推論機能を使用して、クエリイメージの分類とセグメント化を行う。 提案手法のモジュラーフレームワークにより拡張が容易になる。 提案手法はPascal-5iデータセットの最先端性能を実現する。

関連論文リスト

• SocialGPT: Prompting LLMs for Social Relation Reasoning via Greedy Segment Optimization [70.11167263638562]
  社会的関係推論は、友人、配偶者、同僚などの関係カテゴリを画像から識別することを目的としている。 まず、VFM(Vision Foundation Models)の知覚能力と、モジュラーフレームワーク内でのLLM(Large Language Models)の推論能力を組み合わせた、シンプルだが巧妙な名前のフレームワークを提示する。
  論文  参考訳（メタデータ） (2024-10-28T18:10:26Z)
• LLM-Seg: Bridging Image Segmentation and Large Language Model Reasoning [8.379286663107845]
  セグメンテーション(Reasoning segmentation)は、セグメンテーションシステムが暗黙のユーザ意図を推論し解釈することを可能にする新しいタスクである。 推論セグメンテーションに関する研究は、方法論設計とデータセットラベリングの両方に寄与する。
  論文  参考訳（メタデータ） (2024-04-12T18:45:51Z)
• Few-Shot Image Classification and Segmentation as Visual Question Answering Using Vision-Language Models [0.6149772262764599]
  本稿では,FS-CS問題を視覚質問 (VQA) 問題に変換する視覚指導評価 (VISE) 手法を提案する。 提案手法は,Pascal-5iおよびCOCO-20iデータセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-15T13:29:41Z)
• Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
  大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。 本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。 このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
  論文  参考訳（メタデータ） (2024-01-14T16:17:07Z)
• CLAMP: Contrastive LAnguage Model Prompt-tuning [89.96914454453791]
  このように適応すれば,大規模な言語モデルでも優れた画像分類性能が得られることを示す。 我々のアプローチは最先端のmLLMを13%上回り、カスタムテキストモデルによる対照的な学習をわずかに上回ります。
  論文  参考訳（メタデータ） (2023-12-04T05:13:59Z)
• LLaFS: When Large Language Models Meet Few-Shot Segmentation [32.86287519276783]
  LLaFSは,大規模言語モデル(LLM)を数発のセグメンテーションで活用するための最初の試みである。 LLaFSは、アノテーション付きサポート画像からの制限された情報とバイアスのある情報のみに依存する従来の数ショットセグメンテーション法とは対照的に、LLMを直接使用して数ショットで画像のセグメンテーションを行う。 LLaFSは複数のデータセットで最先端の結果を達成し、数ショットのコンピュータビジョンタスクにLLMを使用する可能性を示している。
  論文  参考訳（メタデータ） (2023-11-28T16:31:27Z)
• RefSAM: Efficiently Adapting Segmenting Anything Model for Referring Video Object Segmentation [53.4319652364256]
  本稿では,ビデオオブジェクトのセグメンテーションを参照するためのSAMの可能性を探るRefSAMモデルを提案する。 提案手法は,Cross-RValModalを用いることで,モダリティ学習を向上させるためにオリジナルのSAMモデルに適応する。 我々は、言語と視覚の特徴を効果的に調整し、融合させるために、パラメータ効率のチューニング戦略を採用している。
  論文  参考訳（メタデータ） (2023-07-03T13:21:58Z)
• I2MVFormer: Large Language Model Generated Multi-View Document Supervision for Zero-Shot Image Classification [108.83932812826521]
  Webスケールのテキストでトレーニングされた大規模言語モデル(LLM)は、学習した知識をさまざまなタスクに再利用する素晴らしい能力を示している。 提案するモデルであるI2MVFormerは,これらのクラスビューを用いたゼロショット画像分類のためのマルチビューセマンティック埋め込みを学習する。 I2MVFormerは、教師なしセマンティック埋め込みを備えたゼロショット画像分類のための3つの公開ベンチマークデータセットに対して、最先端の新たなデータセットを確立する。
  論文  参考訳（メタデータ） (2022-12-05T14:11:36Z)
• Integrative Few-Shot Learning for Classification and Segmentation [37.50821005917126]
  少数ショット分類とセグメンテーション(FS-CS)の統合タスクについて紹介する。 FS-CSは、ターゲットクラスがいくつかの例で与えられるとき、クエリイメージでターゲットオブジェクトを分類し、セグメントすることを目的としている。 本稿では,FS-CSのための統合的数ショット学習フレームワークを提案し,学習者がクラスワイドな前景マップを構築するように訓練する。
  論文  参考訳（メタデータ） (2022-03-29T16:14:40Z)
• Learning Meta-class Memory for Few-Shot Semantic Segmentation [90.28474742651422]
  全てのクラスで共有可能なメタ情報であるメタクラスの概念を導入する。 本稿では,メタクラスメモリをベースとした少ショットセグメンテーション手法 (MM-Net) を提案する。 提案したMM-Netは1ショット設定でCOCOデータセット上で37.5%のmIoUを達成する。
  論文  参考訳（メタデータ） (2021-08-06T06:29:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。