論文の概要: Collage Prompting: Budget-Friendly Visual Recognition with GPT-4V

• arxiv url: http://arxiv.org/abs/2403.11468v1
• Date: Mon, 18 Mar 2024 04:41:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 16:36:25.779982
• Title: Collage Prompting: Budget-Friendly Visual Recognition with GPT-4V
• Title（参考訳）: Collage Prompting: GPT-4Vによる予算フレンドリーな視覚認識
• Authors: Siyu Xu, Yunke Wang, Daochang Liu, Chang Xu,
• Abstract要約: GPT-4Vは画像認識タスクにおいて顕著な熟練性を示す。 しかし、GPT-4Vの推論に伴う金銭的コストは、広く使われる上で大きな障壁となる。 予算に優しいプロンプトアプローチであるColllage Promptingを導入し、複数の画像を単一の視覚入力に誘導する。
• 参考スコア（独自算出の注目度）: 19.504619970405205
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in generative AI have suggested that by taking visual prompt, GPT-4V can demonstrate significant proficiency in image recognition task. Despite its impressive capabilities, the financial cost associated with GPT-4V's inference presents a substantial barrier for its wide use. To address this challenge, our work introduces Collage Prompting, a budget-friendly prompting approach that concatenates multiple images into a single visual input. With collage prompt, GPT-4V is able to perform image recognition on several images simultaneously. Based on the observation that the accuracy of GPT-4V's image recognition varies significantly with the order of images within the collage prompt, our method further learns to optimize the arrangement of images for maximum recognition accuracy. A graph predictor is trained to indicate the accuracy of each collage prompt, then we propose an optimization method to navigate the search space of possible image arrangements. Experiment results across various datasets demonstrate the cost-efficiency score of collage prompt is much larger than standard prompt. Additionally, collage prompt with learned arrangement achieves clearly better accuracy than collage prompt with random arrangement in GPT-4V's visual recognition.
• Abstract（参考訳）: 生成型AIの最近の進歩は、視覚的プロンプトをとることで、GPT-4Vは画像認識タスクにおいてかなりの習熟性を示すことを示唆している。 優れた性能にもかかわらず、GPT-4Vの推論に伴う金銭的コストは、広く使われるための大きな障壁となる。 この課題に対処するために、我々の研究は、複数の画像を単一の視覚的な入力にまとめる、予算に優しいプロンプトアプローチであるColllage Promptingを導入しました。 コラージュプロンプトにより、GPT-4Vは複数の画像に対して同時に画像認識を行うことができる。 GPT-4Vの画像認識の精度は、コラージュプロンプト内の画像の順序によって大きく異なるという観測に基づいて、この手法はさらに、画像の配置を最大認識精度に最適化することを学ぶ。 グラフ予測器は,各コラージュプロンプトの精度を示すために訓練され,画像アレンジメントの探索空間をナビゲートする最適化手法を提案する。 各種データセットに対する実験結果は、コラージュプロンプトのコスト効率スコアが標準プロンプトよりもはるかに大きいことを示す。 さらに、学習配列によるコラージュプロンプトは、GPT-4Vの視覚認識におけるランダムなアレンジメントによるコラージュプロンプトよりも明らかに精度が高い。

関連論文リスト

• Joint Visual and Text Prompting for Improved Object-Centric Perception with Multimodal Large Language Models [22.545127591893028]
  GPT-4VやGemini Proのようなマルチモーダル大言語モデル(MLLM)は、視覚質問回答(VQA)における人間レベルの認識の実現に課題に直面している。 これは主に、複雑な視覚的手がかりをテキスト情報や潜在的対象幻覚と効果的に統合する能力に制限があるためである。 本稿では,VQAにおけるMLLMの能力を高めるために,きめ細かい視覚情報を利用する新しいアプローチであるジョイント・ビジュアル・テキスト・プロンプティング(VTPrompt)を提案する。
  論文  参考訳（メタデータ） (2024-04-06T05:59:02Z)
• GPT4Vis: What Can GPT-4 Do for Zero-shot Visual Recognition? [82.40761196684524]
  本稿では,ゼロショット視覚認識タスクにおけるGPT-4の言語的・視覚的能力の評価に焦点を当てる。 我々は、画像、ビデオ、点群にわたるGPT-4の性能を評価するための広範な実験を行った。 言語記述が充実したGPT-4はゼロショット認識を著しく改善した。
  論文  参考訳（メタデータ） (2023-11-27T11:29:10Z)
• CLIP Guided Image-perceptive Prompt Learning for Image Enhancement [15.40368082025006]
  コントラスト言語-画像事前学習(CLIP)ガイドプロンプト学習を提案する。 私たちは、CLIPモデルを用いて、オリジナル画像とターゲット画像とを区別するためのイメージ知覚プロンプトを学習する。 我々は,3種類のLUTの重みを拡張ネットワークとして予測するために,単純なベースラインを組み込むことにより,非常に単純なネットワークを導入する。
  論文  参考訳（メタデータ） (2023-11-07T12:36:20Z)
• GPT-4V(ision) as a Generalist Evaluator for Vision-Language Tasks [70.98062518872999]
  我々は,GPT-4Vの性能評価,基本画像からテキストへの合成,高レベル画像から画像への変換,複数画像からテキストへのアライメントといったタスクに対処する能力を検証する。 特に、GPT-4Vは、様々なタスクや評価方法にまたがって人間と有望な合意を示し、マルチモーダルLCMを評価対象として持つ可能性を示している。
  論文  参考訳（メタデータ） (2023-11-02T16:11:09Z)
• LoGoPrompt: Synthetic Text Images Can Be Good Visual Prompts for Vision-Language Models [28.983503845298824]
  合成テキスト画像は視覚言語モデルにとって良い視覚的プロンプトであることを示す。 視覚的プロンプト選択に分類対象を再構成する LoGoPrompt を提案する。 本手法は,数ショット学習,ベース・ツー・ニュージェネリゼーション,ドメイン・ジェネリゼーションにおいて,最先端の手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2023-09-03T12:23:33Z)
• LLaVAR: Enhanced Visual Instruction Tuning for Text-Rich Image Understanding [85.39419609430453]
  この作業は、テキストリッチなイメージで現在のビジュアルインストラクションチューニングパイプラインを強化する。 まず、公開されたOCRツールを使用して、LAIONデータセットから422Kテキストリッチイメージの結果を収集します。 我々は、認識されたテキストと画像キャプションを持つテキストのみのGPT-4に16Kの会話を生成するよう促す。
  論文  参考訳（メタデータ） (2023-06-29T17:08:16Z)
• Iterative Prompt Learning for Unsupervised Backlit Image Enhancement [86.90993077000789]
  そこで本研究では,CLIP-LITと略称される,非教師なしのバックライト画像強調手法を提案する。 オープンワールドのCLIPはバックライト画像と well-lit 画像の区別に有効であることを示す。 提案手法は,学習フレームワークの更新と,学習結果を視覚的に満足するまでのネットワークの強化を交互に行う。
  論文  参考訳（メタデータ） (2023-03-30T17:37:14Z)
• Task-Oriented Multi-Modal Mutual Leaning for Vision-Language Models [52.3032592038514]
  ラベル関連画像情報で生成したプロンプトを豊かにするためのクラス対応テキストプロンプトを提案する。 我々は、新しいクラスで4.03%、調和平均で3.19%の改善を11の分類ベンチマークで達成した。
  論文  参考訳（メタデータ） (2023-03-30T06:02:40Z)
• Texts as Images in Prompt Tuning for Multi-Label Image Recognition [70.9310322461598]
  我々は、画像テキストのコントラスト学習により、テキストを画像として扱うことができ、即時チューニングやTaIプロンプトの導入が可能であることを主張する。 特にTaIプロンプトをマルチラベル画像認識に適用し、野生の文が画像の代替として機能し、迅速なチューニングを行う。 提案したTaI-DPTは,複数ベンチマークで0ショットCLIPよりも高い性能を示した。
  論文  参考訳（メタデータ） (2022-11-23T07:00:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。