論文の概要: PixLore: A Dataset-driven Approach to Rich Image Captioning
- arxiv url: http://arxiv.org/abs/2312.05349v2
- Date: Thu, 17 Oct 2024 07:53:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-18 13:17:11.370499
- Title: PixLore: A Dataset-driven Approach to Rich Image Captioning
- Title(参考訳): PixLore:リッチイメージキャプションのためのデータセット駆動アプローチ
- Authors: Diego Bonilla,
- Abstract要約: 本研究では,標準商用GPU上でのLoRa法を用いてBLIP-2モデルの微調整によりクエリ変換を行う新しい手法であるPixLoreを紹介する。
続くアプローチでは、ChatGPTが組み合わせて拡張した最先端のコンピュータビジョンモデルから、慎重に組み立てられたデータセットをトレーニングする。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: In the domain of vision-language integration, generating detailed image captions poses a significant challenge due to the lack of curated and rich datasets. This study introduces PixLore, a novel method that leverages Querying Transformers through the fine-tuning of the BLIP-2 model using the LoRa method on a standard commercial GPU. The followed approach, which involves training on a carefully assembled dataset from state-of-the-art Computer Vision models combined and augmented by ChatGPT, addresses the question of whether intricate image understanding can be achieved with an ensemble of smaller-scale models, referred to as Knowledge Stitching. Comparative evaluations against major models such as GPT-4 and Google Bard demonstrate that PixLore-2.7B, despite having considerably fewer parameters, is rated higher than the existing State-of-the-Art models in over half of the assessments. Precisely, PixLore outperform Bard and BLIP-2, which score approximately 35.18% and 27.98% lower than PixLore in the task of image captioning. This research not only presents a groundbreaking approach but also highlights the importance of well-curated datasets in enhancing the performance of smaller models.
- Abstract(参考訳): 視覚言語統合の分野では、詳細な画像キャプションを生成することは、キュレートされたリッチデータセットが欠如していることから、大きな課題となる。
本研究では,標準商用GPU上でのLoRa法を用いてBLIP-2モデルの微調整によりクエリ変換を行う新しい手法であるPixLoreを紹介する。
続くアプローチでは、ChatGPTが組み合わせて拡張した最先端のコンピュータビジョンモデルから慎重に組み立てられたデータセットをトレーニングする。
GPT-4やGoogle Bardのような主要モデルとの比較評価では、PixLore-2.7Bはパラメータがかなり少ないにもかかわらず、既存のState-of-the-Artモデルよりも半分以上高く評価されている。
PixLore は Bard と BLIP-2 を上回り、画像キャプションのタスクで PixLore よりも35.18%、27.98%低いスコアを得た。
この研究は、画期的なアプローチを提示するだけでなく、より小さなモデルの性能向上における、十分に計算されたデータセットの重要性も強調する。
関連論文リスト
- Reinforcing Pre-trained Models Using Counterfactual Images [54.26310919385808]
本稿では,言語誘導型生成対実画像を用いた分類モデル強化のための新しいフレームワークを提案する。
逆ファクト画像データセットを用いてモデルをテストすることにより、モデルの弱点を同定する。
我々は、分類モデルを微調整し強化するために、デファクトイメージを拡張データセットとして採用する。
論文 参考訳(メタデータ) (2024-06-19T08:07:14Z) - DEEM: Diffusion Models Serve as the Eyes of Large Language Models for Image Perception [66.88792390480343]
本稿では,拡散モデルの生成的フィードバックを利用して画像エンコーダのセマンティックな分布を整合させる,シンプルで効果的なアプローチであるDEEMを提案する。
DEEMは、訓練可能なパラメータを少なくし、事前訓練データが少なく、ベースモデルのサイズを小さくし、幻覚を緩和するための強化された堅牢性と優れた能力を示す。
論文 参考訳(メタデータ) (2024-05-24T05:46:04Z) - ComFe: Interpretable Image Classifiers With Foundation Models, Transformers and Component Features [0.0]
コンポーネント特徴(ComFe)は、新しい解釈可能な画像分類手法である。
高度にスケーラブルで、非解釈可能な手法と比較して精度と堅牢性を向上させることができる。
論文 参考訳(メタデータ) (2024-03-07T00:44:21Z) - Prompting Large Vision-Language Models for Compositional Reasoning [12.908633583017359]
本研究では,大規模な視覚言語モデルに画像の描写を促し,合成推論を行う新しい生成手法を提案する。
提案手法は,Winogroundデータセット上の他の埋め込み手法よりも優れており,最適記述によって拡張された場合,最大10%の精度が向上する。
論文 参考訳(メタデータ) (2024-01-20T22:04:28Z) - Image Similarity using An Ensemble of Context-Sensitive Models [3.4839256836124624]
ラベル付け類似性において、一対の画像に数値スコアを割り当てることは、画像Aが他の画像Bよりも基準画像Rに近いかどうかを判断するよりも直感的ではない。
A:R対B:Rというラベル付きデータに基づく画像類似性モデルを構築するための新しい手法を提案する。
論文 参考訳(メタデータ) (2024-01-15T20:23:05Z) - Joint Adaptive Representations for Image-Language Learning [59.40890927221377]
画像言語学習のためのレシピを提案し、より大きくて高価なものよりも優れたモデルを作成し、しばしば桁違いに大きなデータセットで訓練する。
我々の重要な発見は、適応的かつ反復的にマルチモーダルな特徴を融合させる、コンパクトな視覚と言語表現の連成学習である。
たった4000万のトレーニング例と39のGFLOPで、私たちの軽量モデルは、2~20倍以上のFLOPの最先端モデルで、さらに大きなデータセットを使用して、1B近くのトレーニング例で何倍もパフォーマンスを上げています。
論文 参考訳(メタデータ) (2023-05-31T15:02:02Z) - Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。
我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
論文 参考訳(メタデータ) (2023-03-13T16:00:31Z) - High-resolution semantically-consistent image-to-image translation [0.0]
本稿では,スタイル変換フェーズにおける画像のセマンティック一貫性と画素単位の品質を保った教師なし領域適応モデルを提案する。
提案モデルでは,SemI2Iモデルと比較してかなりの性能向上を示し,最先端のCyCADAモデルと同様の結果を得た。
論文 参考訳(メタデータ) (2022-09-13T19:08:30Z) - Advancing Plain Vision Transformer Towards Remote Sensing Foundation
Model [97.9548609175831]
約1億のパラメータを持つプレーンビジョントランスフォーマーを利用して、リモートセンシングタスク用にカスタマイズされた大規模なビジョンモデルを提案する。
具体的には、RS画像における大きな画像サイズと様々な向きのオブジェクトを扱うために、回転する様々なウィンドウアテンションを提案する。
検出タスクの実験は、DOTA-V1.0データセット上で81.16%のmAPを達成したすべての最先端モデルよりも、我々のモデルの方が優れていることを示す。
論文 参考訳(メタデータ) (2022-08-08T09:08:40Z) - More Photos are All You Need: Semi-Supervised Learning for Fine-Grained
Sketch Based Image Retrieval [112.1756171062067]
クロスモーダル検索のための新しい半監視フレームワークについて紹介する。
私たちの設計の中心には、連続したフォトツースケッチ生成モデルがあります。
また,不適切な生成を誘導する判別器誘導機構も導入する。
論文 参考訳(メタデータ) (2021-03-25T17:27:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。