論文の概要: Leveraging Chat-Based Large Vision Language Models for Multimodal Out-Of-Context Detection

• arxiv url: http://arxiv.org/abs/2403.08776v1
• Date: Mon, 22 Jan 2024 13:54:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-18 05:40:54.670123
• Title: Leveraging Chat-Based Large Vision Language Models for Multimodal Out-Of-Context Detection
• Title（参考訳）: マルチモーダルアウトオフコンテキスト検出のためのチャットベース大規模視覚言語モデルの活用
• Authors: Fatma Shalabi, Hichem Felouat, Huy H. Nguyen, Isao Echizen,
• Abstract要約: アウト・オブ・コンテクスト(OOC)検出は、提示されるコンテキストとは無関係な画像やテキストを識別する難しいタスクである。 視覚言語モデル(LVLM)は画像分類やテキスト生成など様々なタスクに有効である。 LVLMは微調整なしでOOC検出タスクにおいて高い精度を達成できないことを示す。
• 参考スコア（独自算出の注目度）: 7.968454913643155
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Out-of-context (OOC) detection is a challenging task involving identifying images and texts that are irrelevant to the context in which they are presented. Large vision-language models (LVLMs) are effective at various tasks, including image classification and text generation. However, the extent of their proficiency in multimodal OOC detection tasks is unclear. In this paper, we investigate the ability of LVLMs to detect multimodal OOC and show that these models cannot achieve high accuracy on OOC detection tasks without fine-tuning. However, we demonstrate that fine-tuning LVLMs on multimodal OOC datasets can further improve their OOC detection accuracy. To evaluate the performance of LVLMs on OOC detection tasks, we fine-tune MiniGPT-4 on the NewsCLIPpings dataset, a large dataset of multimodal OOC. Our results show that fine-tuning MiniGPT-4 on the NewsCLIPpings dataset significantly improves the OOC detection accuracy in this dataset. This suggests that fine-tuning can significantly improve the performance of LVLMs on OOC detection tasks.
• Abstract（参考訳）: アウト・オブ・コンテクスト(OOC)検出は、提示されるコンテキストとは無関係な画像やテキストを識別する難しいタスクである。 視覚言語モデル(LVLM)は画像分類やテキスト生成など様々なタスクに有効である。 しかし,マルチモーダルOCO検出タスクの習熟度は明らかになっていない。 本稿では,LVLMのマルチモーダルOC検出能力について検討し,これらのモデルが微調整なしでOOC検出タスクにおいて高い精度を達成できないことを示す。 しかし,マルチモーダルOCデータセット上での微調整LVLMにより,OOC検出精度が向上することが実証された。 OOC検出タスクにおけるLVLMの性能を評価するため,マルチモーダルOCの大規模データセットであるNewsCLIPpingsデータセット上でMiniGPT-4を微調整した。 以上の結果から,NewsCLIPpingsデータセットにおけるMiniGPT-4の微調整により,OOC検出精度が向上することが示唆された。 このことから,OOC検出タスクにおけるLVLMの性能は微調整により大幅に向上する可能性が示唆された。

関連論文リスト

• Active Prompt Learning with Vision-Language Model Priors [9.173468790066956]
  視覚言語モデルの事前学習画像とテキストエンコーダを利用するクラス誘導クラスタリングを提案する。 適応型クラスワイドしきい値に基づく予算削減型選択クエリを提案する。
  論文  参考訳（メタデータ） (2024-11-23T02:34:33Z)
• Membership Inference Attacks against Large Vision-Language Models [40.996912464828696]
  大規模視覚言語モデル(VLLM)は、様々なアプリケーションシナリオにわたるマルチモーダルタスクを処理するための有望な能力を示す。 彼らの出現は、プライベート写真や医療記録などの機密情報を含む可能性があることを考えると、重要なデータセキュリティ上の懸念も引き起こす。 VLLMで不適切な使用データを検出することは、致命的かつ未解決な問題である。
  論文  参考訳（メタデータ） (2024-11-05T08:35:08Z)
• Chain of Stance: Stance Detection with Large Language Models [3.528201746844624]
  スタンス検出は自然言語処理(NLP)におけるアクティブタスクである 我々は、Stance (CoS) の textitChain と呼ばれる新しいプロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-08-03T16:30:51Z)
• Concept-skill Transferability-based Data Selection for Large Vision-Language Models [56.0725292404808]
  視覚言語モデルを学習するための効果的でスケーラブルなデータ選択手法であるCOINCIDEを紹介する。 我々は,目標LVLMに必要な概念スキル構成を識別する小型モデルからの内部アクティベーションを用いて,トレーニングデータをクラスタ化する。 実験により、COINCIDEは8つの強いベースラインに対して、優れた性能とデータ選択効率を実現することが示された。
  論文  参考訳（メタデータ） (2024-06-16T16:15:20Z)
• VEGA: Learning Interleaved Image-Text Comprehension in Vision-Language Large Models [76.94378391979228]
  我々は、Interleaved Image-Text (IITC) と呼ばれる、より要求の多い新しいタスクを導入する。 この課題は、画像とテキストの両方の過剰な要素を識別・無視し、質問に正確に答えるためにモデルに挑戦する。 このタスクを支援するために、科学コンテンツに関するIITCタスクに適した新しいVEGAデータセットを構築し、サブタスクである画像テキストアソシエーション(ITA)を考案した。
  論文  参考訳（メタデータ） (2024-06-14T17:59:40Z)
• Less is More: High-value Data Selection for Visual Instruction Tuning [127.38740043393527]
  本稿では,視覚的命令データの冗長性を排除し,トレーニングコストを削減するために,高価値なデータ選択手法TIVEを提案する。 約15%のデータしか使用していない我々のアプローチは、8つのベンチマークで全データ微調整モデルに匹敵する平均性能を実現することができる。
  論文  参考訳（メタデータ） (2024-03-14T16:47:25Z)
• Machine Vision Therapy: Multimodal Large Language Models Can Enhance Visual Robustness via Denoising In-Context Learning [67.0609518552321]
  本稿では,視覚モデルからノイズ予測を補正するマシンビジョンセラピーを提案する。 復調ラベルを微調整することにより、教師なしの方法で学習モデルの性能を高めることができる。
  論文  参考訳（メタデータ） (2023-12-05T07:29:14Z)
• Behind the Magic, MERLIM: Multi-modal Evaluation Benchmark for Large Image-Language Models [50.653838482083614]
  本稿では,IT-LVLMの基本的なコンピュータビジョンタスクにおける能力を評価するために,スケーラブルなテストベッドを提案する。 MERLIMには300K以上の画像検索ペアが含まれており、IT-LVLMにおけるクロスモーダルな"ハロシン化"イベントの検出に重点を置いている。
  論文  参考訳（メタデータ） (2023-12-03T16:39:36Z)
• Improving Vision Anomaly Detection with the Guidance of Language Modality [64.53005837237754]
  本稿では,マルチモーダルの観点から視覚モダリティの課題に取り組む。 本稿では,冗長な情報問題とスパース空間問題に対処するために,クロスモーダルガイダンス(CMG)を提案する。 視覚異常検出のためのよりコンパクトな潜在空間を学習するために、CMLEは言語モダリティから相関構造行列を学習する。
  論文  参考訳（メタデータ） (2023-10-04T13:44:56Z)
• VIGC: Visual Instruction Generation and Correction [47.477290387002284]
  視覚言語タスクのための高品質なインストラクションチューニングデータの不足は依然として課題である。 LLaVAのような現在の主要なパラダイムは、データを生成するために言語のみのGPT-4に依存している。 本稿では,マルチモーダルな大規模言語モデルによる命令調整データの生成を可能にするビジュアルインストラクション生成と補正フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-24T11:21:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。