論文の概要: GLOV: Guided Large Language Models as Implicit Optimizers for Vision Language Models

• arxiv url: http://arxiv.org/abs/2410.06154v5
• Date: Wed, 05 Feb 2025 19:00:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 10:49:54.135269
• Title: GLOV: Guided Large Language Models as Implicit Optimizers for Vision Language Models
• Title（参考訳）: GLOV:視覚言語モデルのための暗黙の最適化手法としての大規模言語モデル
• Authors: M. Jehanzeb Mirza, Mengjie Zhao, Zhuoyuan Mao, Sivan Doveh, Wei Lin, Paul Gavrikov, Michael Dorkenwald, Shiqi Yang, Saurav Jha, Hiromi Wakaki, Yuki Mitsufuji, Horst Possegger, Rogerio Feris, Leonid Karlinsky, James Glass,
• Abstract要約: GLOVは、大型言語モデル(LLM)が視覚言語モデル(VLM)の暗黙エンコーダとして機能することを可能にする。 GLOVは、オブジェクト認識のためのデュアルエンコーダ(CLIP)とVLデコーダ(LlaVA)モデルに対して、最大15.0%と57.5%の性能向上を示す。
• 参考スコア（独自算出の注目度）: 44.82179903133343
• License:
• Abstract: In this work, we propose GLOV, which enables Large Language Models (LLMs) to act as implicit optimizers for Vision-Language Models (VLMs) to enhance downstream vision tasks. GLOV prompts an LLM with the downstream task description, querying it for suitable VLM prompts (e.g., for zero-shot classification with CLIP). These prompts are ranked according to their fitness for the downstream vision task. In each respective optimization step, the ranked prompts are fed as in-context examples (with their accuracies) to equip the LLM with the knowledge of the type of prompts preferred by the downstream VLM. Furthermore, we explicitly guide the LLM's generation at each optimization step by adding an offset vector -- calculated from the embedding differences between previous positive and negative solutions -- to the intermediate layer of the network for the next generation. This offset vector biases the LLM generation toward the type of language the downstream VLM prefers, resulting in enhanced performance on the downstream vision tasks. We comprehensively evaluate our GLOV on two tasks: object recognition and the critical task of enhancing VLM safety. Our GLOV shows performance improvement by up to 15.0% and 57.5% for dual-encoder (e.g., CLIP) and encoder-decoder (e.g., LlaVA) models for object recognition and reduces the attack success rate (ASR) on state-of-the-art VLMs by up to $60.7\%$.
• Abstract（参考訳）: 本研究では,大規模言語モデル (LLM) が視覚言語モデル (VLM) の暗黙の最適化機能として機能し,下流の視覚タスクを向上する GLOV を提案する。 GLOVは、下流のタスク記述でLLMをプロンプトし、適切なVLMプロンプト(例えば、CLIPによるゼロショット分類)に問い合わせる。 これらのプロンプトは、下流視覚タスクの適合度に応じてランク付けされる。 各最適化ステップにおいて、ランク付けされたプロンプトは、ダウンストリームのVLMで好まれるプロンプトのタイプに関する知識を LLM に装備するために、インコンテキストの例として(それらのアキュラシーと共に)供給される。 さらに,従来の正解と負解の埋め込み差から算出したオフセットベクトルを,次の世代のネットワーク中間層に付加することにより,各最適化ステップにおけるLCMの生成を明示的にガイドする。 このオフセットベクトルは、下流のVLMが好む言語の種類にLLM生成を偏り、下流の視覚タスクの性能が向上する。 我々は、オブジェクト認識とVLMの安全性を高めるための重要な2つのタスクについて、GLOVを包括的に評価する。 GLOVは、オブジェクト認識のためのデュアルエンコーダ(例:CLIP)とエンコーダデコーダ(例:LlaVA)モデルのパフォーマンスを最大15.0%、57.5%向上させ、最先端のVLMにおける攻撃成功率(ASR)を最大60.7$に下げる。

関連論文リスト

• Rethinking VLMs and LLMs for Image Classification [6.550471260627169]
  大きな言語モデル(LLM)は、新しい機能を実現するために、Visual Language Models(VLM)と統合されつつある。 オブジェクト認識やシーン認識では,LLMを使わないVLMの方が,VLMよりも優れた性能が得られることを示す。 本稿では,視覚的タスクをタスクに適したモデルに効率的にルーティングする,比較的小さなLCMを含む軽量な修正法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T23:40:21Z)
• LLM-wrapper: Black-Box Semantic-Aware Adaptation of Vision-Language Models for Referring Expression Comprehension [45.856469849910496]
  大規模言語モデル(LLM)を用いた参照表現(REC)タスクのための視覚言語モデル(VLM)の「ブラックボックス」適応法を提案する。 LLMはLLMの推論能力を活かし、軽微調整により改良され、参照表現にマッチする最も関連性の高いバウンディングボックスを選択する。 当社のアプローチでは,内部動作へのアクセスを必要とせずに,クローズドソースモデルの適応を可能にするという,いくつかの利点がある。
  論文  参考訳（メタデータ） (2024-09-18T12:32:25Z)
• MAPO: Boosting Large Language Model Performance with Model-Adaptive Prompt Optimization [73.7779735046424]
  異なるプロンプトを異なるLarge Language Models (LLM) に適応させることで,NLP の様々な下流タスクにまたがる機能の向上が期待できる。 次に、下流タスクにおける各LLMに対して、元のプロンプトを最適化するモデル適応プロンプト(MAPO)手法を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:39:59Z)
• CLAMP: Contrastive LAnguage Model Prompt-tuning [89.96914454453791]
  このように適応すれば,大規模な言語モデルでも優れた画像分類性能が得られることを示す。 我々のアプローチは最先端のmLLMを13%上回り、カスタムテキストモデルによる対照的な学習をわずかに上回ります。
  論文  参考訳（メタデータ） (2023-12-04T05:13:59Z)
• Language Models as Black-Box Optimizers for Vision-Language Models [62.80817942316398]
  Webスケールデータセットで事前トレーニングされた視覚言語モデル(VLM)は、最小限のデータで微調整された場合、下流タスクに顕著な機能を示す。 我々は,自然言語のプロンプトを通じてVLMを最適化するためのブラックボックスアプローチを開発することを目指している。
  論文  参考訳（メタデータ） (2023-09-12T04:03:41Z)
• LLMRec: Benchmarking Large Language Models on Recommendation Task [54.48899723591296]
  推奨領域におけるLarge Language Models (LLMs) の適用について, 十分に検討されていない。 我々は、評価予測、シーケンシャルレコメンデーション、直接レコメンデーション、説明生成、レビュー要約を含む5つのレコメンデーションタスクにおいて、市販のLLMをベンチマークする。 ベンチマークの結果,LLMは逐次的・直接的推薦といった精度に基づくタスクにおいて適度な熟練度しか示さないことがわかった。
  論文  参考訳（メタデータ） (2023-08-23T16:32:54Z)
• Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
  我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。