論文の概要: Red Teaming Visual Language Models
- arxiv url: http://arxiv.org/abs/2401.12915v1
- Date: Tue, 23 Jan 2024 17:07:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-24 14:54:24.226840
- Title: Red Teaming Visual Language Models
- Title(参考訳): レッドチームによるビジュアル言語モデル
- Authors: Mukai Li and Lei Li and Yuwei Yin and Masood Ahmed and Zhenguang Liu
and Qi Liu
- Abstract要約: 我々は,4つの主要な側面(忠実さ,プライバシ,安全,公正さ)の下に10のサブタスクを含む,新しいレッド・チーム・データセットRTVLMを提案する。
詳細な分析によると、オープンソースの10の有名なVLMは、異なる度合いでレッドチームと戦っており、GPT-4Vと最大31%のパフォーマンスギャップがある。
RTVLMを用いたLLaVA-v1.5とスーパーバイザードファインチューニング(SFT)を併用するだけで、RTVLMテストセットで10%、MM-Halで13%、MM-Benchで顕著に低下しないモデルの性能が向上する。
- 参考スコア(独自算出の注目度): 30.186149224773974
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: VLMs (Vision-Language Models) extend the capabilities of LLMs (Large Language
Models) to accept multimodal inputs. Since it has been verified that LLMs can
be induced to generate harmful or inaccurate content through specific test
cases (termed as Red Teaming), how VLMs perform in similar scenarios,
especially with their combination of textual and visual inputs, remains a
question. To explore this problem, we present a novel red teaming dataset
RTVLM, which encompasses 10 subtasks (e.g., image misleading, multi-modal
jail-breaking, face fairness, etc) under 4 primary aspects (faithfulness,
privacy, safety, fairness). Our RTVLM is the first red-teaming dataset to
benchmark current VLMs in terms of these 4 different aspects. Detailed analysis
shows that 10 prominent open-sourced VLMs struggle with the red teaming in
different degrees and have up to 31% performance gap with GPT-4V. Additionally,
we simply apply red teaming alignment to LLaVA-v1.5 with Supervised Fine-tuning
(SFT) using RTVLM, and this bolsters the models' performance with 10% in RTVLM
test set, 13% in MM-Hal, and without noticeable decline in MM-Bench,
overpassing other LLaVA-based models with regular alignment data. This reveals
that current open-sourced VLMs still lack red teaming alignment. Our code and
datasets will be open-source.
- Abstract(参考訳): VLM(Vision-Language Models)は、マルチモーダル入力を受け入れるためにLLM(Large Language Models)の機能を拡張する。
LLMが特定のテストケース(Red Teamingと呼ばれる)を通じて有害または不正確なコンテンツを生成することが検証されているので、VLMが同様のシナリオ、特にテキストとビジュアルの入力の組み合わせでどのように機能するかは疑問である。
この問題を解決するために,我々は,4つの主要な側面(ファシフルネス,プライバシ,安全性,フェアネス)の下で10のサブタスク(イメージミスリーディング,マルチモーダル脱獄,フェイスフェアネスなど)を包含する,新しいレッド・チーム・データセットrtvlmを提案する。
我々のRTVLMは、これらの4つの異なる側面から現在のVLMをベンチマークする最初の赤チームデータセットです。
詳細な分析によると、オープンソースの10の有名なVLMは、異なるレベルのレッドチームで苦労し、GPT-4Vと最大31%のパフォーマンスギャップを持つ。
さらに, RTVLM を用いて, LLaVA-v1.5 と Supervised Fine-tuning (SFT) を併用することで, RTVLM テストセットで10%, MM-Hal で13%, MM-Bench で13%, MM-Bench で顕著に低下せず, 通常のアライメントデータを用いた他の LLaVA ベースモデルをオーバーパスする。
これは、現在のオープンソースVLMにはまだレッドチームアライメントがないことを示している。
コードとデータセットはオープンソースになります。
関連論文リスト
- ImplicitAVE: An Open-Source Dataset and Multimodal LLMs Benchmark for Implicit Attribute Value Extraction [67.86012624533461]
ImplicitAVEは、暗黙の属性値抽出のための最初の、公開のマルチモーダルデータセットである。
データセットには5つのドメインにわたる68kのトレーニングと1.6kのテストデータが含まれている。
また,マルチモーダル大言語モデル(MLLM)の暗黙的AVEへの適用についても検討する。
論文 参考訳(メタデータ) (2024-04-24T01:54:40Z) - REQUAL-LM: Reliability and Equity through Aggregation in Large Language Models [10.684722193666607]
本稿では,信頼度の高い大規模言語モデル (LLM) の出力をアグリゲーションによって検出する新しい手法であるREQUAL-LMを紹介する。
具体的には、繰り返しサンプリングに基づくモンテカルロ法を開発し、可能な出力の基底分布の平均に近い信頼性のある出力を求める。
信頼性とバイアスといった用語を正式に定義し、信頼性の高いアウトプットを見つけながら有害なバイアスを最小限に抑えるために、株式を意識したアグリゲーションを設計する。
論文 参考訳(メタデータ) (2024-04-17T22:12:41Z) - Red Teaming GPT-4V: Are GPT-4V Safe Against Uni/Multi-Modal Jailbreak Attacks? [39.87609532392292]
この研究は、11の異なる安全ポリシーをカバーする1445の有害な質問を含む包括的なジェイルブレイク評価データセットを構築している。
GPT4 と GPT-4V は、オープンソースの LLM や MLLM と比較して、ジェイルブレイク攻撃に対する堅牢性を向上している。
Llama2とQwen-VL-Chatは、他のオープンソースモデルよりも堅牢である。
論文 参考訳(メタデータ) (2024-04-04T12:38:14Z) - Bridge the Modality and Capacity Gaps in Vision-Language Model Selection [60.049430086731846]
視覚言語モデル(VLM)は、画像とテキストのカテゴリ名とのペアリングによるゼロショット画像分類において優れている。
望まれるゼロショット画像分類戦略は、VLM動物園から最も適切な事前訓練VLMを選択することである。
本稿では,この言語のみのVLM選択において,VLMの能力を評価する上での2つの課題について分析する。
本稿では,これら2つのギャップの負の影響を軽減するために,gAp Bridging (SWAB)によるVLM選択を提案する。
論文 参考訳(メタデータ) (2024-03-20T17:54:58Z) - Optimizing LLM Queries in Relational Workloads [58.254894049950366]
本稿では,LLMをリレーショナルクエリ内で実行する解析処理に対して,LLM(Large Language Models)推論を最適化する方法を示す。
私たちはこれらの最適化をApache Sparkで実装し、vLLMをバックエンドとして提供しています。
実データセット上の多様なLLMベースのクエリのベンチマークで、エンドツーエンドのレイテンシを最大4.4倍改善する。
論文 参考訳(メタデータ) (2024-03-09T07:01:44Z) - The Neglected Tails of Vision-Language Models [54.03013753984983]
視覚言語モデル(VLM)はゼロショット認識において優れているが,その性能は視覚的概念によって大きく異なる。
ゼロショットVLMの不均衡性能を軽減するために,Retrieval-Augmented Learning (REAL)を提案する。
論文 参考訳(メタデータ) (2024-01-23T01:25:00Z) - Vision-Language Models are Zero-Shot Reward Models for Reinforcement Learning [12.628697648945298]
強化学習(Reinforcement Learning, RL)は、報酬関数を手動で指定するか、あるいは大量のフィードバックから報酬モデルを学ぶことを必要とする。
本稿では,事前学習された視覚言語モデル (VLM) をゼロショット報酬モデル (RM) として用いて,自然言語によるタスクの特定を行う。
論文 参考訳(メタデータ) (2023-10-19T17:17:06Z) - ViCor: Bridging Visual Understanding and Commonsense Reasoning with
Large Language Models [30.065805195156994]
視覚コモンセンス推論(VCR)のための事前学習型視覚言語モデル(VLM)と大規模言語モデル(LLM)の相乗的機能について検討する。
ViCor と名付けられた本手法では,事前学習した LLM が問題分類器として機能し,問題カテゴリを解析する。
2つのVCRベンチマークデータセット上でのフレームワークの評価を行い、ドメイン内教師あり微調整を必要としない他のメソッドよりも優れています。
論文 参考訳(メタデータ) (2023-10-09T17:10:35Z) - Can Large Language Models Infer Causation from Correlation? [104.96351414570239]
大規模言語モデル(LLM)の純粋因果推論スキルをテストする。
相関文の集合を取り、変数間の因果関係を決定する新しいタスクCorr2Causeを定式化する。
これらのモデルがタスクのランダムな性能にほぼ近い結果が得られることを示す。
論文 参考訳(メタデータ) (2023-06-09T12:09:15Z) - Test-Time Adaptation with CLIP Reward for Zero-Shot Generalization in
Vision-Language Models [76.410400238974]
モデル出力を補正し、モデルが盲目的に自信を持たないようにするためのフィードバック付きTTAを提案する。
CLIPモデルは、TTA中に報酬モデルとして採用され、VLMにフィードバックを提供する。
提案したCLIPフィードバック(RLCF)フレームワークによるテキスト強化学習は非常に柔軟で普遍的である。
論文 参考訳(メタデータ) (2023-05-29T11:03:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。