論文の概要: Stop Reasoning! When Multimodal LLM with Chain-of-Thought Reasoning Meets Adversarial Image

• arxiv url: http://arxiv.org/abs/2402.14899v3
• Date: Sun, 22 Sep 2024 14:46:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-09 04:32:42.313479
• Title: Stop Reasoning! When Multimodal LLM with Chain-of-Thought Reasoning Meets Adversarial Image
• Title（参考訳）: マルチモーダルLDMとチェーン・オブ・ソート推論が相反する画像に出会うとき
• Authors: Zefeng Wang, Zhen Han, Shuo Chen, Fan Xue, Zifeng Ding, Xun Xiao, Volker Tresp, Philip Torr, Jindong Gu,
• Abstract要約: MLLMを用いたより優れた推論を実現するために、CoT推論(Chain-of-Thought)が広く研究されている。 近年の研究では、MLLMはいまだに敵対的なイメージに悩まされている。 提案手法は,CoT推論過程をバイパスしながらモデルに攻撃を与える手法である。
• 参考スコア（独自算出の注目度）: 40.01901770193044
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal LLMs (MLLMs) with a great ability of text and image understanding have received great attention. To achieve better reasoning with MLLMs, Chain-of-Thought (CoT) reasoning has been widely explored, which further promotes MLLMs' explainability by giving intermediate reasoning steps. Despite the strong power demonstrated by MLLMs in multimodal reasoning, recent studies show that MLLMs still suffer from adversarial images. This raises the following open questions: Does CoT also enhance the adversarial robustness of MLLMs? What do the intermediate reasoning steps of CoT entail under adversarial attacks? To answer these questions, we first generalize existing attacks to CoT-based inferences by attacking the two main components, i.e., rationale and answer. We find that CoT indeed improves MLLMs' adversarial robustness against the existing attack methods by leveraging the multi-step reasoning process, but not substantially. Based on our findings, we further propose a novel attack method, termed as stop-reasoning attack, that attacks the model while bypassing the CoT reasoning process. Experiments on three MLLMs and two visual reasoning datasets verify the effectiveness of our proposed method. We show that stop-reasoning attack can result in misled predictions and outperform baseline attacks by a significant margin.
• Abstract（参考訳）: テキストや画像の理解能力に優れたマルチモーダルLLM(MLLM)が注目されている。 MLLMを用いたより優れた推論を実現するために、CoT推論が広く研究され、中間的推論ステップを与えることでMLLMの説明可能性をさらに向上させる。 MLLMによるマルチモーダル推論の強い力にもかかわらず、最近の研究はMLLMがいまだに敵対的なイメージに悩まされていることを示している。 CoTはまた、MLLMの対角的堅牢性を強化しますか? CoTの中間的推論ステップは、敵対的攻撃にどのような意味があるのか? これらの質問に答えるために、我々はまず、CoTベースの推論に対する既存の攻撃を2つの主要なコンポーネント、すなわち理性と答えを攻撃することによって一般化する。 CoTは,マルチステップ推論プロセスを活用することで,既存の攻撃手法に対するMLLMの対角的堅牢性を向上させるが,実質的には向上しない。 そこで本研究では,CoT推論過程をバイパスしながらモデルを攻撃する新たな攻撃手法を提案する。 3つのMLLMと2つの視覚的推論データセットによる実験により,提案手法の有効性が検証された。 本研究は, 停止共振攻撃は, 誤認予測やベースライン攻撃の精度を著しく向上させる可能性があることを示す。

関連論文リスト

• Can Multimodal Large Language Model Think Analogically? [9.517193263050228]
  MLLM(Multimodal Large Language Model)は、その創発的な機能のために最近、かなりの議論を巻き起こした。 説明者としてのtextitMLLM と予測者としての textitMLLM の2つの側面を探索する。 本稿では、MLLMの理解能力を利用して既存のモデルを拡張する統一的なプロンプトテンプレートと手法を提案する。
  論文  参考訳（メタデータ） (2024-11-02T16:59:49Z)
• Human-Interpretable Adversarial Prompt Attack on Large Language Models with Situational Context [49.13497493053742]
  本研究は,無意味な接尾辞攻撃を状況駆動型文脈書き換えによって意味のあるプロンプトに変換することを検討する。 我々は、独立して意味のある敵の挿入と映画から派生した状況を組み合わせて、LLMを騙せるかどうかを確認します。 当社のアプローチでは,オープンソースとプロプライエタリなLLMの両方で,状況駆動型攻撃を成功させることが実証されている。
  論文  参考訳（メタデータ） (2024-07-19T19:47:26Z)
• Look Before You Decide: Prompting Active Deduction of MLLMs for Assumptive Reasoning [68.83624133567213]
  そこで本研究では,MLLMの最も普及している手法が,その問題に先入観を導入することで,容易に騙せることを示す。 また, モデルに対して, 合成推論を積極的に行うための, 単純かつ効果的な手法であるアクティブ推論(AD)を提案する。
  論文  参考訳（メタデータ） (2024-04-19T15:53:27Z)
• Quantifying and Mitigating Unimodal Biases in Multimodal Large Language Models: A Causal Perspective [9.633811630889237]
  本稿では,視覚質問応答(VQA)問題におけるバイアスを解釈するための因果的枠組みを提案する。 マルチホップ推論を必要とする12,000の挑戦VQAインスタンスを備えた新しいデータセットを導入する。 実験の結果, MLLMはMOREに悪影響を及ぼし, 強い一方向偏差と限定的な意味理解を示すことがわかった。
  論文  参考訳（メタデータ） (2024-03-27T08:38:49Z)
• Large Language Models as an Indirect Reasoner: Contrapositive and Contradiction for Automated Reasoning [79.37150041259066]
  本稿では, 事実推論や数学的証明といったIR課題に対処するために, 反陽性と矛盾の論理を用いた間接推論(IR)手法を提案する。 GPT-3.5-turbo や Gemini-pro などの一般的な LLM の実験結果から,我々のIR 法は事実推論の総合的精度を27.33%,数学的証明を31.43%向上させることを示した。
  論文  参考訳（メタデータ） (2024-02-06T03:41:12Z)
• MLLM-Protector: Ensuring MLLM's Safety without Hurting Performance [36.03512474289962]
  本稿では,視覚入力による悪意ある攻撃に対してMLLMを防御する新たな課題について検討する。 画像は、安全アライメントの間に考慮されていない「外国語として機能する」ため、MLLMは有害な反応を生じやすい。 MLLM-Protectorは,1)軽量害検知器による有害応答の同定,2)除毒器による有害応答の無害化という2つのサブタスクを解決するためのプラグアンドプレイ戦略である。
  論文  参考訳（メタデータ） (2024-01-05T17:05:42Z)
• SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks [99.23352758320945]
  SmoothLLMは,大規模言語モデル(LLM)に対するジェイルブレーキング攻撃を軽減するために設計された,最初のアルゴリズムである。 敵が生成したプロンプトが文字レベルの変化に対して脆弱であることから、我々の防衛はまず、与えられた入力プロンプトの複数のコピーをランダムに摂動し、対応する予測を集約し、敵の入力を検出する。
  論文  参考訳（メタデータ） (2023-10-05T17:01:53Z)
• MathAttack: Attacking Large Language Models Towards Math Solving Ability [29.887497854000276]
  本稿では,数学問題の解法におけるセキュリティの本質に近いMWPサンプルを攻撃するためのMathAttackモデルを提案する。 攻撃中は、元のMWPの数学的論理を保存することが不可欠である。 RobustMathと別の2つの数学ベンチマークGSM8KとMultiAirthデータセットの大規模な実験は、MathAttackがLLMの数学問題解決能力を効果的に攻撃できることを示している。
  論文  参考訳（メタデータ） (2023-09-04T16:02:23Z)
• Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate [85.3444184685235]
  複数のエージェントが"tit for tat"の状態で議論を表現するマルチエージェント議論(MAD)フレームワークを提案し、審査員が議論プロセスを管理して最終解を得る。 我々のフレームワークは、深い熟考を必要とするタスクに役立ちそうなLSMにおける散発的思考を奨励する。
  論文  参考訳（メタデータ） (2023-05-30T15:25:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。