論文の概要: Stop Reasoning! When Multimodal LLMs with Chain-of-Thought Reasoning
Meets Adversarial Images
- arxiv url: http://arxiv.org/abs/2402.14899v1
- Date: Thu, 22 Feb 2024 17:36:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-26 16:37:37.104400
- Title: Stop Reasoning! When Multimodal LLMs with Chain-of-Thought Reasoning
Meets Adversarial Images
- Title(参考訳): 理屈はやめろ!
マルチモーダルLLMとチェーン・オブ・ソート推論が対向画像と出会うとき
- Authors: Zefeng Wang, Zhen Han, Shuo Chen, Fan Xue, Zifeng Ding, Xun Xiao,
Volker Tresp, Philip Torr, Jindong Gu
- Abstract要約: マルチモーダルLLM(MLLM)において,CoT推論が広く研究されている。
本研究は,CoT推論を用いたMLLMの対角的ロバスト性を評価する。
本稿では,CoTによる拡張を効果的に回避する新しい停止推論攻撃手法を提案する。
- 参考スコア(独自算出の注目度): 41.52396818928159
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, Multimodal LLMs (MLLMs) have shown a great ability to understand
images. However, like traditional vision models, they are still vulnerable to
adversarial images. Meanwhile, Chain-of-Thought (CoT) reasoning has been widely
explored on MLLMs, which not only improves model's performance, but also
enhances model's explainability by giving intermediate reasoning steps.
Nevertheless, there is still a lack of study regarding MLLMs' adversarial
robustness with CoT and an understanding of what the rationale looks like when
MLLMs infer wrong answers with adversarial images. Our research evaluates the
adversarial robustness of MLLMs when employing CoT reasoning, finding that CoT
marginally improves adversarial robustness against existing attack methods.
Moreover, we introduce a novel stop-reasoning attack technique that effectively
bypasses the CoT-induced robustness enhancements. Finally, we demonstrate the
alterations in CoT reasoning when MLLMs confront adversarial images, shedding
light on their reasoning process under adversarial attacks.
- Abstract(参考訳): 近年,MLLM(Multimodal LLM)は画像の理解に優れた能力を示している。
しかし、従来の視覚モデルと同様に、敵画像に対して脆弱である。
一方、MLLMはモデルの性能を向上するだけでなく、中間的推論ステップを与えることでモデルの説明可能性を向上させる。
それにもかかわらず、MLLMsのCoTとの敵対的堅牢性や、MLLMsが逆画像で間違った答えを推測するときの理屈の理解についてはまだ研究されていない。
本研究は,CoT推論を用いたMLLMの対角的ロバスト性を評価し,既存の攻撃方法に対する対角的ロバスト性を改善することを発見した。
さらに,CoTによるロバスト性向上を効果的に回避する新しいストップレゾン攻撃手法を提案する。
最後に, MLLMが対向画像と対向したときのCoT推論の変化を実証し, 対向攻撃時の推論過程に光を当てる。
関連論文リスト
- Eyes Can Deceive: Benchmarking Counterfactual Reasoning Abilities of Multi-modal Large Language Models [71.34097831618631]
textbfCountertextbfFactual textbfMultitextbfModal reasoning benchmark(略して textbfCFMM)を導入する。
我々のCFMMは6つの課題からなる。
既存のMLLMは、自分たちが見ているものを信じることを好むが、その疑問に提示される反実的な前提を無視している。
論文 参考訳(メタデータ) (2024-04-19T15:53:27Z) - FMM-Attack: A Flow-based Multi-modal Adversarial Attack on Video-based LLMs [57.59518049930211]
本稿では,ビデオベース大規模言語モデル (LLM) に適した最初の敵攻撃を提案する。
我々の攻撃は、ビデオに知覚不能な逆方向の摂動を加えると、ビデオベースのLCMを効果的に誘導し、誤った回答を発生させる。
我々のFMM-Attackは、モデル出力のギャンブルを誘導し、ビデオベースのLCMを幻覚させる。
論文 参考訳(メタデータ) (2024-03-20T11:05:07Z) - LLM-Resistant Math Word Problem Generation via Adversarial Attacks [6.92510069380188]
大型言語モデル(LLM)は教育の景観を大きく変えた。
現在の盗作検出ツールがLDMのペースを維持するのに苦労しているため、教育コミュニティは学生の真の問題解決能力を評価するという課題に直面している。
評価を目的とした質問の構造と難易度を保持する逆例を生成するが,LLMでは解けない。
論文 参考訳(メタデータ) (2024-02-27T22:07:52Z) - On the Robustness of Large Multimodal Models Against Image Adversarial
Attacks [81.2935966933355]
大規模マルチモーダルモデル(LMM)に対する視覚的敵攻撃の影響について検討する。
一般的に,LMMは視覚的逆入力に対して頑健ではない。
本稿では,クエリ分解と呼ばれる実世界の画像分類への新たなアプローチを提案する。
論文 参考訳(メタデータ) (2023-12-06T04:59:56Z) - Transfer Attacks and Defenses for Large Language Models on Coding Tasks [30.065641782962974]
大規模言語モデル(LLM)を用いた符号化作業における対向的摂動の影響について検討する。
本稿では,逆方向の摂動を逆転させるために,逆方向の摂動コードや明示的な指示の例を含むようにプロンプトを変更するプロンプトベースの防御手法を提案する。
実験の結果、より小さなコードモデルで得られた逆例は確かに転送可能であり、LLMの性能は低下していることがわかった。
論文 参考訳(メタデータ) (2023-11-22T15:11:35Z) - Mind's Mirror: Distilling Self-Evaluation Capability and Comprehensive Thinking from Large Language Models [20.28989820878285]
大規模言語モデル (LLM) は自然言語処理において顕著な進歩を遂げている。
これらのモデルの大規模かつ計算的な要求は、資源に制約のある環境での実践的展開を考えると、大きな課題となる。
論文 参考訳(メタデータ) (2023-11-15T18:56:23Z) - Visual Adversarial Examples Jailbreak Aligned Large Language Models [66.53468356460365]
視覚入力の連続的かつ高次元的な性質は、敵対的攻撃に対する弱いリンクであることを示す。
我々は、視力統合されたLLMの安全ガードレールを回避するために、視覚的敵の例を利用する。
本研究は,マルチモダリティの追求に伴う敵のエスカレーションリスクを浮き彫りにする。
論文 参考訳(メタデータ) (2023-06-22T22:13:03Z) - Encouraging Divergent Thinking in Large Language Models through
Multi-Agent Debate [56.23037393834715]
複数のエージェントが"tit for tat"の状態で議論を表現するマルチエージェント議論(MAD)フレームワークを提案し、審査員が議論プロセスを管理して最終解を得る。
我々のフレームワークは、深い熟考を必要とするタスクに役立ちそうなLSMにおける散発的思考を奨励する。
論文 参考訳(メタデータ) (2023-05-30T15:25:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。