論文の概要: Exploring Adversarial Robustness and Safety Alignment in Multilingual Multi-Modal Large Language Models

• arxiv url: http://arxiv.org/abs/2606.03793v1
• Date: Tue, 02 Jun 2026 15:42:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:05.117492
• Title: Exploring Adversarial Robustness and Safety Alignment in Multilingual Multi-Modal Large Language Models
• Title（参考訳）: 多言語多モード大言語モデルにおける対数ロバスト性と安全性アライメントの探索
• Authors: Hashmat Shadab Malik, Muzammal Naseer, Salman Khan,
• Abstract要約: マルチモーダル大規模言語モデルでは、視覚認識を言語推論に統合し、敵対的攻撃を受けやすい連続的な攻撃面を導入する。 MLLMの以前の研究は、主に英語中心のタスクに焦点を合わせており、多言語的な振る舞いは未調査のままである。 本研究は,12言語にまたがる対向的ロバスト性とマルチモーダル安全性について検討し,インストラクションチューニングによる多言語能力を得るオープンソースMLLMを評価した。
• 参考スコア（独自算出の注目度）: 37.24612885977265
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal Large Language Models integrate visual perception into language reasoning, introducing a continuous attack surface susceptible to adversarial attacks. Prior work on MLLM robustness has focused largely on English-centric tasks, leaving multilingual behaviour unexplored. We address this gap through a systematic study of adversarial robustness and multimodal safety across 12 diverse languages, evaluating open-source MLLMs that acquire multilingual capability through instruction tuning. Gradient-based attacks reveal a transferable multilingual vulnerability: adversarial images optimized in one language continue to induce failure in others, demonstrating strong cross-lingual transferability. Multilingual safety further varies with how effectively a model retrieves or interprets harmful instructions. When harmful intent is issued through text, languages with stronger linguistic grounding more often elicit misuse-enabling responses, while weaker languages produce fewer unsafe outputs. When embedded in the image as typographic content, English scripts are reliably recognised and followed, whereas non-English scripts are rarely parsed by the vision encoder. Lower-resource languages may therefore appear safer, but this is an artefact of comprehension and visual-grounding failures rather than genuine alignment, a phenomenon we term safety-by-failure. In contrast, MLLMs that build multilingual capability throughout their training stages rather than only at instruction tuning, such as Qwen3-VL, exhibit genuine cross-lingual safety, maintaining active refusal across languages rather than masking comprehension failure. Shallow multilingual adaptation, such as fine-tuning on translated instruction data, may produce surface-level understanding that creates illusory safety in low-resource languages; deeper integration across training stages leads to genuine multilingual safety alignment.
• Abstract（参考訳）: マルチモーダル大規模言語モデルでは、視覚認識を言語推論に統合し、敵対的攻撃を受けやすい連続的な攻撃面を導入する。 MLLMのロバスト性に関する以前の研究は、主に英語中心のタスクに焦点を合わせており、多言語的振る舞いは未探索のままである。 本研究は,12言語にまたがる対向ロバスト性とマルチモーダル安全性の体系的な研究を通じて,このギャップに対処し,インストラクションチューニングによるマルチリンガル能力を取得するオープンソースMLLMを評価した。 グラディエントベースの攻撃は、転送可能な多言語的脆弱性を明らかにしている。ある言語で最適化された敵対的イメージは、他の言語で障害を誘発し続け、強い言語間転送可能性を示している。 マルチリンガル安全性は、モデルが有害な命令を効果的に取得または解釈する方法によってさらに異なる。 テキストを通じて有害な意図が発行されると、より強力な言語基盤を持つ言語は、誤用を誘発する応答をしばしば引き起こすが、弱い言語はより安全でない出力を少なくする。 画像にタイポグラフィーコンテンツとして埋め込まれた場合、英語のスクリプトは確実に認識され、その後続くが、非英語のスクリプトは視覚エンコーダによって解析されることは滅多にない。 そのため、低リソース言語はより安全に見えるかもしれないが、これは真のアライメントというよりも、理解と視覚的な失敗の人工物であり、我々はセーフ・バイ・フェイル(Safety-by-failure)と呼ぶ現象である。 対照的に、Qwen3-VLのような命令チューニングだけでなく、トレーニング段階を通して多言語機能を構築するMLLMは、真の言語間安全性を示し、理解障害を隠蔽するのではなく、言語間のアクティブな拒絶を維持している。 翻訳された命令データに対する微調整などの浅層多言語適応は、低リソース言語における悪質な安全性を生み出す表面レベルの理解を生み出す可能性がある。

関連論文リスト

• Multilingual Safety Alignment via Self-Distillation [17.94152626632751]
  大規模言語モデル (LLM) は、重度の多言語的安全性のミスアライメントを示す。 マルチリンガル自己蒸留(Multilingual Self-Distillation:MSD)という,言語横断型セーフガード転送フレームワークを提案する。 私たちのフレームワークは柔軟で、さまざまな自己蒸留戦略に統合できます。
  論文  参考訳（メタデータ） (2026-05-03T14:22:49Z)
• Precise Shield: Explaining and Aligning VLLM Safety via Neuron-Level Guidance [64.18179414483966]
  実世界のデプロイメントでは、VLLM(Vision-Language Large Models)は、多言語およびマルチモーダル複合攻撃による重要な課題に直面している。 危険入力と良入力のアクティベーションパターンを対比することにより、まず安全ニューロンを識別する2段階のフレームワークであるPrecise Shieldを提案する。 この戦略は多言語および多モーダルの一般化を維持しながら安全性を大幅に向上させる。
  論文  参考訳（メタデータ） (2026-04-10T02:42:52Z)
• MPO: Multilingual Safety Alignment via Reward Gap Optimization [88.76638442683391]
  大規模言語モデル(LLM)は、世界中でAIアプリケーションの中心となっている。 RLHFやDPOのような既存の安全アライメントのための選好学習手法は、主に単言語であり、ノイズの多い多言語データと競合する。 本稿では,複数言語間の安全アライメントを改善するために,支配言語(英語)の安全能力の整合性を活用した新しいアプローチである多言語報酬gaP Optimization(MPO)を紹介する。
  論文  参考訳（メタデータ） (2025-05-22T16:24:51Z)
• MrGuard: A Multilingual Reasoning Guardrail for Universal LLM Safety [56.77103365251923]
  大規模言語モデル(LLM)は、ジェイルブレイクのような敵の攻撃を受けやすい。 この脆弱性は、多言語セーフティアライメントされたデータが制限される多言語設定で悪化する。 素早い分類のための多言語ガードレールを提案する。
  論文  参考訳（メタデータ） (2025-04-21T17:15:06Z)
• Lens: Rethinking Multilingual Enhancement for Large Language Models [70.85065197789639]
  大規模言語モデル(LLM)における多言語機能向上のための新しいアプローチであるLensを提案する。 Lensは2つの部分空間で機能する: 言語に依存しない部分空間で、ターゲット言語と中心言語を一致させて強力な意味表現を継承する部分空間、言語固有の部分空間で、ターゲット言語と中心言語を分離して言語的特異性を保存する部分空間である。 レンズは、モデルの英語能力を維持しながら、多言語のパフォーマンスを著しく向上させ、既存の訓練後のアプローチと比べて計算コストの低い結果を得る。
  論文  参考訳（メタデータ） (2024-10-06T08:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。