論文の概要: One Anchor for All: Unified Multilingual and Multimodal Safety Alignment for LVLMs
- arxiv url: http://arxiv.org/abs/2607.27917v1
- Date: Thu, 30 Jul 2026 09:30:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-31 21:37:00.487593
- Title: One Anchor for All: Unified Multilingual and Multimodal Safety Alignment for LVLMs
- Title（参考訳）: 一つのアンカー:LVLM用統一多言語・マルチモーダル安全アライメント
- Abstract要約: モーダリティと言語共有型安全ニューロン(MLS-Neurons)によって駆動されるニューロンレベルのクロス次元安全アライメントフレームワークを提案する。
提案手法は,多言語およびマルチモーダルの安全性ベンチマークにおいて,最先端のアプローチを著しく上回っている。
- 参考スコア（独自算出の注目度）: 63.29484454957031
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As large vision-language models (LVLMs) are deployed globally, the combination of multilingual instructions and visual information makes malicious attacks more covert and sophisticated than ever before. However, existing methods isolate language and modality defenses, which, coupled with the scarcity of safety data and high fine-tuning costs, makes it difficult for models to defend against compound attacks. To address this severe challenge, we propose a neuron-level cross-dimensional safety alignment framework driven by modality- and language-shared safety neurons (MLS-Neurons). First, we identify monolingual and unimodal safety neurons by comparing responses to harmful and benign samples, quantifying functional saliency through activation strength and downstream impact. Then, by intersecting these unimodal neurons within each language, we extract modality-shared safety neurons (MS-Neurons) responsive to both visual and textual risks, bridging the safety representation gap between modalities. Furthermore, using English as a semantic anchor, we intersect MS-Neurons across languages to identify modality- and language-shared safety neurons (MLS-Neurons), serving as key defenses against compound attacks. Finally, we update only this minimal subset of shared neurons (~0.03% of parameters), transferring English-only safety supervision to multilingual and multimodal scenarios. Extensive experiments show that our method significantly outperforms state-of-the-art approaches across diverse multilingual and multimodal safety benchmarks while preserving general utility.
- Abstract（参考訳）: 大規模な視覚言語モデル(LVLM)が世界中に展開されるにつれて、多言語命令と視覚情報の組み合わせにより、悪意のある攻撃がこれまで以上に隠蔽され、洗練されたものになる。
しかし、既存の手法では、安全データの不足と高い微調整コストが相まって、複合攻撃に対する防御が困難である言語とモダリティの防衛を分離している。
このような深刻な課題に対処するために、モーダリティと言語共有型安全ニューロン(MLS-Neurons)を駆動するニューロンレベルのクロス次元安全アライメントフレームワークを提案する。
まず, 有害および良性サンプルに対する応答と, 活性化強度と下流衝撃による機能的塩分濃度の定量化により, モノリンガルニューロンと単言語ニューロンを同定する。
そして,各言語内でこれらの一母性ニューロンを交差させることで,視覚的・テキスト的リスクに応答するモダリティ共有型安全ニューロン(MS-Neurons)を抽出し,モダリティ間の安全表現ギャップを埋める。
さらに,英語を意味的アンカーとして用いることで,言語間のMS-Neuronsの相互干渉を行い,MLS-Neurons(Modality- and Language-Shared Safety Neuro)を同定し,複合攻撃に対する重要な防御効果を示す。
最後に、この最小限の共有ニューロン(パラメータの0.03%)のみを更新し、英語のみの安全管理を多言語およびマルチモーダルシナリオに転送する。
大規模実験により,本手法は多言語および多モーダルの安全性ベンチマークにおいて,汎用性を保ちながら,最先端のアプローチを著しく上回っていることがわかった。
関連論文リスト
- The Illusion of Cross-Lingual Safety in Low-Resource Languages [7.471112976694495]
大規模言語モデル (LLM) における安全性の整合性は、多言語設定にまたがって一般化されることを前提として、主に英語で開発されている。
文化的な局所的なプロンプトとリテラル翻訳を組み合わせた新しい安全データセットであるLoDNAを用いて,アフリカ4言語(Twi,Hausa,Amharic,Swahili)の言語間安全トランスファーを調査した。
実験の結果, 言語間の安全伝達は極めて限定的であり, 有害なプロンプトはほとんどの言語モデルペアで英語の拒絶信号の10%未満を維持していることがわかった。
論文 参考訳（メタデータ） (2026-08-11T17:05:26Z) - No Single Neuron of Failure: Distributed Safety Alignment Against White-Box Attacks [61.07406641465909]
複数の計算ニューロンにまたがる安全性を符号化した分散安全アライメントを提案する。
DSAは、汎用言語とマルチモーダルユーティリティを保ちながら、ホワイトボックスニューロンレベルの安全攻撃に対して大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2026-08-02T17:49:07Z) - SafeNexus: Discovering and Steering Modality-Universal Safety Neurons in MLLMs [69.51621286001262]
我々は、専用のニューロンレベルの介入戦略を採用する、モーダル間安全アライメントフレームワークであるSafeNexusを紹介する。
我々は、モダリティ結合型安全ニューロン(BS-Neurons)を同定し、各モダリティ内の安全行動の調節におけるそれらの役割を検証した。
我々は,アクティベーションレベル安全増幅器と安全ニューロン校正器の2つの安全アライメント戦略を提案する。
論文 参考訳（メタデータ） (2026-07-31T02:45:56Z) - Exploring Adversarial Robustness and Safety Alignment in Multilingual Multi-Modal Large Language Models [37.24612885977265]
マルチモーダル大規模言語モデルでは、視覚認識を言語推論に統合し、敵対的攻撃を受けやすい連続的な攻撃面を導入する。
MLLMの以前の研究は、主に英語中心のタスクに焦点を合わせており、多言語的な振る舞いは未調査のままである。
本研究は,12言語にまたがる対向的ロバスト性とマルチモーダル安全性について検討し,インストラクションチューニングによる多言語能力を得るオープンソースMLLMを評価した。
論文 参考訳（メタデータ） (2026-06-02T15:42:10Z) - Multilingual Safety Alignment via Self-Distillation [17.94152626632751]
大規模言語モデル (LLM) は、重度の多言語的安全性のミスアライメントを示す。
マルチリンガル自己蒸留(Multilingual Self-Distillation:MSD)という,言語横断型セーフガード転送フレームワークを提案する。
私たちのフレームワークは柔軟で、さまざまな自己蒸留戦略に統合できます。
論文 参考訳（メタデータ） (2026-05-03T14:22:49Z) - Multilingual Refusal Alignment for Safer Large Language Models [53.64286756804503]
単言語アライメントが言語横断的に伝達されるか,トレーニング中に言語一貫性が保たれるか,一般的な知識能力とのトレードオフが生じるかを検討する。
RefusEUは、12のヨーロッパ言語をカバーする新しい拒絶アライメントデータセットであり、現在の最先端モデルを評価するための専用のテストセットを含む。
制御された直接選好最適化(DPO)実験は、2つの重要な洞察を提供する: 英語でのみモデルを整列することは、同じハーネスカテゴリであっても、言語間安全を保証するには不十分である。
論文 参考訳（メタデータ） (2026-04-24T09:29:14Z) - Precise Shield: Explaining and Aligning VLLM Safety via Neuron-Level Guidance [64.18179414483966]
実世界のデプロイメントでは、VLLM(Vision-Language Large Models)は、多言語およびマルチモーダル複合攻撃による重要な課題に直面している。
危険入力と良入力のアクティベーションパターンを対比することにより、まず安全ニューロンを識別する2段階のフレームワークであるPrecise Shieldを提案する。
この戦略は多言語および多モーダルの一般化を維持しながら安全性を大幅に向上させる。
論文 参考訳（メタデータ） (2026-04-10T02:42:52Z) - Who Transfers Safety? Identifying and Targeting Cross-Lingual Shared Safety Neurons [49.772147495578736]
言語間共有安全ニューロン(SS-Neurons)は、言語間の安全行動を制御する。
本稿では,言語資源分布とモデルアーキテクチャに基づいて,SS-Neuronsをターゲットにしたニューロン指向のトレーニング戦略を提案する。
論文 参考訳（メタデータ） (2026-02-01T15:28:02Z) - Align is not Enough: Multimodal Universal Jailbreak Attack against Multimodal Large Language Models [83.80177564873094]
マルチモーダル・ユニバーサル・ジェイルブレイク・アタック・フレームワークを提案する。
LLaVA,Yi-VL,MiniGPT4,MiniGPT-v2,InstructBLIPなどのMLLMの望ましくないコンテキスト生成を評価する。
本研究は,MLLMにおける堅牢な安全対策の必要性を浮き彫りにするものである。
論文 参考訳（メタデータ） (2025-06-02T04:33:56Z) - MPO: Multilingual Safety Alignment via Reward Gap Optimization [88.76638442683391]
大規模言語モデル(LLM)は、世界中でAIアプリケーションの中心となっている。
RLHFやDPOのような既存の安全アライメントのための選好学習手法は、主に単言語であり、ノイズの多い多言語データと競合する。
本稿では,複数言語間の安全アライメントを改善するために,支配言語(英語)の安全能力の整合性を活用した新しいアプローチである多言語報酬gaP Optimization(MPO)を紹介する。
論文 参考訳（メタデータ） (2025-05-22T16:24:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。