論文の概要: Feature-Space Adversarial Robustness Certification for Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2601.16200v2
• Date: Tue, 27 Jan 2026 19:02:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-29 13:43:09.160239
• Title: Feature-Space Adversarial Robustness Certification for Multimodal Large Language Models
• Title（参考訳）: マルチモーダル大言語モデルのための特徴空間逆ロバスト性証明
• Authors: Song Xia, Meiwen Ding, Chenqi Kong, Wenhan Yang, Xudong Jiang,
• Abstract要約: MLLM(Multimodal large language model)は、様々なアプリケーションにまたがる強力な機能を示す。 MLLMは、その特徴表現を歪め、誤った予測を誘発する敵の摂動に弱い。 本稿では,MLLMの特徴表現レベルにおいて,信頼性の高いロバスト性保証を提供する汎用フレームワークであるFeature-space Smoothing(FS)を提案する。
• 参考スコア（独自算出の注目度）: 59.6491828112519
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal large language models (MLLMs) exhibit strong capabilities across diverse applications, yet remain vulnerable to adversarial perturbations that distort their feature representations and induce erroneous predictions. To address this vulnerability, we propose Feature-space Smoothing (FS), a general framework that provides certified robustness guarantees at the feature representation level of MLLMs. We theoretically prove that FS converts a given feature extractor into a smoothed variant that is guaranteed a certified lower bound on the cosine similarity between clean and adversarial features under $\ell_2$-bounded perturbations. Moreover, we establish that the value of this Feature Cosine Similarity Bound (FCSB) is determined by the intrinsic Gaussian robustness score of the given encoder. Building on this insight, we introduce the Gaussian Smoothness Booster (GSB), a plug-and-play module that enhances the Gaussian robustness score of pretrained MLLMs, thereby strengthening the robustness guaranteed by FS, without requiring additional MLLM retraining. Extensive experiments demonstrate that applying the FS to various MLLMs yields strong certified feature-space robustness and consistently leads to robust task-oriented performance across diverse applications.
• Abstract（参考訳）: MLLM(Multimodal large language model)は、様々なアプリケーションにまたがる強力な能力を示すが、それらの特徴表現を歪ませ、誤った予測を誘導する敵の摂動に弱いままである。 この脆弱性に対処するため,MLLMの特徴表現レベルで信頼性保証を提供する汎用フレームワークであるFeature-space Smoothing (FS)を提案する。 理論的には、FS が与えられた特徴抽出器を、$\ell_2$-bounded 摂動の下でのクリーンな特徴と対角的特徴のコサイン類似性に基づく証明された下界が保証される滑らかな変種に変換することを証明している。 さらに、この特徴コサイン類似性境界(FCSB)の値は、与えられたエンコーダの固有ガウスロバスト性スコアによって決定される。 この知見に基づいて,プリトレーニングされたMLLMのガウス的ロバスト性スコアを高めるプラグイン・アンド・プレイモジュールであるGaussian Smoothness Booster (GSB)を導入し,追加のMLLM再トレーニングを必要とせず,FSが保証するロバスト性を強化する。 広範囲な実験により、FSを様々なMLLMに適用すると、強力な特徴空間の堅牢性が得られ、多様なアプリケーションにまたがるタスク指向のパフォーマンスが一貫して向上することが示された。

関連論文リスト

• Uncertainty Quantification for Multimodal Large Language Models with Incoherence-adjusted Semantic Volume [45.38219855706969]
  マルチモーダル大規模言語モデル(MLLM)のためのトレーニング不要不確実性定量化フレームワークUMPIREを紹介する。 UMPIREは、与えられたタスクインスタンスに対するサンプルMLLM応答の不整合調整セマンティックボリュームを計算する。 UMPIREは、画像、音声、ビデオテキストのベンチマークにおいて、エラー検出と不確実性校正において、基準値よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2026-02-27T17:18:42Z)
• MASPO: Unifying Gradient Utilization, Probability Mass, and Signal Reliability for Robust and Sample-Efficient LLM Reasoning [16.012761588513026]
  Reinforcement Learning with Verifiable Rewards (RLVR)アルゴリズムは、剛性、均一性、および対称性のある信頼領域機構に依存している。 本稿では,これらの3次元を調和させる統合フレームワークであるMass-Adaptive Soft Policy Optimization (MASPO)を提案する。 MASPOは、勾配ユーティリティを最大化するために、微分可能なソフトガウスゲーティングと、確率スペクトル間の探索のバランスをとる質量適応リミッタと、信号の信頼性を調整するための非対称リスクコントローラを統合している。
  論文  参考訳（メタデータ） (2026-02-19T17:05:20Z)
• Trust in One Round: Confidence Estimation for Large Language Models via Structural Signals [13.89434979851652]
  大規模言語モデル(LLM)は、エラーが社会的、科学的、安全コストの高い領域にますます展開されている。 本稿では,出力の正確性を予測する単一パスモデル依存フレームワークであるStructure Confidenceを提案する。
  論文  参考訳（メタデータ） (2026-02-01T02:35:59Z)
• MS-ISSM: Objective Quality Assessment of Point Clouds Using Multi-scale Implicit Structural Similarity [65.85858856481131]
  点雲の非構造的で不規則な性質は、客観的品質評価(PCQA)に重大な課題をもたらす マルチスケールインシシシット構造類似度測定(MS-ISSM)を提案する。
  論文  参考訳（メタデータ） (2026-01-03T14:58:52Z)
• A Comprehensive Study on Visual Token Redundancy for Discrete Diffusion-based Multimodal Large Language Models [85.30893355216486]
  我々は,異なるdMLLMアーキテクチャとタスクを用いて,視覚的トークン冗長性がどのように進化するかを検討する。 本研究により, 視覚的冗長性は, 長時間のタスクを処理しながら, オフスクラッチdMLLMでのみ現れることが明らかとなった。 層スキッピングはAR-to-diffusion dMLLMの加速に有効であるのに対し、プログレッシブプルーニングやレイトステッププルーニングはストクラッチdMLLMよりも効果的である。
  論文  参考訳（メタデータ） (2025-11-19T04:13:36Z)
• Beyond Redundancy: Diverse and Specialized Multi-Expert Sparse Autoencoder [59.89996751196727]
  スパースオートエンコーダ(SAE)は、大規模な言語モデルを解釈するための強力なツールとして登場した。 SAEの隠蔽層は、空間的制約を満たすために高い次元性を持ち、結果として禁止的なトレーニングと推論コストをもたらす。 近年のMixture of Experts (MoE) アプローチは、SAEsによってゲートアクティベーションを持つより狭い専門家ネットワークにこの問題に対処しようとしている。 本稿では,(1)専門化を促進するために意味的に重み付けされた専門家サブセットを同時に関与する複数の専門家活性化,(2)適応的な高周波スケーリングによって多様性を高める特徴スケーリングという2つの重要なイノベーションを提案する。
  論文  参考訳（メタデータ） (2025-11-07T22:19:34Z)
• Harnessing Consistency for Robust Test-Time LLM Ensemble [88.55393815158608]
  CoREは、堅牢なLLMアンサンブルにモデル一貫性を利用するプラグイン・アンド・プレイ技術である。 トークンレベルの一貫性は、ダウンウェイト不確実なトークンにローパスフィルタを適用することで、きめ細かい不一致を捕捉する。 モデルレベルの一貫性は、自己自信の高いモデル出力を促進することで、グローバルな合意をモデル化する。
  論文  参考訳（メタデータ） (2025-10-12T04:18:45Z)
• When MLLMs Meet Compression Distortion: A Coding Paradigm Tailored to MLLMs [38.29061845878822]
  マルチレベル特徴を適応的に保護し、下流タスクの異なる要求に適合するように設計されたMLLM(CoTAM)に適応した画像コーデックTAiloredを提案する。 MLLMタスクで同じ性能を維持しながら,最大35.99%の省力化を実現している。
  論文  参考訳（メタデータ） (2025-09-29T04:07:52Z)
• A Fano-Style Accuracy Upper Bound for LLM Single-Pass Reasoning in Multi-Hop QA [65.38186593873313]
  MHQA(Multi-Hop Question Answering)は、ノイズ下でのシーケンシャルな推論を通じて、分散した相互依存的な証拠を統合する必要がある。 我々はMHQAのための概念実証マルチコールフレームワークをInfoQAで紹介する。 我々は、理論とフレームワークを検証するために、厳密で騒音に富んだベンチマークを構築した。
  論文  参考訳（メタデータ） (2025-09-25T14:11:57Z)
• FORCE: Transferable Visual Jailbreaking Attacks via Feature Over-Reliance CorrEction [82.6826848085638]
  視覚的ジェイルブレイク攻撃は、洗練されたテキスト攻撃よりも簡単にオープンソースのMLLMを操作することができる。 これらの攻撃は、非常に限られたクロスモデル転送可能性を示し、クローズドソースMLLMの脆弱性を確実に特定することができない。 本稿では,FORCE(Feature Over-Reliance CorrEction)手法を提案する。
  論文  参考訳（メタデータ） (2025-09-25T11:36:56Z)
• FESTA: Functionally Equivalent Sampling for Trust Assessment of Multimodal LLMs [20.08099668437471]
  マルチモーダル大言語モデル(MLLM)の生成した予測は、選択的な予測を可能にし、ユーザの信頼性を向上させることができる。 MLLMのマルチモーダル入力サンプリング技術であるFESTA(Functional Equivalent Smpling for Trust Assessment)を提案する。 FESTAは等価かつ相補的な入力サンプリングに基づいて不確実性尺度を生成する。
  論文  参考訳（メタデータ） (2025-09-20T11:50:22Z)
• IPBA: Imperceptible Perturbation Backdoor Attack in Federated Self-Supervised Learning [13.337697403537488]
  フェデレート自己教師学習(FSSL)は、分散モデリングとラベルなし表現学習の利点を組み合わせたものである。 研究によると、FSSLはバックドア攻撃に弱いままである。 我々はIPBAと呼ばれるFSSLに対する非受容的で効果的なバックドア攻撃手法を提案する。
  論文  参考訳（メタデータ） (2025-08-11T14:36:11Z)
• Graft: Integrating the Domain Knowledge via Efficient Parameter Synergy for MLLMs [56.76586846269894]
  MLLM(Multimodal Large Language Models)は、様々な領域で成功している。 その重要性にもかかわらず、ドメイン固有のMLLM間の知識共有の研究はほとんど未調査のままである。 専門家機能のモジュール構成を可能にする統一パラメータ統合フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-30T15:07:41Z)
• Uncertainty Quantification of Large Language Models through Multi-Dimensional Responses [4.505944978127014]
  セマンティック・ナレッジ・アウェア・類似性分析を統合した多次元UQフレームワークを提案する。 このアプローチは、意味と知識の両方の次元から重なり合う情報を分離し、意味のバリエーションと事実の一貫性の両方をキャプチャする。 実験により,本手法は不確かさを識別する既存の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2025-02-24T04:05:08Z)
• FDLLM: A Dedicated Detector for Black-Box LLMs Fingerprinting [20.07438999071414]
  大規模言語モデル(LLM)は、デジタルコンテンツ作成の風景を急速に変えつつある。 FD-Datasetは、20の有名なプロプライエタリおよびオープンソースLLMから90,000のテキストサンプルからなる総合的なバイリンガルフィンガープリントベンチマークである。 また,パラメータ効率の低いLow-Rank Adaptation (LoRA) を利用して基礎モデルの微調整を行う新しいフィンガープリント手法であるFDLLMを提案する。
  論文  参考訳（メタデータ） (2025-01-27T13:18:40Z)
• CoCA: Regaining Safety-awareness of Multimodal Large Language Models with Constitutional Calibration [90.36429361299807]
  マルチモーダルな大言語モデル (MLLM) は、視覚的な入力を含む会話への関与において顕著な成功を収めている。 視覚的モダリティの統合は、MLLMが悪意のある視覚的入力に影響を受けやすいという、ユニークな脆弱性を導入している。 本稿では,出力分布を校正することでMLLMの安全性を向上するCoCA技術を紹介する。
  論文  参考訳（メタデータ） (2024-09-17T17:14:41Z)
• COMMIT: Certifying Robustness of Multi-Sensor Fusion Systems against Semantic Attacks [24.37030085306459]
  本稿では,マルチセンサ融合システムのセマンティックアタックに対する堅牢性を証明した最初のロバストネス認証フレームワークCOMMITを提案する。 特に,マルチモーダルデータを用いたランダム化平滑化を利用した実用的な異方性雑音機構を提案する。 MSFモデルの認証は、MSFモデルの利点を検証するシングルモーダルモデルよりも少なくとも48.39%高いことが示されている。
  論文  参考訳（メタデータ） (2024-03-04T18:57:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。