論文の概要: Immuno-VLM: Immunizing Large Vision-Language Models via Generative Semantic Antibodies for Open-World Trustworthiness
- arxiv url: http://arxiv.org/abs/2605.30745v1
- Date: Fri, 29 May 2026 02:22:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.34078
- Title: Immuno-VLM: Immunizing Large Vision-Language Models via Generative Semantic Antibodies for Open-World Trustworthiness
- Title(参考訳): 免疫VLM:オープンワールド・トラストネスのためのジェネレーティブセマンティック抗体による大型視線モデル免疫
- Abstract要約: 大きな視覚言語モデルは、視覚的特徴を広い意味概念と整合させることで、ゼロショット認識において前例のない成功を収めた。
我々は,textbf免疫陰性選択の生物学的原理を高次元潜在空間に適応させるバイオインスパイアされたフレームワークである textbf-VLM を提案する。
- 参考スコア(独自算出の注目度): 19.176368582024246
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Vision-Language Models have achieved unprecedented success in zero-shot recognition by aligning visual features with broad semantic concepts. However, this semantic abstraction creates a critical vulnerability in open-world deployment: the ``Hubris of Semantics'', where models force-fit unknown anomalies into known categories with high confidence due to the lack of explicit negative knowledge. To address this \textit{Open-World Trustworthiness Paradox}, we propose \textbf{Immuno-VLM}, a bio-inspired framework that adapts the biological principle of \textbf{Immunological Negative Selection} to high-dimensional latent spaces. Departing from traditional Open-Set Recognition methods that rely on passive density estimation or inefficient pixel-space outlier generation, Immuno-VLM leverages the generative reasoning of Large Language Models to actively hallucinate ``Semantic Antibodies'', textual descriptions of near-distribution outliers (e.g., look-alikes, contextual anomalies) that effectively bound the decision space of known classes.Extensive experiments on ImageNet-1K and four challenging OOD benchmarks reveal that Immuno-VLM establishes a new state-of-the-art.
- Abstract(参考訳): 大きな視覚言語モデルは、視覚的特徴を広い意味概念と整合させることで、ゼロショット認識において前例のない成功を収めた。
しかしながら、このセマンティックな抽象化は、オープンワールドデプロイメントにおいて重要な脆弱性を生み出している。 '`Hubris of Semantics'' モデルでは、明確な否定的な知識が欠如していることから、未知の異常を既知のカテゴリに強制的に適合させる。
この「textit{Open-World Trustworthiness Paradox}」に対処するため、高次元潜在空間に生体原理を適応させるバイオインスパイアされたフレームワークである「textbf{Immuno-VLM}」を提案する。
受動的密度推定や非効率な画素空間外乱生成に依存する従来のオープンセット認識手法とは別に、Immu-VLMは大規模言語モデルの生成的推論を活用して「セマンティック・アンチボディーズ」を積極的に幻覚させる。
関連論文リスト
- EraseSAE: Surgical Concept Erasure in Text-to-Video Diffusion Models via Sparse Autoencoders [103.46709005379591]
概念消去は、事前訓練されたモデルから不要なセマンティクスを取り除くことによって、原則化された救済を提供する。
既存のアプローチは一般に粗い品質で動作し、概念表現の微細で分散した性質と不一致である。
外科的概念の消去を実現するためにスパースオートエンコーダを利用する新しいフレームワークであるEraseSAEを提案する。
論文 参考訳(メタデータ) (2026-09-03T10:23:37Z) - UniNDM: A Unified Noise-driven Detection and Mitigation Framework Against Sexual Content in Text-to-Image Generation [90.0896070825457]
本稿では,拡散過程におけるノイズダイナミクスのレンズを通して,安全機構を再考する統合ノイズ駆動フレームワークを提案する。
我々の重要な洞察は、早期の予測ノイズは、正常な内容と性的な内容の間に固有の分離性を示すことである。
我々は,計算オーバーヘッドがほとんどなく,精度の高い軽量ノイズベース検出器を開発した。
論文 参考訳(メタデータ) (2026-07-18T14:03:39Z) - Latent Anomaly Knowledge Excavation: Unveiling Sparse Sensitive Neurons in Vision-Language Models [40.6282934670186]
我々は、異常知識は本質的に訓練済みモデルに埋め込まれているが、潜伏し、未活性化状態のままであると主張している。
本稿では、これらの重要な神経信号を特定し、引き起こす訓練不要のフレームワークである潜在異常知識発掘(LAKE)を提案する。
我々の研究は、未熟な事前学習知識の標的的活性化として異常検出を再定義するパラダイムシフトを提唱している。
論文 参考訳(メタデータ) (2026-04-09T04:54:25Z) - Neural Uncertainty Principle: A Unified View of Adversarial Fragility and LLM Hallucination [60.197429875410286]
大規模言語モデルにおける視覚と幻覚の対立的脆弱性は、伝統的に別の問題と見なされている。
損失誘起状態下でのニューラル不確実性原理(NUP)の定式化により, ほぼバウンド状態においては, さらなる圧縮は感度分散の増大を伴うことが判明した。
視覚では、高度に結合したコンポーネントをマスキングすることで、コストのかかる敵の訓練なしに堅牢性を向上させる。
言語では、任意の応答トークンを生成する前に、同じプレフィルステージプローブが幻覚リスクを検出する。
論文 参考訳(メタデータ) (2026-03-20T02:07:10Z) - AG-VAS: Anchor-Guided Zero-Shot Visual Anomaly Segmentation with Large Multimodal Models [21.682989096955467]
AG-VAS(Anchor-Guided Visual Anomaly)は、3つの学習可能なセマンティックアンカートークンでLMM語彙を拡張する新しいフレームワークである。
AG-VASはゼロショット設定で一貫した最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2026-03-01T22:25:23Z) - The Illusion of Forgetting: Attack Unlearned Diffusion via Initial Latent Variable Optimization [51.835894707552946]
非学習型防衛は拡散モデル(DM)からNot-Safe-For-Work概念を浄化すると主張している
本研究では,未学習が言語記号と基礎知識のマッピングを部分的に破壊し,休眠記憶として残り続けることを示す。
IVOは、壊れたマッピングを再構築することで、これらの休眠記憶を再活性化する簡潔で強力な攻撃フレームワークである。
論文 参考訳(メタデータ) (2026-01-30T02:39:51Z) - Generative Human-Object Interaction Detection via Differentiable Cognitive Steering of Multi-modal LLMs [85.69785384599827]
人間と物体の相互作用(Human-object Interaction、HOI)の検出は、人と物体のペアとそれらの相互作用を局在させることを目的としている。
既存のメソッドはクローズドワールドの仮定の下で動作し、タスクを未定義の小さな動詞集合上の分類問題として扱う。
本稿では,閉集合分類タスクから開語彙生成問題へのHOI検出を再構成する新しい生成推論・ステアブル知覚フレームワークGRASP-HOを提案する。
論文 参考訳(メタデータ) (2025-12-19T14:41:50Z) - Semantic Mismatch and Perceptual Degradation: A New Perspective on Image Editing Immunity [79.10998560865444]
我々は、予防接種の成功は、プロンプトを意味的にミスマッチさせたり、実質的な知覚的劣化に苦しんだりして、編集されたアウトプットによって定義されるべきであると論じる。
免疫成功率(Immunization Success Rate,ISR)は,免疫成功率(Immunization Success Rate,ISR)を初めて厳密に定量化するために設計された新しい指標である。
論文 参考訳(メタデータ) (2025-12-16T11:34:48Z) - The Finer the Better: Towards Granular-aware Open-set Domain Generalization [31.197204515055756]
オープンセットドメインの一般化は、デプロイされたモデルがドメインシフトと新しいオブジェクトカテゴリの両方に遭遇する現実的なシナリオに取り組む。
既存の手法は、未知のクラスの構造的リスクと未知のクラスの構造的リスクの間のジレンマに依然として陥る。
本稿では, セマンティック・エンハンスメントを用いたCLIPフレームワークを提案する。
論文 参考訳(メタデータ) (2025-11-21T06:19:19Z) - Concept-Guided Interpretability via Neural Chunking [64.6429903327095]
ニューラルネットワークは、トレーニングデータの規則性を反映した生の集団活動のパターンを示す。
神経集団レベルで繰り返しチャンクを抽出する3つの方法を提案する。
私たちの研究は、認知原則と自然主義的データの構造の両方を活用する、解釈可能性の新しい方向性を指し示しています。
論文 参考訳(メタデータ) (2025-05-16T13:49:43Z) - Enhancing Zero-Shot Image Recognition in Vision-Language Models through Human-like Concept Guidance [41.6755826072905]
ゼロショット画像認識タスクでは、人間は目に見えないカテゴリを分類する際、顕著な柔軟性を示す。
既存の視覚言語モデルは、しばしば準最適プロンプトエンジニアリングのため、現実世界のアプリケーションでは性能が劣る。
これらの問題に対処するために,概念誘導型人間ライクなベイズ推論フレームワークを提案する。
論文 参考訳(メタデータ) (2025-03-20T06:20:13Z) - TRCE: Towards Reliable Malicious Concept Erasure in Text-to-Image Diffusion Models [53.937498564603054]
近年のテキスト・画像拡散モデルの進歩により、フォトリアリスティックな画像生成が可能になったが、NSFW画像のような悪意のあるコンテンツを生成するリスクもある。
リスクを軽減するため,概念消去手法が研究され,モデルが特定の概念を学習しやすくする。
本稿では,2段階のコンセプト消去戦略を用いて,信頼性の高い消去と知識保存の効果的なトレードオフを実現するTRCEを提案する。
論文 参考訳(メタデータ) (2025-03-10T14:37:53Z) - Orthogonal Subspace Decomposition for Generalizable AI-Generated Image Detection [58.87142367781417]
航法的に訓練された検出器は、限定的で単調な偽のパターンに過度に適合する傾向にあり、特徴空間は高度に制約され、低ランクになる。
潜在的な治療法の1つは、ビジョンファウンデーションモデルに事前訓練された知識を取り入れて、機能領域を広げることである。
主要なコンポーネントを凍結し、残ったコンポーネントのみを適用することで、フェイクパターンを学習しながら、トレーニング済みの知識を保存します。
論文 参考訳(メタデータ) (2024-11-23T19:10:32Z) - APo-VAE: Text Generation in Hyperbolic Space [116.11974607497986]
本稿では,双曲型潜在空間におけるテキスト生成について検討し,連続的な階層表現を学習する。
適応型ポインケア可変オートエンコーダ (APo-VAE) を提示し, ポインケア球上における潜伏変数の事前および変動後部の両方を包み込み正規分布により定義する。
言語モデリングと対話応答生成における実験は,提案したAPo-VAEモデルの有効性を示す。
論文 参考訳(メタデータ) (2020-04-30T19:05:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。